各位朋友們好：

2024 年 Computex Taipei 即將在下個月初正式展開，延續生成式 AI 熱潮，包括 AMD、高通、Intel 等國際大廠 CEO 都將現身演講。除了我們所熟知的，AI 與高效能運算的極限密切相關，包括資料中心、邊緣及終端使用者設備都可能出現極大突破。高通總裁暨執行長 Cristiano Amon PC 的演講則跟台灣 PC 產業有密切關係。他認為，目前由 AI 帶動的創新將徹底改變未來我們與 PC 互動的方式。

如果大家還記得的話，在去年英特爾執行長 Pat Gelsinger 也說過，AI PC 將會顛覆 PC 產業。雖然 AI PC 目前仍沒有明確定義，在概念上是具備生成式 AI 功能的電腦，在設備上即可以完成利用 AI 來擴增或改善 PC 工作。延伸這樣的概念，再加上台灣既有的製造業優勢，AI 邊緣運算順勢成為台灣資通訊產業關注的焦點。

雲端與邊緣運算是互相替代，或者勢必整合？邊緣運算從幾年前的 AIoT 就一直是大家討論的話題，但從概念到真正落地有多大的距離？需要克服哪些困難？而最關鍵的問題恐怕是，需求什麼時候會出現？軟硬體升級成本與效益之間如何拿捏？應用的情境是否足夠多元？都在本期電子報與你共同討論。

人工智慧科技基金會執行長 溫怡玲

本期目錄

• 全球 AI 創新 王定愷：邊緣與雲端的協調將是必然
• Edge AI 落地實現的挑戰
• 用軟體技術串接硬體廠商，滿拓科技打造全新生態系
• OpenVINO™講座：探索如何在AI PC上輕鬆運作LLM

全球 AI 創新 王定愷：邊緣與雲端的協調將是必然

生成式 AI 應用快速進展並有逐漸朝向邊緣裝置延伸的趨勢，根據 DIGITIMES 研究中心觀察，邊緣 AI 推論運算應用產品朝向 x86 架構的 PC、NB；Arm 架構的手機、平板，及 Arm/ RISC-V 架構的物聯網裝置三大方向發展。不過，AWS 台灣暨香港總經理王定愷在 AI EXPO 2024 的演講上也強調，「沒 Cloud，不成 AI」，但雲端與邊緣並非互斥、而是合作關係。

Edge AI 落地實現的挑戰

邊緣 AI 一詞出現至今，已有多年時間，但一直無法規模化，主要面臨以下困難，首先是硬體選擇並不如想像中簡單。研華科技產業雲暨影像科技事業群副總經理鮑志偉解釋，AI 應用要實際落地在邊緣裝置上，必須要關照的面向很多，例如運算能力、散熱方式......等都必須納入考慮。

用軟體技術串接硬體廠商，滿拓科技打造全新生態系

「生成式 AI 的發展，使得模型壓縮的技術從 nice to have，轉變為 must to have，」滿拓科技執行長吳昕益解釋，AI應用最重要的不是做出厲害的晶片，而是找到願意花錢使用的客戶。由於近幾年 AI 模型的參數量大幅度增長，使得架構設計也不一樣，這時候做微型化技術的效益就會變得很明顯。尤其在生成式 AI 崛起後，模型壓縮的技術更能為企業省下許多成本。

OpenVINO™講座：探索如何在AI PC上輕鬆運作LLM

憑藉獨特 AI 加速功能，AI PC 將為開發者的 AI 專案帶來更高效率與創新潛力。在這場講座，英特爾將帶領您了解什麼是 AI PC，以及如何使用 OpenVINO 在 AI PC 展現 AI 應用程式的效能。講師們也將示範如何使用 OpenVINO 工具套件，快速、準確地在 AI PC 和邊緣裝置上部署生成式 AI，並展示最新 OpenVINO 版本令人興奮的新發展，讓您了解如何讓 LLM 在本地端運作，實現更快、更智慧的推論。