蘋果（Apple）公司在近期（6月10日）的年度全球開發者大會上宣佈了與 OpenAI 合作的消息，選擇 ChatGPT 驅動，以增強 Siri 的語言與文字理解能力，以及其他跨應用程式的整合，以便在這場人工智慧的（AI）賽局中趕上對手。

事實上，目前的手機中已有許多 AI 技術的應用，包括臉孔解鎖、相片編輯等，這些行動裝置上的AI模型參數，大約會是在千萬等級左右。但是，隨著大型語言模型的發展，雖然在許多AI應用中，展現傑出的語言理解與內容生成能力；而結合影像、聲音、人機互動與多元外界訊號的大型多模態模型 (LMM)，可以提供使用者更直覺的操作體驗，但這些模型的參數高達數十億到兆等級，計算量龐大，消耗資源過高。可以發現有越來越多參數量高達千億級到數兆等級以上的模型正在發展；而手機端上的模型，正好就是這兩種大小模型的中間值，參數量約是十億到數百億。

AI 推論應用的重要性將越來越高

聯發科技前瞻技術平台資深處長梁伯嵩4月在 AI EXPO 2024 的演講上指出，未來 AI 運算的關鍵變化應該分為 AI 訓練（Chaining）和 AI 推論應用（Inference）兩大分類。他解釋， AI 訓練是目前最為耗能的部分，由於運算量的大小與 AI 模型複雜度及學習資料量大小相關，有點像是一個學生閉門苦讀，不斷地學習。需要預先準備好所有的資料量和工作、對單一工作延遲較不敏感。但是，未來會遇到更多 AI 的推論應用，此時的運算量大小和使用者的數量與頻率有極大關係，有點像是學生已經閉門苦讀完後，到演講廳中接受上百萬名群眾的各式提問，如唱歌、繪畫、回答科技新知等。特別要注意的地方是，當使用者的問題隨機連入的時候，必須確保回應的正確與低延遲性。

他表示，AI 發展初期，主要著重在訓練，但推論應用的重要性將會越來越高。也就是，相較於 AI 推論應用耗費的算力，目前 AI 訓練所耗費的高運算量，主要原因在於使用人數還不多，隨著使用人數逐漸增多，在推論上所耗費的運算量也會增多。因此，與其把所有的 Data 都放在 Data Center 上做，事實上應該放到手機上執行。

梁伯嵩指出，近十年來，手機行動處理器的製程從 28 奈米來到 3 奈米，而手機晶片大小雖然都相同，但因為製程進步，但其中所包含的電晶體數量已經從 10 億提升至 200 億，越多的電晶體代表越多的功能，這也意味著手機中的運算架構從2007年的單核心、多核心、大小核心，甚至在2023年已經可以加入AI加速器。不過，手機的行動處理器在AI計算上，受到更多限制，意即在 Data Center 和行動處理器上的 AI 設計極為不同。他提到，近十年來AI模型，為了探索 AI 的湧現能力，嘗試提升參數數目至千億，甚至兆級；近幾年，為了讓人工智慧可以普及化到裝置端，考量到記憶體及頻寬需求，而試著降低參數數目至十億級。

他認為，考量不同應用需求，未來可同步進行文字、影音、語音等多種Token的大型多模態模型（LMM）將會是常態。並且將會在 Token Speed上出現新的指標，並推動裝置端 AI 運算的前進。未來，行動處理器的設計趨勢，將會朝向模型縮小、並將運算轉移到裝置端進行；甚至用 2.5D 或 3D 架構，提升 IC 能力；或是不同裝置上的模型也可以互相協作，將是未來行動處理器的趨勢。

Token 才是此波 AI 革命的關鍵核心

除了運算架構的設計，Nvidia 執行長黃仁勳也多次在演講中提及， AI 時代將會產出大量的 Token，而大量的 AI 算力，將會變成 AI 工廠 （AI Factory），驅動全世界投資上兆美金於運算架構革新 ，並為全世界創造上百兆美金的新經濟價值，這些才是此波 AI 革命的核心。

梁伯嵩曾撰文提及，Token（符元）是 AI 時代最基礎的運算單位，指的是文字處理過程中的最小單位，而將連續的文字序列拆分為 Token 的過程，則稱為 Tokenization （符元化） 。 Token 可以是單字、片語、句子或其他較小的文字單元，不僅只在文字領域發揮作用，在其他不同樣態的訊號，如圖像、影音、機器人動作、氣象資訊、工廠數據、自動駕駛環境、乃至DNA與蛋白質結構與物理、化學訊號， 也可以透過符元化的過程，讓 AI 系統進行運算，產生人工智慧結果。

若能在這波 AI 進展中，以機器學習、神經網路架構與大語言模型的演進，透過「AI符元訊號」，讓資訊之間的隱含的關係與意涵，通過AI系統的學習與推理能力，創造更多的智慧功能，釋放出 AI 的巨大潛能，將可成為第四次工業革命。

梁伯嵩認為，在這股 AI 淘金熱中，台灣能做出高品質的半導體、計算主機，就像提供了淘金必備的鏟子一般極為重要；但更高價值的金礦是隱含在以 Token 為基礎的龐大 AI 應用。而在這個關鍵時刻，台灣因為位居世界半導體與資通訊產業鏈的關鍵角色，而備受世界矚目；但我們不應止步於此，並把握AI技術演進的趨勢，進一步掌握世界從數位化（Digitalization） 到符元化 （Tokenization）的潮流，推升整體的科技、經濟與社會的進步。