「生成式 AI 的發展，使得模型壓縮的技術從 nice to have，轉變為 must to have，」滿拓科技執行長吳昕益日前在 2024 MAI 開發者社群大會上提到，近幾年由於 AI 模型的參數量大幅度增長，使得架構設計產生改變，使得微型化技術的效益更加明顯。尤其在生成式 AI 崛起後，這樣的技術能為企業省下許多成本。

成立於 2018 年的滿拓科技，專精於「AI 模型微型化」，團隊兼具 IC 設計與系統整合的能力。原本主要協助企業進行模型的落地部署，透過數值的量化與矯正將模型部署到不同的 AI 晶片上，使其保持高算力和正確性。

降低訓練成本 讓AI民主化

吳昕益說，落地部署可以分為訓練和推論兩大方面，由於當時遇上 GPU 短缺，利用微型化技術能讓使用者只要以別人一半的 GPU 卡，就能進行 AI 的落地與部署。直到 2023 年，客戶開始要求進行大型語言模型的落地訓練，且是全參數的落地訓練，這也讓他們驚覺市場出現變化了。

他解釋，語言模型落地訓練的成本極高，一旦失敗，損失的金額也高達上百萬。因此他們團隊打造出一個落地部署的機器，降低 AI 模型落地訓練的成本。成本一旦降低，就能協助研究者複製別人的實驗成果進行驗證正確性，而不是只能無條件相信論文，「讓 AI 訓練落地，才能真的民主化。」

由於可商用的大型語言模型對於資料品質要求非常高，因此，滿拓科技也與台智雲合作推出 DeepExpert 生成式 AI 解決方案，協助企業可以在自己內部打造一個落地訓練與推論的使用環境。由於模型的訓練、資料都在內部進行，當然就不會有資料在雲端而被外洩的問題。

吳昕益提到，銀行與醫院是對資料正確性與即時性要求最高的地方，但這些資料因為個資保護，無法上網而必須要進行落地訓練；或是政府部門的資料，雖然是公共財，但也有許多資料因為需要保密無法上網。此外，台灣許多科技公司與晶圓廠的資料也不能上網，而這些都是適合發展 Edge AI 產品的場域。他認為，對企業而言，要進行 AI 落地部署，考量的除了隱私外還有成本。當有大量接單需求時，落地部署的成本還是較低，且可以根據使用量擴充設備。

除了將自家設計的東西變成軟體程式交付給客戶，使其可以跟不同的硬體供應商合作。也因為開發過程中，必須處理許多硬體產品的bug，他們也在產品開發的過程中，開發出適合企業使用三款伺服器產品。吳昕益說，既然我們可以研發出軟體，其實也可以開發出可放入軟體的硬體產品，將我們的東西轉成硬體就是新資產，然後再授權給 IC 設計公司。

吳昕益說，AI 最重要的是找到應用以及願意掏錢的企業，而不是先開發一個厲害的晶片，晶片是後面才會發生的事情。他認為，做為軟體公司，必須要有軟體的生態系才能支撐整個體系。目前，他們除了與開發者社群的交流外，他們也積極和學校合作，創造與人才的連結。