生成式AI 興起 滿拓科技用微型化技術為企業省下訓練成本

成立於 2018 年的滿拓科技，專精於「AI 模型微型化」，團隊兼具 IC 設計與系統整合的能力。原本主要協助企業進行模型的落地部署，透過數值的量化與矯正將模型部署到不同的 AI 晶片上，使其保持高算力和正確性。

降低訓練成本 讓AI民主化

吳昕益說，落地部署可以分為訓練和推論兩大方面，由於當時遇上 GPU 短缺，利用微型化技術能讓使用者只要以別人一半的 GPU 卡，就能進行 AI 的落地與部署。直到 2023 年，客戶開始要求進行大型語言模型的落地訓練，且是全參數的落地訓練，這也讓他們驚覺市場出現變化了。

他解釋，語言模型落地訓練的成本極高，一旦失敗，損失的金額也高達上百萬。因此他們團隊打造出一個落地部署的機器，降低 AI 模型落地訓練的成本。成本一旦降低，就能協助研究者複製別人的實驗成果進行驗證正確性，而不是只能無條件相信論文，「讓 AI 訓練落地，才能真的民主化。」

由於可商用的大型語言模型對於資料品質要求非常高，因此，滿拓科技也與台智雲合作推出 DeepExpert 生成式 AI 解決方案，協助企業可以在自己內部打造一個落地訓練與推論的使用環境。由於模型的訓練、資料都在內部進行，當然就不會有資料在雲端而被外洩的問題。

吳昕益提到，銀行與醫院是對資料正確性與即時性要求最高的地方，但這些資料因為個資保護，無法上網而必須要進行落地訓練；或是政府部門的資料，雖然是公共財，但也有許多資料因為需要保密無法上網。此外，台灣許多科技公司與晶圓廠的資料也不能上網，而這些都是適合發展 Edge AI 產品的場域。他認為，對企業而言，要進行 AI 落地部署，考量的除了隱私外還有成本。當有大量接單需求時，落地部署的成本還是較低，且可以根據使用量擴充設備。

除了將自家設計的東西變成軟體程式交付給客戶，使其可以跟不同的硬體供應商合作。也因為開發過程中，必須處理許多硬體產品的bug，他們也在產品開發的過程中，開發出適合企業使用三款伺服器產品。吳昕益說，既然我們可以研發出軟體，其實也可以開發出可放入軟體的硬體產品，將我們的東西轉成硬體就是新資產，然後再授權給 IC 設計公司。

吳昕益說，AI 最重要的是找到應用以及願意掏錢的企業，而不是先開發一個厲害的晶片，晶片是後面才會發生的事情。他認為，做為軟體公司，必須要有軟體的生態系才能支撐整個體系。目前，他們除了與開發者社群的交流外，他們也積極和學校合作，創造與人才的連結。