台灣第一個繁中企業大型語言模型的應用與機會

台灣智慧雲端服務公司副總經理黃世民表示，目前企業如果想導入生成式 AI，可以採用OpenAI的API，不過OpenAI所釋出的模型，使用範圍有限，且無法依需求及模型表現調整模型架構。因此，台灣智慧雲端服務公司運用「台灣杉二號」AI 超級電腦的強大算力，推出福爾摩沙大模型（FFM，Formosa Foundation Model），讓企業能有效應用大型語言模型。FFM 是基於「Bloom」大型語言模型，加強優化繁體中文語料的預訓練模型，模型參數高達 1760 億，且同時支援多國語言，並且加入台灣在地知識資料，使 FFM能有更精準且符合在地文化認知的表現。

為什麼企業需要專屬的生成式AI解決方案呢？

以ChatGPT為例，當使用者與ChatGPT互動時，它同時也在收集互動過程中所輸入的資料與生成的內容，並將這些資訊變成訓練的養分。因此，如果這些輸入的內容包含了公司的營業資料或特定產業知識，那麼，他人極有可能透過與ChatGPT的對談，就能夠得到機密資料。

黃世民說，考量到資安隱私、法令遵循與合規管理，FFM 採用「租戶隔離機制」，確保用戶儲存資料的安全性及資料不會拿來再利用，以避免所生成的內容洩漏企業資料，除了提高安全性外，也有更多彈性的設定，如：生成創造力、工程參數及最大生成　Token 數等，讓企業能放入自己的資料，成為專屬大腦。

FFM 也提供 AFS（AI Foundry Service）解決方案，目前已應用在客戶服務、法律、專利、醫療、長照、ESG、教育、公共服務等領域。AFS 主要有兩種模型優化的方式，第一是「AFS Platform」，以 PaaS 的服務，透過 No Code 方式調整模型參數及自有模型優化；第二則是「AFS Shuttle」，提供企業以低成本的方式，在排定的優化工程服務期間快速驗證。

若企業有模型部屬的需求，也有兩種方式可以選擇，第一種是 AFS Cloud，將已完成優化的模型託管在台智雲的雲端服務，達到租戶隔離、高可靠、低延遲三個特性，適合已大幅度採用雲端服務的產業，如：電商、零售、服務業、支付業；第二種是 AFS Appliance，提供從資料整理、資料準備、模型優化、模型驗證到模型部署與推論，一站式的解決方案，適合需要地端部署的企業，如：金融、醫療、法律、半導體業。如下圖所示。

黃世民指出，目前已有許多企業使用 FFM 的解決方案，例如華碩集團便應用於行銷文案的生成，包括Slogan、產品規格摘要說明等；也可以企業將FFM應用於智能客服，達到超擬真對話。

目前，台智雲更與華碩集團攜手打造「AI FACTORY 加速器計畫」透過豐富多元的雲平台資源與技術支援協助，為提供 AI 新創夥伴更完善的商業發展，自即日起至 12/31(日) 止，報名審核成為「台智雲加速器夥伴」（點此報名），便可享有拓展資源：華碩產業鏈商機媒合、生成式 AI 平台運算額度、生成式 AI 專業應用課程、技術團隊諮詢服務、應用場域商機媒合等，更多拓展資源詳見 簡章說明。

想了解更多 FFM 企業級大型語言模型細節，請參考【AI CAFÉ 線上聽】企業級大型語言模型訓練優化與導入方案。（文章整理：Celine）