AI 落地實務：大語言模型(LLM)的部署與應用

儘管需求很熱烈，但許多企業使用 ChatGPT 仍然面對許多挑戰，包括高延遲、高成本、資料安全性、算力不足，以及回答正確性不穩定等問題，尤其是在使用雲端服務時，無可避免地需要把公司內部的重要資料，上傳到外部環境或是雲端伺服器上，過程中人員跟語言模型會產生許多交流與互動。由於期待能得到知識的回答，就容易發生資料外洩的問題，因此，不少企業都明文禁止公司員工使用企業內部問題去詢問 Chad GPT。

楊育明認為，真正可以商用的大型語言模型，對於資料品質的要求非常高，使其正確度可以符合客戶需求。因此，滿拓科技與台智雲合作推出 DeepExpert 生成式 AI 解決方案，協助企業可以在自己內部打造一個落地訓練與推論的使用環境。他提到，這個方案的優勢包括了資料私密性，因為模型的訓練、資料從頭到尾都在內部進行，當然就不會有資料在雲端而被外洩的問題。

此外，則是必須符合企業對於成本的要求。由於訓練一個大型語言模型，需要非常多的 AI 工程師，需要語言模型要有一定程度的了解，因此多數公司較難負擔這樣龐大的成本。

楊育明說，企業如果要落地應用用大語言模型，會需要三個階段的步驟，第一個階段是要有一個好的預訓練模型。接著利用客戶的資料進行模型訓練，最後再依客戶需求進行裝置的部署至台智雲的雲端或是自己的私有雲上。他認為，未來還會有新的AI晶片出現，甚至在這兩年應用都會大爆發，預期應用的情形會越來越多元。

以台智雲的 FOROMOSA 系列為例，包括 Bloom 的 176B、Lama 又可分為三個大小 70B、13B、7B 的模型，企業可以視需求來預訓練模型。接下來，楊育明提醒，企業需要準備好內部清楚的資料，才能幫助外部顧問快速判斷建制需求，並且釐清使用情境，再針對內外部資料進行盤點，才能讓顧問快速定義資源的投入與規劃。最後則是硬體規劃，再決定是要進行雲端或是地端方案，或是混合型態。

他認爲，企業在生成式AI這場軍備競賽中，越早啟動愈好，以便在使用的過程中累積相關知識，拉大與對手間的距離。而通常生成式AI的導入，也不會是一次性的全面導入，多半是分階段、分部門，有明確優先順序的導入。因此，企業需要自行評估內部人力與資源的分配，並將資料整理出來，再針對模型，打造專屬的大腦。最後讓這樣的模型在經過內部的各種評測後，得到公司內部對生成式AI的清晰評估，再決定是否要投入預算，全面導入。

更多資訊請點選以下連結收看