想要訓練一個 LLM,會面臨哪些已知挑戰?
知勢電子報 | 2023.10.15
想要訓練一個 LLM,會面臨哪些已知挑戰?

各位朋友們好:

繁體中文 LLM 是這段時間 AI 圈熱烈討論的焦點。一開始,大家看到的新聞是中研院 CKIP Lab 中文詞知識庫小組,開源釋出了以 Llama 2 開發的繁中優化的大型語言模型 CKIP-Llama-2-7b,提供各界使用,「可運用在文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學。」同時公開展示成果並全面開放測試。

但隨著各種測試結果出爐,因為有些基本問題回答錯誤,且觸動敏感政治神經,於是模型下架,且中研院資訊所及院方連兩天公開聲明。首先澄清這只是個別研究人員公布的階段性成果,並非院方或所方發表,也不是台版的 ChatGPT,且跟國科會正在發展的 TAIDE 無關。隔天並表示將規劃成立「生成式 AI 風險研究小組」,避免類似事件再度發生。

其實 LLM 牽涉問題廣泛,學術界的研究成果跟商用模型原本就有不同標準,如果能夠在發佈時就說明清楚,相信可以避免許多因錯誤期待而產生的批評與紛擾。

同時,基金會也回頭檢視我們目前正在協助企業導入的 AI 專案,針對資料、模型以及應用情境,進行仔細討論。本週電子報就和各位分享我們的思考與建議,希望對於想要導入 LLM 的企業有些參考價值。

人工智慧科技基金會執行長 溫怡玲

本期目錄

不只是 ChatGPT 而已?了解大型語言模型的能力與可能
LLM 技術

不只是 ChatGPT 而已?了解大型語言模型的能力與可能

ChatGPT 讓使用者能以聊天對話的方式,向機器提問且獲得解答,簡易的互動降低了一般人使用 AI 的門檻,不僅更貼近日常使用,也更接近人們想像中的 AI。背後關鍵的「大型語言模型」(LLM,large language mode)究竟擁有哪些能力,又該如何使用呢?

閱讀更多
當語言模型說錯話,問題出在哪?
大型語言模型 技術

當語言模型說錯話,問題出在哪?

中研院日前開源釋出了以 Llama 2 開發的繁中大型語言模型 CKIP-Llama-2-7b,並將其放上 Github 等平台,提供學術與商用。由於開放商用,加上強調繁體中文大型語言模型及中研院詞庫小組等名稱加持,不免讓人對於該模型的能力有所期待,沒想到卻被使用者反應,模型所回應的內容不夠本土化,甚至可能觸發兩岸敏感神經,因而引發熱議。

閱讀更多
接下來該不會出現一堆「CheatGPT」吧!
LLM 觀點

接下來該不會出現一堆「CheatGPT」吧!

我們必須承認,不管是在資料量、人才、資源、算力與基礎研究上,臺灣還不具備可以跟大國正面硬拼的實力,別說企業比企業,就連數位發展的國家政策都還在放煙火、賣麵線的階段,在這個基礎上要在短時間獨步全球,打造全新AI島,也許就像老歌唱的「卻只是想想而已,我已經不能肯定,你是不是還會關心?」

閱讀更多