大型語言模型越來越強,安全與偏見問題更需關注

OpenAI去年底推出的ChatGPT後,因為模型驚人的表現引起大眾的關注,日前又再推出GPT-4 語言模型,最大特色是除了文字對話還能輸入圖片讓AI解讀,且解答能力和正確率更是大幅超越以往。面對大型語言模型的到來,中央研究院資訊科學所研究員、國立陽明交通大學教授古倫維提醒,除了應用與技術外,更需要注意模型訓練的資訊來源、安全與偏見問題。

語言模型是怎麼一回事?

古倫維針對近期熱門的大型語言模型(Large Language Models)解釋,「語言」指涉的的不只是文字,而是包括了其他能跟外界溝通與理解的方式,Large Language Models所要處理的就是人類如何對外溝通並接收並有效理解各式資訊。稍微關注人工智慧技術演進的人大概會知道,GPT就是Generative Pre-trained Transformer,近期這一波人工智慧的技術起點就是Transformer;至於ChatGPT則是由Chat加上GPT組合而來。為什麼前面要加上Chat呢?因為語言模型雖然模擬了語言的行為,但並不是特別為了聊天功能而設計,而ChatGPT則特別針對該功能進行訓練。

「語言模型最重要的一個功能就是猜下一個字」古倫維說,語言模型的概念並不是現在才開始發展,自然語言處理的研究者很早就開始發展了,只是規模較小,可能用一些機率模型去模擬人類語言的行為,目的在猜出下一個字會出現什麼,猜得越準的語言模型就越厲害。以「我吃了桌上放了很久的綠色__________ 」這個句子為例,若空格處只能選擇填入「青蛙」或「藥丸」,如果對於語言的理解及考慮不夠周全,模型在僅以機率條件進行判斷的話,比較有可能會選青蛙。因為大部分的文件中,綠色青蛙比起綠色藥丸更常見。

但在Transformer被提出之後,因為訓練的資訊量越來越多,加上能更全面的連結上下文等特性,語言模型的表現也就越來越好。就能理解到上句的關鍵詞為「吃」,並考量到一般人吃青蛙的機會並不多,選擇填入青蛙的機率就比較小。

大型語言模型發展的挑戰與考驗

古倫維形容,目前的ChatGPT就像是一個還沒長大成人的小孩,雖然有自學的能力,但仍需要人類協助判斷與訓練。而對研究者來說,下一步自然語言處理可以發展的研究主題有哪些?她認為,跟人的互動將是重點,例如將既有的產業知識或資料,和語言模型快速結合;或是視覺語言等不同模態的融合技術。雖然目前已經有許多整合模型出現,但進一步的挑戰是讓這些多模態模型在交互協作過程中,與人類工作的模式更相似。

另一方面,大型語言模型雖然在情感分析上已有不錯表現,但在需要借助外界資訊才能判斷的情況下,例如謊言偵測就是個考驗。再者,推理也是目前大型語言模型較弱的部分,例如嘗試找出原因的任務,包括推薦原因解釋、個性化對話都將是重要的研究議題。

那麼,我們是否需要自己的大型語言模型呢?古倫維認為,這必須從「目的」開始思考,如果是為了機密或資料問題,如醫學、使用者等需要被保護的資料考量,就有發展的需要;但如果是為了商用目的,則可以利用其他平台實現。而大型語言模型雖然可以做很多事情,實現許多商業模式,未來的語言模型也可能會是必備的基礎設施。她提醒,大型語言模型的發展將會越來越強大,也可能改變我們的生活,因此,在我們擁抱的科技的同時,也需要注意到一些問題,例如模型在應用上的限制,有些需求在目前仍無法實現;再者是透明度的問題,目前我們仍無法得知模型的資訊是從何而來,提供的資訊是否正確?另外,還有安全(Security)及偏見(Ethics)的議題需要顧慮。

想了解更多大型語言模型的應用與可能,請點選以下影片: