梁伯嵩:幫助產業創造新價值,台灣應訓練大型AI模型

AI與IC半導體的黃金時代來臨

梁伯嵩表示,自2012年開始蓬勃發展的「深度學習時期」,在算力需求上大幅成長;但近期進入的 「大規模神經網路時期」,不僅模型參數成長近千倍,所需的運算力更暴增數十萬倍以上。在GPT3被提出後,整個AI模型訓練的運算需求在七年間成長30萬倍,其成長速度更已經超越摩爾定律,亦即IC半導體的量需要增加上萬倍。

目前,大型AI模型訓練是許多先進國家高度關注的重點趨勢。梁伯嵩認為,考量到大型AI模型訓練的演算需求過於龐大,短時間內為了推動生成式AI的普及化和大眾化,仍會在可接受範圍內,維持或縮減部分AI功能,以降低整體運算成本;中長期趨勢來看,預期將會持續增加神經網路參數數目與運算量,需仰賴晶片技術的提升,並建置更多超級電腦來完成模型訓練。

目前台灣在大型AI模型的應用上,多半是將自家資料傳送給海外的AI模型訓練,過程中可能潛藏的風險包括使用的資料與模型中,是否有資料毒化或偏見;問題是否會洩漏公司機密、答案可信度,且缺乏本地資料等問題。

針對資料類型採取不同做法和態度

梁伯嵩建議,面對大型AI模型潮流,台灣應針對資料類型採取不同做法和態度。根據資料開放程度,可區分為公開資料和具備隱私性的非公開資料,在公開資料方面,應和微軟(Microsoft)、Google、NVIDIA等大廠合作,多方參與國際生態體系交流。此外,針對一些政府、企業的核心內部資料,影響到關鍵技術、專利,甚至國安相關資料,則應該自主訓練大型AI神經網路來因應,以確保關鍵研發資料不外流,且能利用自身的領域知識及IP創造更多價值。

他強調,對於台灣產業界來說,面對大型AI模型不應只是片面追逐潮流,而是要能將內部知識轉為AI能力,並啟動內部IP創造更新的研發或產品價值。此外,訓練自己的大型AI模型更能防止被外部控制的風險。

IC進步帶來的新競爭

梁伯嵩指出,台灣目前最強的超級電腦「台灣杉二號」的運算速度,僅約百億億級超級電腦的0.009倍。若要訓練目前熱門的GPT-3(其參數量高達1750億),若使用百億億級 AI 超級電腦,就要花上 數天。如果是由台灣杉二號來做這樣的訓練,則需要好幾個月的訓練時間。顯見計算能力對於AI發展的影響。

目前,包括美國、中國已完成數台百億億級超級電腦,截至2025年,美國將會持續建置到約當 10~20 倍每秒百億億級運算算力,2030年會達到 100 倍以上;中國雖未公開,但根據消息,至少已有兩台。其他如歐盟、日本、韓國皆已積極的建置百億億級超級電腦,但灣至今仍沒有任何一個百億億級的超級電腦建置計畫,梁伯嵩擔憂,對於台灣半導體和ICT產業來說,AI技術都是決定其未來競爭力的關鍵,在IC設計產業更是如此,這也是為何台灣無論如何都應該要有本地的大型AI模型訓練計畫。