梁伯嵩：幫助產業創造新價值，台灣應訓練大型AI模型

AI與IC半導體的黃金時代來臨

梁伯嵩表示，自2012年開始蓬勃發展的「深度學習時期」，在算力需求上大幅成長；但近期進入的 「大規模神經網路時期」，不僅模型參數成長近千倍，所需的運算力更暴增數十萬倍以上。在GPT3被提出後，整個AI模型訓練的運算需求在七年間成長30萬倍，其成長速度更已經超越摩爾定律，亦即IC半導體的量需要增加上萬倍。

目前，大型AI模型訓練是許多先進國家高度關注的重點趨勢。梁伯嵩認為，考量到大型AI模型訓練的演算需求過於龐大，短時間內為了推動生成式AI的普及化和大眾化，仍會在可接受範圍內，維持或縮減部分AI功能，以降低整體運算成本；中長期趨勢來看，預期將會持續增加神經網路參數數目與運算量，需仰賴晶片技術的提升，並建置更多超級電腦來完成模型訓練。

目前台灣在大型AI模型的應用上，多半是將自家資料傳送給海外的AI模型訓練，過程中可能潛藏的風險包括使用的資料與模型中，是否有資料毒化或偏見；問題是否會洩漏公司機密、答案可信度，且缺乏本地資料等問題。

針對資料類型採取不同做法和態度

梁伯嵩建議，面對大型AI模型潮流，台灣應針對資料類型採取不同做法和態度。根據資料開放程度，可區分為公開資料和具備隱私性的非公開資料，在公開資料方面，應和微軟（Microsoft）、Google、NVIDIA等大廠合作，多方參與國際生態體系交流。此外，針對一些政府、企業的核心內部資料，影響到關鍵技術、專利，甚至國安相關資料，則應該自主訓練大型AI神經網路來因應，以確保關鍵研發資料不外流，且能利用自身的領域知識及IP創造更多價值。

他強調，對於台灣產業界來說，面對大型AI模型不應只是片面追逐潮流，而是要能將內部知識轉為AI能力，並啟動內部IP創造更新的研發或產品價值。此外，訓練自己的大型AI模型更能防止被外部控制的風險。

IC進步帶來的新競爭

梁伯嵩指出，台灣目前最強的超級電腦「台灣杉二號」的運算速度，僅約百億億級超級電腦的0.009倍。若要訓練目前熱門的GPT-3（其參數量高達1750億)，若使用百億億級 AI 超級電腦，就要花上 數天。如果是由台灣杉二號來做這樣的訓練，則需要好幾個月的訓練時間。顯見計算能力對於AI發展的影響。

目前，包括美國、中國已完成數台百億億級超級電腦，截至2025年，美國將會持續建置到約當 10~20 倍每秒百億億級運算算力，2030年會達到 100 倍以上；中國雖未公開，但根據消息，至少已有兩台。其他如歐盟、日本、韓國皆已積極的建置百億億級超級電腦，但灣至今仍沒有任何一個百億億級的超級電腦建置計畫，梁伯嵩擔憂，對於台灣半導體和ICT產業來說，AI技術都是決定其未來競爭力的關鍵，在IC設計產業更是如此，這也是為何台灣無論如何都應該要有本地的大型AI模型訓練計畫。