台灣產業 AI 化大調查發布:超過半數企業已使用生成式 AI,且企業 AI 化指數差異逐步加大 ➤➤ 點我看摘要報告內容
2024 台灣 AI 新創地圖發布!點我看地圖名單
模型部署前哨站!模型壓縮的原理與方法
實作解析, 技術

模型部署前哨站!模型壓縮的原理與方法

自 ChatGPT 推出至今,不少企業也開始嘗試將生成式 AI 模型應用於改善工作效率或提供客戶服務。然而,這類大型語言模型的部署並不容易,隨著模型規模的增長,儲存和計算需求也相對提高。例如:以GPT-175模型需要約350GB的儲存空間(Floot16 precision),並且在推理和運算時,也需要同等大小的記憶體。若要有效運行模型,至少需要五個A100級別的GPU,其中每個GPU具有80GB的記憶體。顯示大型語言模型在部署時,面臨參數量大、速度慢且計算複雜度高等挑戰。此外,若需要在移動端或邊緣設備上進行多模型部署,更是增加了複雜度。

  • AIF Editor
快速升息後房地產市場怎麼改變,有哪些重要指標?
總體經濟, 資料科學, 趨勢

快速升息後房地產市場怎麼改變,有哪些重要指標?

世界經濟論壇(WEF)這兩年的風險報告書(Global Risks Report 2024)中,生活成本的危機持續是全球關注風險,特別對年輕世代影響顯著。而在疫情結束後美國快速升息,直接與間接造成的通貨膨脹則使得這個問題更為嚴重。接下來可能如何發展?應該關注哪些指標?如何藉由數據分析掌握趨勢的轉變?

  • 王寅武
    王寅武
  • 吳定謙
    吳定謙
  • 溫怡玲
    溫怡玲
已發展國家關注「可負擔住宅」,除了房價還需要知道什麼?
總體經濟, 資料科學, 趨勢

已發展國家關注「可負擔住宅」,除了房價還需要知道什麼?

世界經濟論壇(WEF)這兩年的風險報告書(Global Risks Report 2024)中,生活成本的危機持續是全球關注風險,特別對年輕世代影響顯著。而在疫情結束後美國快速升息,直接與間接造成的通貨膨脹則使得這個問題更為嚴重。接下來可能如何發展?應該關注哪些指標?如何藉由數據分析掌握趨勢的轉變?

  • 王寅武
    王寅武
  • 吳定謙
    吳定謙
  • 溫怡玲
    溫怡玲
向未來提案!學校裡的沙盒,「未來智慧工場」培養學生失敗的經驗
人才培育, 人物訪談, 觀點

向未來提案!學校裡的沙盒,「未來智慧工場」培養學生失敗的經驗

科技變革日新月異、全球政經局勢更是加速變化,對於未來人才的需求及想像早已不同以往。而大學做為人才培育的重要高等教育機構,除了承接大學的社會責任,還肩負橋接產業與學術橋樑的角色,面對新的挑戰,大學又該做出那些改變?

  • 楊育青
CB Insights:基礎設施已成為生成式 AI 獨角獸競爭主場
新創, 人工智慧, 趨勢

CB Insights:基礎設施已成為生成式 AI 獨角獸競爭主場

自 2022 年底 OpenAI 推出 ChatGPT3.5以來,對全球無數公司而言,如何在生成式人工智慧時代獲勝更顯迫切。不過,研調機構 CB Insights 指出,目前在基礎模型的競爭上,尚無明確贏家;而被估值最高的生成式人工智慧獨角獸未來主要的競爭領域將發生在基礎設施。在各大科技巨頭紛紛加碼投資相關領域的同時,未來的生成式人工智慧將會如何發展?

  • 楊育青
史丹佛大學教授李飛飛:AI 是一種責任,也是以人為本的實踐
精選書單, 觀點

史丹佛大學教授李飛飛:AI 是一種責任,也是以人為本的實踐

只要對於近十年人工智慧技術發展略有所聞的人,一定都聽過史丹佛大學教授李飛飛博士。她是自 2010年 之後這一波 AI 發展歷程中重要的領導者,在 AI 發展處於瓶頸時期,藉著獨到的見解和探索未知的熱情,使得電腦視覺領域產生重大突破。她目前擔任史丹佛大學「以人為本 AI 研究院」院長,深信此刻是我們重新想像 AI 的時候,AI 已經成了一種責任,而且是所有人的責任;AI 也是一種以人為本的實踐,不只為科學服務,也必須為人文服務。

  • AIF Editor

專題精選

知勢電子報

閱讀更多