為瞭解台灣企業導入 AI 的現況，Google Cloud 與 AIF（人工智慧科技基金會）合作，針對 101 企業進行《2024 台灣企業 AI 準備度調查》，從基礎設施、數據、人員技能和經營策略等方面的調整著手，協助組織衡量在開始導入 AI 之前，還有哪些基礎建設急需填補。
文章回顧：企業如何導入 AI ？策略、人才、運算資源盤點與規劃（上）
技術培訓就像播種，組織文化才是關鍵
人工智慧科技基金會在協助企業賦能 AI 的過程中觀察到，台灣企業在人才招募與培育上的限制，例如找不到人才的窘境。然而，因應企業轉型升級需求，企業內部勢必得進行結構調整，並開始思考如何培育與賦能現有同仁的能力，透過課程訓練與內部競賽的方式，先在內部孕育出重要的種子部隊，並拓展到其他的部門與團隊，才能帶動整個企業脫胎換骨。
「AI 技術的培訓就像是播種，將 AI 的種子灑到各個企業中，期待能從中啟發有潛力的人，在企業中帶來改變。」人工智慧科技基金會技術處總監張嘉哲說，技術問題脫離不了組織問題，AI 要在企業中落地，需要克服重重困難，除了發展資料驅動需要的資料科學家、工程師等人才，負責發起 AI 專案的人還需要會爭取資源且懂得避開風險，以確保專案的成功率。尤其當員工學習 AI 知識或技術後，返回原本的組織時，仍得需要就企業整體共同的目標與共識，才能會做出相應的調整。而組織的文化也是 AI 能否落地的關鍵，企業若能經營合作與分享的文化，避免部門間的隔閡，才能有利於新專案的發想與進行。
隨著科技快速進步，企業如果要適應加速改變的未來，就必須對於人才的培育進行規劃與投資，提早因應技能重塑的未來。這不只是教育訓練，而是企業建立核心競爭優勢的關鍵策略。
我的企業需要多少運算資源才夠用？
Google Cloud 台灣技術副總安玟宇直言，企業在評估運算資源時，也是在為自己定位，究竟是要做為一個 AI 開發公司，需要發展自己的大型語言模型；或是將 AI 視為驅動企業成長的工具。
企業若要將 AI 落地到商業場景，並非直接在 LLM 上提問，可能還需要做 Pump Engineering，或是建置服務，輸入公司現有資料，再讓大語言模型學習。但真正需要加強的地方依然還是人才，包括很多產業專家的投入，在準備度上也需要一段學習曲線。例如想用 LLM 解決醫學或法律的問題，同時需要兼具法律專長與AI知識的人，而這樣的人才目前仍是稀缺的。所以大部分第一波的導入大多不涉及核心業務，如客服或線上 QA 應用，待熟悉後再開始啟動核心業務相關的 AI 專案是目前業界主流的進程。
安玟宇分析，企業的運算架構佈局大致可分為自建模型、使用開源模型（Open Source），及開源模型加上調整訓練三種選項。自建模型初期需要投入最大量的硬體資源，由於企業大多無法在短時間內佈建所需的基礎設施，或無法即時取得新的硬體，這時就會需要雲端服務（Cloude）支援。在算力資源選擇上又可考量場景的不同分為兩種選擇，部署專為 AI 續練優化的特殊加速器，如 Google 提供的 AI 加速器 Tensor Processing Unit (TPU)，或是使用通用型的 GPU。
即使 GPU 已經是當前熱門單字，但企業仍可依成本與效能選擇 TPU 或 GPU。安玟宇認為，一般來說，在人才招募與開源資源豐富度上，基於 GPU 開發的模型較有優勢；然而考量運算成本與效能，如果將 TPU 和 GPU 使用在同一個任務上， TPU 將更能達到較佳的投資效益。但他提醒，真正的問題在於，對於開發時僅考慮在 GPU 上運行的程式碼；如果要移植在 TPU 上進行運算就需要再投資人力來改寫與優化才能最大的達到使用 TPU 的效益，對此 Google 也積極的支援更多的 AI Framework (如TensorFlow, PyTorch, JAX/FLAX) 降低改寫與開發的門檻。企業是否需要投資更多人力撰寫程式碼，然後使用如 TPU 等進階的硬體進行更高效益的訓練運算；還是選擇一般 GPU 就可以執行任務把資源投資在其他地方，這是企業必須考量其核心競爭力要做的權衡。
相較於自建模型，使用開源模型（Open Source）所需的資源較小，但安玟宇提醒，企業在這個選項中需要富有產業知識的人才協助，才能在眾多的開源模型中，評估出適合自己的模型。如果是使用開源模型加上調整訓練的方式的話，除了模型評估的問題，更需要有足夠的技術人才進行模型的調整優化。
他也提到，假使企業並沒有要自建自己的模型的話，目前 Google 也從眾多的模型中，篩選出許多受推薦的模型，放在 Model Garden 的服務上， 企業可以從中挑選適合的模型，並直接在 Google Cloud Vertex AI 平台上開啟使用。而介於兩者中間的開源模型加上調整訓練這個選項，耗費的資源屬於中間程度，對於專業領域知識的人才需求又大於僅使用開源模型的企業。
讀再多案例，沒有動手仍是一場空
「不可能做什麼事情，都只有好、沒有壞；或只有成功，沒有失敗。」張益肇說，由於 AI 需要投資，無論設備添購或是使用外部廠商，都需要成本，而領導者的心態十分重要，能接受合理範圍內的失敗，並鼓勵員工勇於「嘗試」。但最重要的是，無論閱讀過多少案例，如果沒有實際執行的話，都沒有用。
另一方面，生成式 AI 的發展加速了 AI 應用產品的出現，在大眾對於人工智慧及其影響了解還不深時，對於市場上產品良莠也無法判斷。張益肇提到，為了幫助社會可以以更安全的方式應用AI，人工智慧科技基金會正在推動相關認證標準的討論，集結產官學界的看法，透過標準的擬定，持續倡議並落實可信賴 AI 的願景。
