從資料債到制度債,AI 的品質是風險管理議題

隨著人工智慧應用的產業及領域越來越廣,AI 產品與服務也快速增多,使得人工智慧的管理與治理愈來愈複雜,並且超過管理資訊軟、硬體的既有經驗,因此使得對於治理框架的需求愈來愈迫切。在歐盟領先帶跑的局面下,目前世界各國都嘗試透過規範方針或原則,以規範 AI 的發展及應用。近期,國際標準機構則制定了 ISO/IEC 42001:2023,讓產業界對於 AI 產品的品質有更明確的指標,也讓企業管理與治理方向更加容易衡量與掌握。

為什麼 AI 治理不同於過去各國的經驗?其中一個重要因素是 AI 的應用並不受地區限制,甚至難以劃分其明確範疇與邊界,對於產業、社會與環境的影響難以預估,因此沒有任何單一國家能夠自外於國際趨勢。那麼,一旦這些 AI 標準從地區或區域標準變成國際標準,將對產業帶來哪些影響或衝擊呢?

TUV NORD 北德永續長、台灣人工智慧協會常務理事黃國寶認為,AI 標準化除了確保 AI 產品的品質、保護系統、降低風險與負面危害,使其發揮效能;同時,更要限定 AI 的使用範圍。而這些都是奠基於德國在 2019 年所堆動的「德國 AI 標準化藍圖」下所發展出的面向,這份藍圖不僅提升了歐盟對 AI 的關注,更因此催生出 AI 法案。

黃國寶提到,根據「2023 台灣產業 AI 化大調查」結果顯示,多數企業在 AI 和管理業務上遇到的挑戰包括缺乏技術人才、資料未整合及 AI 導入成本等問題,而這些因素在 ISO 42001 中都有相對應的規範。他認為,AI 應用的需求包含許多期望,如法規、預算、情境、時程,以及期待的效能等,而當開發商確認客戶需求,並做完 POC 驗證可以符合需求後,就會開始進行更深度具體的開發部署,與維運管理,這是一個生命週期的概念。若從產品監管的角度出發,無論是產品或服務都應該有品質標準,而對 AI 產品的品質標準則應包含了可信賴 AI 的評估。

品質不能只靠「製造」,企業各部門都有責任

黃國寶提到,業界對品質的要求有個口訣:「QCDTS」, Quality、Cost、Delivery、Technology,以及Safety或Security。Quality 會依據產品所應用的情境和需求而有不同的條件;而 Cost 則是指成本必須是可負擔的;Delivery 包含了交付期限、狀況和可靠性;而 Safety 或 Security 分別代表功能性的安全和資安上的安全。

又或者,也會使用另一個管控品質的組合:「RAMS」,分別代表Reliability(可靠度) 、Availability(可隨時被使用)、Maintability(可維護或可更新的)、Safety和Security(安全)。可以看到,無論是「QCDTS」或「RAMS」都將 Safety 和 Security 納入品質的要求中。

「AI 的產品和服務品質,不能只靠最後的檢驗,」黃國寶說,最初大家認為「品質是透過檢驗才產生,」因為透過 QC 確保產品的品質,避免將瑕疵品賣給消費者。但當中有個弔詭的地方是,一旦產品有問題卻是在最後檢驗才發現,那麼一開始的生產製造過程中所投入的成本不就都浪費了?

所以後來品管的觀念從品質是檢驗出來的,變成品質是製造出來的;最後又認知到必須從產品的設計,甚至是供應商所提供的設備、原料開始把關管理,更重要的是清楚定義出客戶的需求,否則投入的設計與製造成本後,最後產出並不是客戶要的東西,就不能稱之為是有品質的東西。因此,品質的概念也就從僅限於產品製造的管理,慢慢演變成企業內外部流程與文化的整體管理。而這也是風險管理的過程,因為每一個環節都能讓產品的品質和可靠度產生瑕疵。同理,AI 產品或服務的品質並不只是研發單位的責任,而是與企業所有單位都有關係。

AI 的品質是生命週期的管理系統

同樣的概念放到 AI 產品或服務,如何複製成功的產品模式並持續維持產品或服務的一致性呢?黃國寶認為, AI 的品質涉及到許多部門的團隊合作,從資料的取得、清理、訓練模型建立,還有模型部署及除錯與更新等,每一個環節都要有明確的指標可供管理。除了跨部門的溝通之外,還有許多商務上的考量。這在ISO或是國際標準的概念中,主要是利用 PDCA(Plan-Do-Check-Act,循環式品質管理)模型工具進行管理,針對品質工作按規劃、執行、查核與行動持續進行管理,以確保品質的一致,並符合市場要求的品質。

而國際標準機構 2023 年所推出的 ISO/IEC 42001:2023 的標準,便是著重在管理企業內部各部門的環節,確保公司在AI產品或服務上,能提供一致性的服務,並能持續改進與更新。他指出,這樣的管理制度下所做出的標準,確實會涉及一些技術標準,但仍是以管理為主,並借用 PDCA 的原則運作。

黃國寶說,這個標準可以通用於軟硬體產業,以及各種規模大小的企業。它所強調的是整個 AI 在提供服務過程中的生命週期,包括前期的需求確認,到產品的開發、部署、維運等,並透過這個框架管理 AI 的產品與服務,以及利害相關者,甚至是市場上受到關注的公平性、倫理性、合規性、偏見問題等,以達到可信賴 AI 的相關要求,透過制度化的標準來管控品質,並展現出負責任地使用人工智慧。透過這個制度,也可以追溯透明度與可靠性。

他認為,雖然各界對於 ISO 的標準各有不同的解讀方式,但它仍是市場上最基本且直接簡單的一個認可方式。企業也可以藉此建立起競爭門檻。因為當有越來越多需求出現時,已經建立管理制度的公司,將能在整體服務的提供增加競爭力,更能利用管理制度持續優化並改善產品。

以前欠 AI 資料債,現在欠 AI 制度債

根據「2023 台灣產業 AI 化大調查」結果顯示,多數企業尚未進行 AI 策略規劃。由於 2022  年底掀起的生成式 AI 熱潮也讓全球對於 AI 的思考從「成本」「投資」延伸到「風險」,意即,AI 絕不能只停留在技術採用的考慮,必須從營運策略與企業治理的高度重新定義及定位。對於企業、產業與政府而言,無一例外。

「我們以前欠的是 AI 資料債,現在欠的是AI 制度債,」黃國寶說,許多企業可能有很好的技術,但亟需建立制度;而公司的管理階層在建立企業的文化時,除了需要考量產品開發與服務提供可能面臨的風險、機會評估,以及因應對策,還需要擬定公司在營運上的目標,以及如何做好 AI 相關產品的變更管理。

另一方面,他也指出企業在與客戶接觸的過程中,往往容易遇到產品與服務的內容已經變更,卻不知道到底哪一個版本才是最好的。所以這些版本的變更管理,其實還要考量到是否有足夠支持的資源,才能夠做出最適切的決策。

黃國寶說,無論是市場評估、開發進度、維運管理,都需要進行內部管理的查核,以評估整體企業的管理制度是否與時俱進。而公司的管理文化在AI應用上還有一個常被忽略的痛點,就是在整個 AI 產品的發展過程中,必須要做風險評估、風險處置,及AI在應用系統上的影響評估,這也是 ISO42001 的核心重點。

因此,他建議,從初期規劃到評估處置與對應,再到真正實施過程中的對策,當中有許多實務上的領域知識可以結合到現行 ISO 的各種標準應用中,企業可以參考相關標準建立一個管理的框架與制度。因為 AI  的管理標準,不只是管理規範,還有許多技術規範,例如必須考量安全層面、機器學習相關的技術應用,或是生命週期的評估,以及以人為中心的一些人機工程的評價,後續都需要有更多不同領域專家共同參與討論。

更多精彩內容詳見《2023 台灣產業AI化大調查》完整報告已可於官網下載,企業可點選按鈕下載「2023 台灣產業 AI 化大調查」報告。