高風險AI系統如何滿足歐盟AI法案迫在眉睫的驗證要求？

黃國寶 -

雖然法案在 2026 年才生效，有鑑於 AI 新產品的整體開發生命週期往往超過一年，在 2024 年底的當下，產業就應該要開始建立符合性驗證所必要的技術文件和相關佐證紀錄。

主題背景

歐盟 AI 法案將 AI 系統依風險程度分類，並針對不同風險等級的 AI 系統制定不同的監管要求。其中，高風險 AI 系統是指那些可能對人類健康、安全或基本權利造成重大危害的 AI 系統，例如醫療診斷、自動駕駛、執法等領域的應用。為確保高風險 AI 系統的安全性、可靠性和可信賴度，歐盟 AI 法案要求這些系統必須經過嚴格的符合性評估(驗證)程序，才能進入市場或投入使用。

歐盟AI法案對符合性評估程序的要求

歐盟 AI 法案對高風險 AI 系統的符合性評估(驗證)程序做出詳細的規定，主要包括以下幾個方面：

1. 符合性評估角色:

  • AI系統提供者 負有主要責任，需要確保其開發的高風險AI系統符合法案的要求，並進行必要的評估和文件準備。
  • 公告機構（Notified Body, NB） 是一個獨立的第三方機構，負責對高風險AI系統進行評審和驗證，以確保其符合法案的標準。

2. 符合性評估程序:
歐盟AI法案規定不同的符合性評估程序，適用於不同類型的高風險AI系統，大致區分為二類。

  • 涉及第三方驗證機構(NB)的符合性驗證： 此程序適用於附件三中未列出或部分應用統一標準的高風險 AI 系統。驗證機構根據技術文件評審 AI 管理系統，實驗室測試以驗證其風險管理、數據和數據治理、技術文件、人為監督、準確性、穩健性和網路安全等的符合程度。
  • 基於內部控制的符合性評估： 此程序適用於附件三中列出的第 2 至 8 點所述的高風險 AI 系統，不需認證機構參與。AI系統提供者需要自行檢查技術文件中的資訊，以評估 AI 系統是否符合相關的基本要求，並驗證 AI 系統的設計和開發過程及其上市後監控是否與技術文件一致。
  • 附件三中所謂的高風險 AI 系統包括：生物特徵辨識、管理和操作關鍵基礎設施、教育和職業培訓的評分系統、決定個人獲得其本服務的系統、執法和移民管理、司法系統評估、聘僱及人力資源的應用等。

3. 技術文件要求:
AI系統提供者需要準備詳細的技術文件，以證明其高風險AI系統符合法案的要求。(讀者可以參考:資料為本：解讀歐盟AI法案對資料治理與品質的要求)

  • 這些文件應包含系統的設計、開發、測試和驗證等方面的資訊，以及風險評估和減輕措施等。
  • 讀者可以參考附件四，詳細列出技術文件應包含的資訊。

4. 品質管理系統要求:
AI系統提供者需要建立和實施完善的品質管理系統，以確保其高風險AI系統在整個生命週期中持續符合法案的要求。

  • 該系統應涵蓋風險管理、資料品質、軟體開發、文件管理和持續監控等方面。
  • 品質管理系統的評估程序步驟包含AI提供者向驗證機構提交申請、驗證機構審查技術文件和執行成效、必要時進行額外的測試、經驗證機構確認符合要求，頒發型式檢驗證書。

5. 符合性聲明和CE標誌:

  • AI系統提供者在完成符合性評估程序後，需要出具符合性聲明，以聲明其高風險AI系統符合法案的要求。
  • 符合要求的高風險AI系統需要加貼CE標誌，以表明其符合歐盟的相關法規。

6. 上市後監控:
AI系統提供者需要建立上市後監控系統，以持續收集和分析AI系統的性能數據，以及使用者回饋，並評估其是否持續符合法案的要求。

  • 如果發現系統存在任何問題，AI系統提供者需要採取必要的矯正和補救措施，例如更新軟體、修改設計或召回產品。

案例分析

醫療影像診斷 AI 系統: 開發此類系統的 AI 系統提供者需要建立完善的品質管理系統，以確保系統在開發、測試和驗證過程中符合嚴格的安全和性能標準。

  • 提供者需要準備詳細的技術文件，說明系統的演算法、訓練資料集(data set)、風險評估和臨床驗證結果等。
  • 提供者還需要進行上市後監控，以持續收集和分析系統的性能數據，並評估其是否持續符合法案的要求。
    自動駕駛系統: 開發此類系統的AI系統提供者需要進行嚴格的道路測試和模擬，以驗證系統在各種路況下的安全性和可靠性。
  • 提供者需要建立完善的風險管理系統，以識別、評估和減輕系統的潛在風險。
  • 供者還需要準備詳細的技術文件，說明系統的感知、決策和控制機制、使用的感測器和演算法、測試數據和結果等。

小結

歐盟AI法案對高風險AI系統的符合性評估程序提出嚴格的要求，旨在確保這些系統的安全性、可靠性和可信賴度，是確保高風險 AI 系統安全可靠的關鍵機制。雖然歐盟AI法案在2026年開始生效，但是有鑑於AI系統的開發生命週期需要一定的時間，假如在開發初期忽略符合性驗證所必要的技術文件和開發過程的相關測試和驗證記錄，一旦在2026年初進入歐盟海關之際，無法完整提供這些必要的文件和紀錄以及符合性驗證的佐證(證書)，將無法順利進入歐盟市場，整個AI系統的開發成過將付之一炬、徒勞無功。

行動呼籲

  • 相關產業的企業應深入瞭解歐盟AI法案對符合性評估程序的要求。
  • 產業在新開發AI產品初期，就應該建立符合法案要求的品質管理系統和技術文件，並妥善保存相關文件記錄。
  • 積極與公告機構(NB)合作，進行符合性評審和產品驗證。
  • 建立上市後監控系統，並持續收集和分析系統的性能數據，以及使用者回饋，並評估其是否持續符合法案的要求。

延伸閱讀