從資料到 AI 專案:MLOps 與人工智慧落地
知勢電子報 | 2024.06.02
從資料到 AI 專案:MLOps 與人工智慧落地

各位朋友們好:

雖然這兩年生成式 AI 成為熱門討論話題,甚至有不少人誤以為生成式 AI 就是 AI。但實際上,對於很多 AI 工程師而言,如何讓企業內部的各種 AI 系統能夠被有效管理、產生最佳效能,才是日常工作的重點。而其中,好的 MLOps 設計是不可或缺的關鍵。

MLOps 是機器學習(ML, Machine Learning)以及 DevOps、也就是開發 (Development)和維運(Operations)所組成的概念,希望結合這三者,從 ML 的開發、驗證到佈署上線,都能自動化完成並快速維運產品。

簡單說,MLOps 的功能是持續管理產品中機器學習模組,整合了 ML 商業化時所需應用的技術與非技術元素,並在市場上保有競爭力且生存下去。所以,只要產品與機器學習相關、有持續穩定維運的需求,就必須注意 MLOps。

本週電子報就跟大家分享 MLOps 專輯,特別與 HPE、AMD 共同合作,介紹 HPE 的 MLDM+MLDE 完整生態系工具,如何使得每次實驗結果與開發流程更容易管理。不熟悉技術的朋友們也不妨花點時間閱讀,可以更理解 MLOps 的定義與流程。

人工智慧科技基金會執行長 溫怡玲

本期目錄

MLOps 工具介紹:常見的資料管理工具
資料管理 技術

MLOps 工具介紹:常見的資料管理工具

隨著開發過程持續推進,通常會產生大量版本的程式碼,因此會使用版本控制工具來追蹤這些程式碼,以利後續維護。除了程式碼,訓練資料也需要進行版本控制。目前市面上能見度較高的產品包括 DagsHub、DVC、Dolt、Git LFS、LakeFS、Neptune、HPE MLDM、Delta Lake,本文主要分享最多人使用與討論度較高的幾個工具。

閱讀更多
由開發團隊的需求出發,從無到有設計一個實用的 MLOps 系統
MLOps 技術

由開發團隊的需求出發,從無到有設計一個實用的 MLOps 系統

在設計 MLOps 系統時,主要會以開發團隊目前的機器學習專案開發流程為基礎,並以此設計系統。本文將從開發團隊的需求出發,依序先介紹 MLOps 系統的基本功能需求,並據此挑選套件,最後利用這些套件搭建一個實用 MLOps 系統。幫助讀者快速暸解一個實用的 MLOps 系統的設計過程。

閱讀更多
從資料到模型,以 MLOps 精神實作 AI 模型訓練
MLDM 技術

從資料到模型,以 MLOps 精神實作 AI 模型訓練

我們使用 HPE MLDM 與 MLDE,讓模型開發專案從資料前處理到模型訓練都進行版本控制,也做到資料前處理與模型超參數調整的自動化。這篇文章我們將著重在結合 MLDM 與 MLDE 實作模型的訓練,從前處理到模型訓練都在版控環境中執行,讓開發過程更順暢。

閱讀更多