MLOps, 實作解析, 技術 從資料到模型,以 MLOps 精神實作 AI 模型訓練 過去在 DL 模型的開發過程中,要追蹤大量的資料和實驗結果可能需要結合多項工具,形成較高的學習成本;針對這些問題,HPE 推出 MLDM、MLDE 作為解決方案,使用者只需要熟悉這兩項工具,就能包辦大部分的開發工作,而實際使用的體驗也讓我們認為是值得一試的。
MLOps, 實作解析, 技術 MLOps 工具介紹(二):常見的資料管理工具 越來越多的 AI 專案,使得團隊對於資料、模型的管理需求日益增加;市面上各類工具不斷推陳出新,目前已經有許多選擇,這些工具多半主打優秀的圖形化介面,及較低的學習成本,讓不同背景的團隊成員都能快速上手,開發者可以依自己或團隊的需求選擇合適的工具,增加開發效率。
MLOps, 實作解析, 技術 以 HPE MLDM 實作資料的版本控制 隨著 MLOps 的推廣,市面上已有許多針對資料與模型的版本控制工具出現,(以下簡稱為版控)工具出現。這些工具多半具簡潔且易使用的圖形化介面,並逐漸朝向高整合度發展。這篇文章將介紹能針對訓練資料進行版控與前處理自動化工具:HPE ML Data Management (MLDM)
MLOps, 技術解析, 技術 由開發團隊的需求出發,從無到有設計一個實用的 MLOps 系統 Machine Learning Operations(MLOps)是持續性機器學習模型管理與部署的實踐,可以幫助機器學習模型開發團隊有效地執行模型的實驗、管理、部署等任務。任務細節多半依據團隊的實際需求客製化各種功能,並利用網路上各種不同專攻功能的套件,整合成一個 MLOps 系統。本文將從開發團隊的需求出發,依序先介紹 MLOps 系統的基本功能需求,並據此挑選套件,最後利用這些套件搭建一個實用 MLOps 系統。幫助讀者快速暸解一個實用的 MLOps 系統的設計過程。
MLOps, 技術解析, 技術 AI 專案開發一定要用 MLOps 嗎?從專案流程看起 MLOps是近來極為熱門的單字,在許多討論專案的文章或是論壇中都可以聽到,不過,實際上對於專案的幫助是什麼呢?這篇文章希望透過宏觀的角度來介紹MLOps,以及不管是完全沒接觸過AI、或是正開始學習AI的學生,甚至是熟稔AI技術但正在觀望是否要導入MLOps的工程師或主管們,都希望能透過這篇文章來讓你能更了解它。
MLOps, 實作解析, 技術 MLOps 工具介紹(一):常見的三種模型實驗管理工具 在AI專案的模型驗證階段,有許多工具可以協助團隊進行模型管理,主要目的都是在幫助團隊管理多專案與多實驗的狀況,可以輔助開發過程較為順利,所有的實驗數據都會被紀錄與備份,可以減少實驗數據遺失的風險。這些工具各有特色與強項,這篇將提供讀者幾個熱門工具建議:
MLOps, 實作解析, 技術 手把手部署HPE Machine Learning Development Environment 市面上專攻模型實驗平台的套件有非常多,之前曾介紹了如何上傳模型實驗任務,以及快速部署 MLDE 在單一電腦上。本文透過介紹MLDE的系統架構、事前準備、使用 CLI 部署及移除節點,讓讀者可以快速部署客製化的模型實驗平台在 Docker 環境中。
MLOps, 實作解析, 技術 用 MLDE 平台實作 PyTorch 卷積神經網路模型 機器學習模型的開發過程中,為了讓模型效能更好,通常資料科學家會設計實驗,擬定要嘗試的模型並對各個模型嘗試不同的超參數組合,以便從中找出表現最好的組合。正是因為要嘗試的組合非常多,可以想像過程中所產生的結果也不可計數,過往需要仰賴人工手動填寫表格,以利管理。