技術

此標籤共有 89 篇文章

從大型語言模型了解如何更好的使用 AI 工具
LLM, 實作解析, 技術

從大型語言模型了解如何更好的使用 AI 工具

生成式 AI 的興起帶來了許多便利的工具,從文字、圖像的生成到對話聊天,但你是否好奇為什麼有些人可以產出很好的成品,而自己使用時,卻沒辦法有同樣效果?【AI CAFÉ 線上聽 】特別從生成式 AI 模型的原理出發,了解模型如何解讀指令,將使我們能更有效地使用 AI 工具並生成出滿意的結果。

  • AIF Editor
模型部署前哨站!模型壓縮的原理與方法
實作解析, 技術

模型部署前哨站!模型壓縮的原理與方法

自 ChatGPT 推出至今,不少企業也開始嘗試將生成式 AI 模型應用於改善工作效率或提供客戶服務。然而,這類大型語言模型的部署並不容易,隨著模型規模的增長,儲存和計算需求也相對提高。例如:以GPT-175模型需要約350GB的儲存空間(Floot16 precision),並且在推理和運算時,也需要同等大小的記憶體。若要有效運行模型,至少需要五個A100級別的GPU,其中每個GPU具有80GB的記憶體。顯示大型語言模型在部署時,面臨參數量大、速度慢且計算複雜度高等挑戰。此外,若需要在移動端或邊緣設備上進行多模型部署,更是增加了複雜度。

  • AIF Editor
當 LLM 的觸角延伸到表格資料,有機會一統江湖嗎?
論文快讀, 技術

當 LLM 的觸角延伸到表格資料,有機會一統江湖嗎?

表格資料(Tabular data)是關鍵的機器學習資料。儘管傳統機器學習方法如梯度提升樹(包含知名的 LightGBM 以及 XGBoost)在這方面表現突出,但大型語言模型(LLM)的興起帶來了新的挑戰與機會。本文探討 LLM 如何在未直接接觸資料的情況下分類表格資料,並分析「TabLLM」項目的創新方法和成果。

Mini DALL·E3:透過對話繪製圖片
技術, 論文快讀

Mini DALL·E3:透過對話繪製圖片

DALL·E3 是 OpenAI 在2023年10月發布的圖像生成模型,不過,使用者僅能利用咒語與參數調整,才能繪製出滿意的圖片,在使用的自由度上大幅受限。為此,有研究者提出名為 Mini DALL·E3 的模型,近一步說明這一類利用自然語言處理跟圖像生成模型的架構,讓使用者後續能更有效的應用並生成出貼近想法的圖片

由開發團隊的需求出發,從無到有設計一個實用的 MLOps 系統
MLOps, 技術解析, 技術

由開發團隊的需求出發,從無到有設計一個實用的 MLOps 系統

Machine Learning Operations(MLOps)是持續性機器學習模型管理與部署的實踐,可以幫助機器學習模型開發團隊有效地執行模型的實驗、管理、部署等任務。任務細節多半依據團隊的實際需求客製化各種功能,並利用網路上各種不同專攻功能的套件,整合成一個 MLOps 系統。本文將從開發團隊的需求出發,依序先介紹 MLOps 系統的基本功能需求,並據此挑選套件,最後利用這些套件搭建一個實用 MLOps 系統。幫助讀者快速暸解一個實用的 MLOps 系統的設計過程。

AI 專案開發一定要用 MLOps 嗎?從專案流程看起
MLOps, 技術解析, 技術

AI 專案開發一定要用 MLOps 嗎?從專案流程看起

MLOps是近來極為熱門的單字,在許多討論專案的文章或是論壇中都可以聽到,不過,實際上對於專案的幫助是什麼呢?這篇文章希望透過宏觀的角度來介紹MLOps,以及不管是完全沒接觸過AI、或是正開始學習AI的學生,甚至是熟稔AI技術但正在觀望是否要導入MLOps的工程師或主管們,都希望能透過這篇文章來讓你能更了解它。

MLOps 工具介紹(一):常見的三種模型實驗管理工具
MLOps, 實作解析, 技術

MLOps 工具介紹(一):常見的三種模型實驗管理工具

在AI專案的模型驗證階段,有許多工具可以協助團隊進行模型管理,主要目的都是在幫助團隊管理多專案與多實驗的狀況,可以輔助開發過程較為順利,所有的實驗數據都會被紀錄與備份,可以減少實驗數據遺失的風險。這些工具各有特色與強項,這篇將提供讀者幾個熱門工具建議: