MLOps, 實作解析, 技術 以 HPE MLDM 實作資料的版本控制 隨著 MLOps 的推廣,市面上已有許多針對資料與模型的版本控制工具出現,(以下簡稱為版控)工具出現。這些工具多半具簡潔且易使用的圖形化介面,並逐漸朝向高整合度發展。這篇文章將介紹能針對訓練資料進行版控與前處理自動化工具:HPE ML Data Management (MLDM)
實作解析, 技術 以 Apple 深度學習框架 MLX,實作圖片深度圖預測任務 在前一陣子的文章有談到 Apple M系列強大的 GPU 與 ANE 強大的計算能力,這次文章會再強調 Apple 晶片的一大特色「統一內存架構 (unified memory architecture)」。它使得 CPU 與 GPU 可以直接使用相同的記憶體區塊(momory pool),這樣的優勢在於可以減緩 CPU 與 GPU 記憶體存取上的延遲,避免不必要的效能損耗。
論文快讀, 技術 讓 LLM 更好用的方法:ReAct prompting 自從生成式 AI 興起後,怎麼下 prompt 也成為熱門話題,prompt engineering 更成為新的研究領域。本文將專注於對 LLM prompt engineering 的探討,並介紹當前主流的 ReAct prompting。
Langchain, ChatGPT, 實作解析, 技術 利用 LangChain 實作多模態模型的 RAG:除了讀文章也能看圖答題 相信不少人已經知道 ChatGPT 這類的大型語言模型(LLM,Large Language Model),雖然對話能力強,卻也常亂接話。而RAG(Retrieval Augmented Generation)的做法便是讓 LLM 在回答問題時能夠參考相關文件,有效避免了因知識不足而產生的幻覺現象(hallucination),例如基金會與天下雜誌合作推出的「孫主任 AI 助教」,正是利用此技巧,讓 LLM 可以根據《孫主任的經濟筆記》這本書的內容,提供較正確、適當的回應。
LLM, 實作解析, 技術 從大型語言模型了解如何更好的使用 AI 工具 生成式 AI 的興起帶來了許多便利的工具,從文字、圖像的生成到對話聊天,但你是否好奇為什麼有些人可以產出很好的成品,而自己使用時,卻沒辦法有同樣效果?【AI CAFÉ 線上聽 】特別從生成式 AI 模型的原理出發,了解模型如何解讀指令,將使我們能更有效地使用 AI 工具並生成出滿意的結果。
實作解析, 技術 模型部署前哨站!模型壓縮的原理與方法 自 ChatGPT 推出至今,不少企業也開始嘗試將生成式 AI 模型應用於改善工作效率或提供客戶服務。然而,這類大型語言模型的部署並不容易,隨著模型規模的增長,儲存和計算需求也相對提高。例如:以GPT-175模型需要約350GB的儲存空間(Floot16 precision),並且在推理和運算時,也需要同等大小的記憶體。若要有效運行模型,至少需要五個A100級別的GPU,其中每個GPU具有80GB的記憶體。顯示大型語言模型在部署時,面臨參數量大、速度慢且計算複雜度高等挑戰。此外,若需要在移動端或邊緣設備上進行多模型部署,更是增加了複雜度。
論文快讀, 技術 當 LLM 的觸角延伸到表格資料,有機會一統江湖嗎? 表格資料(Tabular data)是關鍵的機器學習資料。儘管傳統機器學習方法如梯度提升樹(包含知名的 LightGBM 以及 XGBoost)在這方面表現突出,但大型語言模型(LLM)的興起帶來了新的挑戰與機會。本文探討 LLM 如何在未直接接觸資料的情況下分類表格資料,並分析「TabLLM」項目的創新方法和成果。
技術, 論文快讀 圖片「全域特徵」與「局部特徵」我都想要!有效整合的方法介紹 本文旨在尋找一種方法,能有效地結合局部與全域特徵,提供模型更全面的資訊。為此,我們將介紹一種專門設計來整合這兩種特徵的新型 CNN 模型,稱為 Global Local Mixture Network(GLMNet)。
技術, 論文快讀 Mini DALL·E3:透過對話繪製圖片 DALL·E3 是 OpenAI 在2023年10月發布的圖像生成模型,不過,使用者僅能利用咒語與參數調整,才能繪製出滿意的圖片,在使用的自由度上大幅受限。為此,有研究者提出名為 Mini DALL·E3 的模型,近一步說明這一類利用自然語言處理跟圖像生成模型的架構,讓使用者後續能更有效的應用並生成出貼近想法的圖片