MLOps, 實作解析, 技術 MLOps 工具介紹（二）：常見的資料管理工具 越來越多的 AI 專案，使得團隊對於資料、模型的管理需求日益增加；市面上各類工具不斷推陳出新，目前已經有許多選擇，這些工具多半主打優秀的圖形化介面，及較低的學習成本，讓不同背景的團隊成員都能快速上手，開發者可以依自己或團隊的需求選擇合適的工具，增加開發效率。
MLOps, 實作解析, 技術 以 HPE MLDM 實作資料的版本控制 隨著 MLOps 的推廣，市面上已有許多針對資料與模型的版本控制工具出現，（以下簡稱為版控）工具出現。這些工具多半具簡潔且易使用的圖形化介面，並逐漸朝向高整合度發展。這篇文章將介紹能針對訓練資料進行版控與前處理自動化工具：HPE ML Data Management (MLDM)
實作解析, 技術 以 Apple 深度學習框架 MLX，實作圖片深度圖預測任務 在前一陣子的文章有談到 Apple M系列強大的 GPU 與 ANE 強大的計算能力，這次文章會再強調 Apple 晶片的一大特色「統一內存架構 （unified memory architecture）」。它使得 CPU 與 GPU 可以直接使用相同的記憶體區塊（momory pool），這樣的優勢在於可以減緩 CPU 與 GPU 記憶體存取上的延遲，避免不必要的效能損耗。
論文快讀, 技術 讓 LLM 更好用的方法：ReAct prompting 自從生成式 AI 興起後，怎麼下 prompt 也成為熱門話題，prompt engineering 更成為新的研究領域。本文將專注於對 LLM prompt engineering 的探討，並介紹當前主流的 ReAct prompting。
Langchain, ChatGPT, 實作解析, 技術 利用 LangChain 實作多模態模型的 RAG：除了讀文章也能看圖答題 相信不少人已經知道 ChatGPT 這類的大型語言模型（LLM,Large Language Model），雖然對話能力強，卻也常亂接話。而RAG（Retrieval Augmented Generation）的做法便是讓 LLM 在回答問題時能夠參考相關文件，有效避免了因知識不足而產生的幻覺現象（hallucination），例如基金會與天下雜誌合作推出的「孫主任 AI 助教」，正是利用此技巧，讓 LLM 可以根據《孫主任的經濟筆記》這本書的內容，提供較正確、適當的回應。
LLM, 實作解析, 技術 從大型語言模型了解如何更好的使用 AI 工具 生成式 AI 的興起帶來了許多便利的工具，從文字、圖像的生成到對話聊天，但你是否好奇為什麼有些人可以產出很好的成品，而自己使用時，卻沒辦法有同樣效果？【AI CAFÉ 線上聽 】特別從生成式 AI 模型的原理出發，了解模型如何解讀指令，將使我們能更有效地使用 AI 工具並生成出滿意的結果。
實作解析, 技術 模型部署前哨站！模型壓縮的原理與方法 自 ChatGPT 推出至今，不少企業也開始嘗試將生成式 AI 模型應用於改善工作效率或提供客戶服務。然而，這類大型語言模型的部署並不容易，隨著模型規模的增長，儲存和計算需求也相對提高。例如：以GPT-175模型需要約350GB的儲存空間（Floot16 precision），並且在推理和運算時，也需要同等大小的記憶體。若要有效運行模型，至少需要五個A100級別的GPU，其中每個GPU具有80GB的記憶體。顯示大型語言模型在部署時，面臨參數量大、速度慢且計算複雜度高等挑戰。此外，若需要在移動端或邊緣設備上進行多模型部署，更是增加了複雜度。
論文快讀, 技術 當 LLM 的觸角延伸到表格資料，有機會一統江湖嗎？ 表格資料（Tabular data）是關鍵的機器學習資料。儘管傳統機器學習方法如梯度提升樹（包含知名的 LightGBM 以及 XGBoost）在這方面表現突出，但大型語言模型（LLM）的興起帶來了新的挑戰與機會。本文探討 LLM 如何在未直接接觸資料的情況下分類表格資料，並分析「TabLLM」項目的創新方法和成果。
技術, 論文快讀 圖片「全域特徵」與「局部特徵」我都想要！有效整合的方法介紹 本文旨在尋找一種方法，能有效地結合局部與全域特徵，提供模型更全面的資訊。為此，我們將介紹一種專門設計來整合這兩種特徵的新型 CNN 模型，稱為 Global Local Mixture Network（GLMNet）。
