論文快讀, 技術 讓 LLM 更好用的方法：ReAct prompting 自從生成式 AI 興起後，怎麼下 prompt 也成為熱門話題，prompt engineering 更成為新的研究領域。本文將專注於對 LLM prompt engineering 的探討，並介紹當前主流的 ReAct prompting。
ChatGPT, 實作解析, 技術 利用 LangChain 實作多模態模型的 RAG：除了讀文章也能看圖答題 相信不少人已經知道 ChatGPT 這類的大型語言模型（LLM,Large Language Model），雖然對話能力強，卻也常亂接話。而RAG（Retrieval Augmented Generation）的做法便是讓 LLM 在回答問題時能夠參考相關文件，有效避免了因知識不足而產生的幻覺現象（hallucination），例如基金會與天下雜誌合作推出的「孫主任 AI 助教」，正是利用此技巧，讓 LLM 可以根據《孫主任的經濟筆記》這本書的內容，提供較正確、適當的回應。
LLM, 實作解析, 技術 從大型語言模型了解如何更好的使用 AI 工具 生成式 AI 的興起帶來了許多便利的工具，從文字、圖像的生成到對話聊天，但你是否好奇為什麼有些人可以產出很好的成品，而自己使用時，卻沒辦法有同樣效果？【AI CAFÉ 線上聽 】特別從生成式 AI 模型的原理出發，了解模型如何解讀指令，將使我們能更有效地使用 AI 工具並生成出滿意的結果。
實作解析, 技術 模型部署前哨站！模型壓縮的原理與方法 自 ChatGPT 推出至今，不少企業也開始嘗試將生成式 AI 模型應用於改善工作效率或提供客戶服務。然而，這類大型語言模型的部署並不容易，隨著模型規模的增長，儲存和計算需求也相對提高。例如：以GPT-175模型需要約350GB的儲存空間（Floot16 precision），並且在推理和運算時，也需要同等大小的記憶體。若要有效運行模型，至少需要五個A100級別的GPU，其中每個GPU具有80GB的記憶體。顯示大型語言模型在部署時，面臨參數量大、速度慢且計算複雜度高等挑戰。此外，若需要在移動端或邊緣設備上進行多模型部署，更是增加了複雜度。
論文快讀, 技術 當 LLM 的觸角延伸到表格資料，有機會一統江湖嗎？ 表格資料（Tabular data）是關鍵的機器學習資料。儘管傳統機器學習方法如梯度提升樹（包含知名的 LightGBM 以及 XGBoost）在這方面表現突出，但大型語言模型（LLM）的興起帶來了新的挑戰與機會。本文探討 LLM 如何在未直接接觸資料的情況下分類表格資料，並分析「TabLLM」項目的創新方法和成果。
技術, 論文快讀 圖片「全域特徵」與「局部特徵」我都想要！有效整合的方法介紹 本文旨在尋找一種方法，能有效地結合局部與全域特徵，提供模型更全面的資訊。為此，我們將介紹一種專門設計來整合這兩種特徵的新型 CNN 模型，稱為 Global Local Mixture Network（GLMNet）。
技術, 論文快讀 Mini DALL·E3：透過對話繪製圖片 DALL·E3 是 OpenAI 在2023年10月發布的圖像生成模型，不過，使用者僅能利用咒語與參數調整，才能繪製出滿意的圖片，在使用的自由度上大幅受限。為此，有研究者提出名為 Mini DALL·E3 的模型，近一步說明這一類利用自然語言處理跟圖像生成模型的架構，讓使用者後續能更有效的應用並生成出貼近想法的圖片
實作解析, 技術 當 MLOps 落實在產業中：如何解決 ML 在企業的挑戰 一個AI專案包含了資料處理、模型開發、驗證到部署上線等階段，形成了一個週期性的工作流程，當中所要考量的因素非常多，包括成員人數、資源分配、模型維護等，面對這些挑戰，有沒有哪些工具可以協助企業，在發展 AI 專案時，能更有效率的控制流程？
MLOps, 技術解析, 技術 由開發團隊的需求出發，從無到有設計一個實用的 MLOps 系統 Machine Learning Operations（MLOps）是持續性機器學習模型管理與部署的實踐，可以幫助機器學習模型開發團隊有效地執行模型的實驗、管理、部署等任務。任務細節多半依據團隊的實際需求客製化各種功能，並利用網路上各種不同專攻功能的套件，整合成一個 MLOps 系統。本文將從開發團隊的需求出發，依序先介紹 MLOps 系統的基本功能需求，並據此挑選套件，最後利用這些套件搭建一個實用 MLOps 系統。幫助讀者快速暸解一個實用的 MLOps 系統的設計過程。
