技術

此標籤共有 87 篇文章

利用 Langchain 實作系列 RAG 進階流程:Query Analysis & Self-reflection
Langchain, 技術, 實作解析

利用 Langchain 實作系列 RAG 進階流程:Query Analysis & Self-reflection

檢索增強生成 (Retrieval Augmented Generation, RAG) 是近期的熱門應用技術之一,但要建立一個足夠穩定的 RAG 架構,並不容易。本篇文章著重在 RAG 技巧中的流程設計與調整,帶領大家快速了解一些實用的 RAG 模組,也透過實際操作,學習 LangChain 與 LangGraph 工具

從資料到模型,以 MLOps 精神實作 AI 模型訓練
MLOps, 實作解析, 技術

從資料到模型,以 MLOps 精神實作 AI 模型訓練

過去在 DL 模型的開發過程中,要追蹤大量的資料和實驗結果可能需要結合多項工具,形成較高的學習成本;針對這些問題,HPE 推出 MLDM、MLDE 作為解決方案,使用者只需要熟悉這兩項工具,就能包辦大部分的開發工作,而實際使用的體驗也讓我們認為是值得一試的。

MLOps 工具介紹(二):常見的資料管理工具
MLOps, 實作解析, 技術

MLOps 工具介紹(二):常見的資料管理工具

越來越多的 AI 專案,使得團隊對於資料、模型的管理需求日益增加;市面上各類工具不斷推陳出新,目前已經有許多選擇,這些工具多半主打優秀的圖形化介面,及較低的學習成本,讓不同背景的團隊成員都能快速上手,開發者可以依自己或團隊的需求選擇合適的工具,增加開發效率。

以 HPE MLDM 實作資料的版本控制
MLOps, 實作解析, 技術

以 HPE MLDM 實作資料的版本控制

隨著 MLOps 的推廣,市面上已有許多針對資料與模型的版本控制工具出現,(以下簡稱為版控)工具出現。這些工具多半具簡潔且易使用的圖形化介面,並逐漸朝向高整合度發展。這篇文章將介紹能針對訓練資料進行版控與前處理自動化工具:HPE ML Data Management (MLDM)

以 Apple 深度學習框架 MLX,實作圖片深度圖預測任務
實作解析, 技術

以 Apple 深度學習框架 MLX,實作圖片深度圖預測任務

在前一陣子的文章有談到 Apple M系列強大的 GPU 與 ANE 強大的計算能力,這次文章會再強調 Apple 晶片的一大特色「統一內存架構 (unified memory architecture)」。它使得 CPU 與 GPU 可以直接使用相同的記憶體區塊(momory pool),這樣的優勢在於可以減緩 CPU 與 GPU 記憶體存取上的延遲,避免不必要的效能損耗。

利用 LangChain 實作多模態模型的 RAG:除了讀文章也能看圖答題
ChatGPT, 實作解析, 技術

利用 LangChain 實作多模態模型的 RAG:除了讀文章也能看圖答題

相信不少人已經知道 ChatGPT 這類的大型語言模型(LLM,Large Language Model),雖然對話能力強,卻也常亂接話。而RAG(Retrieval Augmented Generation)的做法便是讓 LLM 在回答問題時能夠參考相關文件,有效避免了因知識不足而產生的幻覺現象(hallucination),例如基金會與天下雜誌合作推出的「孫主任 AI 助教」,正是利用此技巧,讓 LLM 可以根據《孫主任的經濟筆記》這本書的內容,提供較正確、適當的回應。

從大型語言模型了解如何更好的使用 AI 工具
LLM, 實作解析, 技術

從大型語言模型了解如何更好的使用 AI 工具

生成式 AI 的興起帶來了許多便利的工具,從文字、圖像的生成到對話聊天,但你是否好奇為什麼有些人可以產出很好的成品,而自己使用時,卻沒辦法有同樣效果?【AI CAFÉ 線上聽 】特別從生成式 AI 模型的原理出發,了解模型如何解讀指令,將使我們能更有效地使用 AI 工具並生成出滿意的結果。

  • AIF Editor
模型部署前哨站!模型壓縮的原理與方法
實作解析, 技術

模型部署前哨站!模型壓縮的原理與方法

自 ChatGPT 推出至今,不少企業也開始嘗試將生成式 AI 模型應用於改善工作效率或提供客戶服務。然而,這類大型語言模型的部署並不容易,隨著模型規模的增長,儲存和計算需求也相對提高。例如:以GPT-175模型需要約350GB的儲存空間(Floot16 precision),並且在推理和運算時,也需要同等大小的記憶體。若要有效運行模型,至少需要五個A100級別的GPU,其中每個GPU具有80GB的記憶體。顯示大型語言模型在部署時,面臨參數量大、速度慢且計算複雜度高等挑戰。此外,若需要在移動端或邊緣設備上進行多模型部署,更是增加了複雜度。

  • AIF Editor