Langchain and Azure ML and Open AI
- 3. 在 Azure Machine Learning 上學習 LangChain Ko Ko, Microsoft AI MVP 2023/12/10 @ .NET Conf Taiwan @NTU
- 4. 關於 Ko Ko • Ko Ko 是本名。 • 連續四年當選 Microsoft AI MVP。 • 國內外大型技術年會講師，包含 COSCUP、ModernWeb、名古屋開源年會、香 港開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。 • 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language 開發實踐 (使用.NET 與 Node.js)》 • https://linktr.ee/qqkerk
- 5. 大綱 • 快速複習 LLM 的知識 • Azure Open AI 介紹 • 向量資料庫介紹 • LangChain 介紹 • Azure Machine Learning 介紹 • Live Demo --- 用 LangChain 快速打造具企業知識的 AI
- 6. Large Language Model • 基於 Transformer 架構 • 使用大量的文本進行訓練 • 參數超多，包含數億到數兆個參數 • 可以進行廣泛的語言任務 • 模型的能力往往與其規模正相關
- 7. GPT 家族 • Improving Language Understanding by Generative Pre-Training • Language Models are Unsupervised Multitask Learners • Language Models are Few-Shot Learners • Training language models to follow instructions with human feedback • GPT-4 Technical Report • GPT • GPT-2 • GPT-3 • Instruct GPT • GPT-4
- 9. Instruct GPT 和 GPT-3.5-turbo
- 10. Azure Open AI • 把 Open AI 的服務放進 Azure 裡。 • 享受許多 Azure 在整合上的好處。 • RBAC、V-NET、Monitor ....... • 在 1.0 版之後的 Python SDK 正式分開！
- 13. LangChain • 快速整合大型語言模型的框架 • 快速打造具上下文感知與推理應用 • 有 Python 和 JS 的 Library，以 Python 最完整。 • 發展非常快速！！
- 14. 推理能力（已遮掉實際商品名）
- 15. LangChain（還很新的部份） • LangChain Templates：多種任務的可部署參考架構集合。 • LangServe：將 LangChain 鏈部署為 REST API 的套件。 • LangSmith：用於調試、測試、評估和監控基於任何 LLM 框架的鏈 的開發者平台，並與 LangChain 無縫整合。 • LangChain 表達語言（LCEL）： • 用於鏈組合的聲明式方法。 • 從 prototype to product，無需更改程式碼。
- 18. RAG(Retrieval Augmented Generation ) https://www.e2enetworks.com/blog/guide-to-building-a-rag-based-llm-application
- 19. Azure Machine Learning • 快速建置、訓練、部署模型 • 大規模地執行作業，提供可靠的解決方案 • 支持 MLOps 的元件與其原則 • 可以做 IaC (Infrastructure as Code) • 現在還有 Prompt Flow
- 20. Live Demo ---用 LangChain 快 速打造具企業知識的 AI Azure Open AI Azure Machine Learning 用 LangChain 寫 code
- 21. 複習 Live Demo 重點 • 了解 Azure Open AI 的設定 • 了解 Azure Machine Learning 的操作介面，包含 HF 模型部署 • 從程式碼中了解 LangChain 的基本元件使用 • 了解基本的 RAG 做法 • 了解 LangChain 整合 Azure Machine Learning enpoint 的做法
- 24. 24 天瓏書局七月銷售排行第二名：內容80%未過時 • 第一本針對軟體工程師所撰寫之 ChatGPT 專書 • 用 .NET 和 Node.JS 雙語言範例程式碼 • 第一本針對 Azure OpenAI 所撰寫之專書 • 第一本針對 Cognitive Service for Language 專書 • 第一本教你如何 Fine tune GPT 模型之專書 • 第一本教你 Semantic Kernel 與 RAG pattern 專書 • 大量範例與實戰，內容至今 80% 可用
- 25. 25 本班通過 2024 年數位發展部 AIGO 計畫，政府補助 50% 學費 預約報名表單 工商一下
- 26. 感謝聆聽！ Q & A 時間