2024年11月14日的講座《AI 業界應用與未來趨勢》由微軟Azure HPC/AI工程部的主要計劃經理蔡孟儒主講，涵蓋了生成式AI的進展、如何客製化AI模型、AI在各行各業的應用以及其未來發展。講座強調了生成式AI在創作文學、圖像和音樂等方面的能力，並舉例介紹了GPT-4 Turbo的多模態功能。蔡孟儒討論了AI的潛在風險與責任，並預測AI將在製造、金融、醫療等領域帶來重大變革。
0 likes64 views
本文件概述了生成式人工智慧的进展及其在各个行业中的应用，强调了微软在这方面的领导地位。文档还讨论了客户如何通过定制语言模型和 Copilot 技术来提高工作效率和简化复杂任务。最后，展望了生成式 AI 的未来潜力，包括其在医疗、教育和服务领域的应用。
2024年11月14日的講座《AI 業界應用與未來趨勢》由微軟Azure HPC/AI工程部的主要計劃經理蔡孟儒主講，涵蓋了生成式AI的進展、如何客製化AI模型、AI在各行各業的應用以及其未來發展。講座強調了生成式AI在創作文學、圖像和音樂等方面的能力，並舉例介紹了GPT-4 Turbo的多模態功能。蔡孟儒討論了AI的潛在風險與責任，並預測AI將在製造、金融、醫療等領域帶來重大變革。
- 1. AI 業界應用與未來趨勢 2024/11 蔡孟儒 (Raymond Tsai) Principle Technical Program Manager Azure HPC/AI Engineering, Microsoft
- 2. © 2024 Microsoft Corporation. All rights reserved Microsoft Confidential 關於我 Raymond Tsai joined Microsoft in 2005, he is a Principal Program Manager of Azure HPC & AI Engineering group and is responsible for engaging with Microsoft’s top-ranked customers and partners to ensure their solutions are designed and running successfully on Azure. He has supported customers including TSMC, AMD, National Taiwan University Hospital, TrendMicro, MediaTek, Cadence, Synopsys and SMIC, in HPC (High Performance Computing), Artificial Intelligence (AI), and Electronic Design Automation (EDA) projects. Raymond holds an EMBA degree from National Taiwan University, a M.S. degree in computer science from University of Southern California as well as a M.S. degree in Industrial Engineering from National Jiao Tong University. Meng-Ru (Raymond) Tsai | LinkedIn
- 3. © 2024 Microsoft Corporation. All rights reserved Microsoft Confidential 關於我
- 4. © 2022 Microsoft Corporation | All rights reserved 主題 生成式AI進展 客製化你的AI模型 AI業界應用 AI的未來 不會包含… - 演算法 - 如何使用prompt…
- 5. 人工智慧 機器學習 深度學習 人工智慧 電腦科學領域，主要尋找可以創造複製或超越人類 智慧的智慧機器 機器學習 人工智慧的一個子集合，使機器能夠從現有資料中 學習並改進這些資料進而做出決策或預測 深度學習 一種機器學習技術，透過類神經網路層用於處理資 料和做出決策 生成式 AI (Generative AI) 輸入或使用現有的資料，由 AI 生成文章、圖片和音 樂等內容。 生成式 AI 1956 1997 2017 2021
- 7. 輸入: 為霜淇淋店寫一個標題。 產生一個 SQL 查詢語法，搜尋所 有住在美國德州名叫 Jane 的人 query = 一個火球，然後要展先出創新速 度感，適用在娛樂產業 生成式 AI 回應: 我們用每一勺帶給顧客 微笑！ 回應: SELECT * FROM customers WHERE State = 'TX' AND FirstName = 'Jane' 回應: 輸入: 我的 Xbox 無法順利開機 回應: 這裡有一些方式你可以試試看… 輸入: 謝謝! 他可以開機了! 那妳可以 推薦我一些 14 歲小孩能玩的遊 戲嗎? 回應: 以下這些遊戲是適合的… GPT 文字 ChatGPT / GPT-4 對話 Codex 程式碼 DALL·E 2 圖片 回應: 輸入: 輸入:
- 8. 經過微軟考量資安和規與 隱私保護等企業需求後部署之模型 最新的模型提供市場驗證 呼叫推斷 | 微調 (Fine tune) 帳務 專用於呼叫推斷之資源，以量計價 資訊安全隱私保護與可靠性 整合內網 | RBAC | 身分驗證 | 資安標準 | 隱私保密 | 自由選取資料中心 | 監控 安全系統與控管敏感詞彙過濾 Azure Open AI Service OpenAI APIs ✓ ✓ ✓ ✓ ✓ ✓ ✓ Azure OpenAI Service 與 OpenAI API
- 9. Data, privacy, and security for Azure OpenAI Service - Azure AI services | Microsoft Learn
- 11. 解數學題 讀流程圖 請分析影片並建議正確的製作食譜步驟 GPT-4 Turbo 的視覺、圖片及影像理解能力
- 12. ©Microsoft Corporation Azure 1 場景詢問與搜尋 2 場景出現段落 3 Video 內容展示 1 2 3 4 影片內容摘要說明 4 GPT-4 Vision：詢問影片，找到關鍵內容
- 13. 與 GPT-4o 對談：引導使用者解出數學方程式 請 GPT-4o 透過鏡頭 閱讀寫下的數學方程式 請 GPT-4o 以引導的方式 帶領使用者一步步解出方程式 1 2 3 詢問 GPT-4o 數學理論 如何應用於實務 GPT-4o 舉出清楚且實際的 例子作為演示
- 14. Sora: OpenAI 人工智慧影音合成的突破 Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
- 15. 多模態 AI
- 18. 「客製化」語言模型 Retrieval Augmented Generation (檢索增強生成) LLMOps (大型語言模型開發維護) Responsible AI (負責任的AI) Add your data Prompt engineer Fine-tune Train 90%* of use cases
- 19. 客製化您的房子 許可證 水電設施 地板 隔間 內部裝潢 傢俱 時間 成本 現成的 Yes Yes Yes Yes Yes No Now 1x 翻新 Yes Yes Yes No No No Months 10x 打掉重蓋 No No No No No No Years 100x
- 20. 客製化您的大型語言模型 (Customized LLMs) 基礎數據 權重 內容 時間 成本 您的數據 & 提示工程 Yes Yes No Now 1x 微調模型 Yes Update No Months 10x 從頭訓練 No No No Years 100x
- 21. 客製化語言模型的結構 Retrieval Augmented Generation (檢索增強生成) LLMOps (大型語言模型開發維護) Responsible AI (負責任的AI) Add your data Prompt engineer Fine-tune Train 90%* of use cases
- 22. Copilots
- 23. Copilot An experience using generative AI to assist humans with complex cognitive tasks 一種使用生成式 AI 協助人類 完成複雜認知任務的體驗 Copilot 通常以自然語言(或自訂模式)驅動 Copilot 通常以聊天機器人體現 總是由人類來決定、訓練及驗證輸出 Copilot 的價值，取決於它協助完成的任務的價值，以及節省的負擔與時間
- 24. M365 Copilots
- 25. GitHub Copilot
- 28. 下一步? 給你一個 2000+ PMID 的列表，幫我找符合… 幫我作成一個 Excel 表格，加上作者、出版年份等欄位。 再幫我找一次這些 PMID，加一個欄位列出是出是 Cohort Study, Case- Control Study, or Cross-sectional Study 幫我起草一份 Word 文件，主題是 “Meta-analysis on prioritize drug repurposing candidates for Alzheimer‘s disease with real-world clinical validation”，請根據…，格式請遵照…. 請幫我從 Word 檔轉成 PowerPoint。 …
- 29. 用 Copilot Studio 客製化您的Copilot > 生成式對話 > 構建自然語言 > 動態完成任務
- 31. 支援 Web、SharePoint、Azure Open AI、後端 資料庫裡的內容整合 始終保持最新狀態，您的Copilot會針對每次請求 直使用最新發佈的內容，不再需要在兩個地方維 護資訊 所生成的回答是來自您組織內部和連結的外部資 料來源、檔案、或網站 開箱即用，您的Copilot會根據組織已經投資的內 容回答問題 您可以從 API 或其他後端系統中提取數據，並在 其上啟用生成式聊天 Generally Available Try now at aka.ms/copilotstudio Generative Answers
- 32. Generative Actions 動態地與外掛程式連結在一起，可產生可操 作的回應 智慧處理預料之外或未構建的查詢 自動要求更多的訊息以獲取任務所需的資訊 Example shows generative actions calling two APIs (Weather + Cruise APIs) based on request. 由具有“LangChain”概念的 Azure OpenAI 服 務提供支援 Public Preview
- 33. Not only OpenAI, but also Meta LLAMA 2, Mistral AI and many others.
- 34. AI 的業界應用
- 36. 18,000+ 組織使用 Azure OpenAI 服務 180 萬+ GitHub Copilot 用戶 37,000+ 訂閱 Copilot 的組織 Source: Satya Nadella, Chairman & CEO, at 2023 Q4 Earning Call 一年後的此刻
- 37. Global GDP and technological revolutions Real GDP in trillions of 2011 GK$, logarithmic scale GDP growth multiplier per century 0.4x 1x 1x 2x 4x 20x Source: Maddison Project, Ourworldindata Technology drives GDP growth, and the pace of change is accelerating 100 10 1 0 1000 1100 1200 1300 1400 1500 1600 1700 1800 1900 2000 Printing press Mass steel production Internet Cloud Electrification PCs Smartphone Steam engines Mass production and assembly lines Transistors Flight Synthetic fertilizer Internal combustion engine +AI Telegraph
- 38. AI will reinvent every industry… and the pace is incredible.
- 40. “ 90% 開發成員認為成功提升工作效率與品 質；86% 認為 GitHub Copilot 有效協助處 理例行工作，提升整體開發能量，採用 GitHub Copilot 協同開發，比不使用平均 加快了 40% 至 60% 的開發時間。” “專攻影像技術的光禾感知 以 AIGC 技術，結合微軟 Azure AI 語音服務，為民 視新聞打造台灣首位 AI 生 成的虛擬電視新聞主播 『敏熙』” 光禾感知科技 “ 光寶科技在 Copilot for Microsoft 365 的導入下， 內部員工得以透過 AI 助攻， 節省行政工作時間以降低 作業負擔。” 光寶科技 “ 透過 Microsoft Copilot Studio 與 Azure OpenAI， 員工彷彿擁有一位具備 20 年知識庫的 AI 顧問，協助 處理日常工作 ” 中華開發金控 “ 此次酷英導入微軟 Azure OpenAI 服務，透過類真 人的口語互動，開拓英語 口說學習情境，提供學習 者更即時且高度擬真的口 語訓練資源。 教育部 “ 透過結合微軟 Azure OpenAI 服務以及 LINE CLOVA Chatbot 聊天機器人，成功為 LINE TAXI 及台北捷運拓展 AI 語音叫車及 AI 乘車 資訊查詢等應用範疇，實現智慧場景便民服 務。” 碩網資訊 永豐銀行
- 41. 義大利外交部 挑戰: • 如何快速回應增加的大量請求：隨著意大利公 民在海外的數量增加，領事館每天需要處理數百 個請求，造成工作量巨大。 解決方案: • 引導用戶解決常見問題和進行行政手續。24小 時在線，確保用戶隨時都能獲取所需信息，並支 持意大利語、英語、法語、葡萄牙語、西班牙語 和德語六種語言。 • 工作負擔減輕：虛擬助手的引入使領事館工作 人員能夠專注於其他重要任務，從而提高了工作 效率和服務質量。 Virtual consular assistance 領務虛擬智能助手 - 幫助領事館工作人員能夠專注於其他重要任務，提高工作效率和服務質量
- 42. 外交部領事服務智能助手 展示
- 43. Daily media summary 處理效率提升，從4小時減少到15分鐘 節省大量時間，從每天花費四個小時的媒體摘要工作， 減少到可能每天僅需15分鐘。 憑藉這些節省的時間，同仁能夠更集中精力解決重要的 問題，如與記者和電信部門等人交談，以了解幾內亞媒 體的情況，包括對新聞自由的威脅，並及時報告。 並能為當地員工用一些較少見的語言，如格爾澤語 Guerze 、普拉爾語Pular或蘇蘇語Susu ，製作新聞指南， 加速上手。 美國駐幾內亞大使館
- 44. 美國駐幾內亞大使館 Write a speech 協助講稿撰寫， 從完成的60%基礎上進行修改 當給生成式AI更具體的提示，比如“為 美國駐幾內亞大使在外交招待會上寫一 篇演講稿。觀眾主要是女性，演講時間 為五分鐘。包括對幾內亞著名女性歷史 人物的引用，並引用一位美國著名女性 的名言。” 它的講稿將會包含了幾內亞歷史上的女 性的具體例子，協助講稿可從60%完成 度開始修改，核實生成式AI提供的細節。 “與生成式AI 技術共同創作的方式，就像使用Excel等工具來分析複雜數據一樣，不必手動按計算機完成” Alexander Hunt—the Public Affairs Officer at the U.S. Embassy in Conakry, Guinea
- 46. Copilot根據活動資料生成新聞稿 Microsoft 365 Copilot撰寫中英文新聞稿 (youtube.co
- 48. Generative AI in Healthcare with Nuance and Epic at Microsoft Inspire 2023
- 49. … Copilot for Microsoft 365 Biz Apps & Power Copilots Conversational experiences for Dynamics 365 and Power Platform products Sales Copilot Service Copilot Microsoft Copilot Studio Extend and customize 1st party copilots | Build custom Copilots Custom Enterprise Copilots Custom Copilots Custom copilots and bots for enterprises and third parties Microsoft 365 Conversational experiences for Microsoft 365 Bot Framework / SDK Bot Service Channels Azure AI Studio Azure AI Search Power Platform Connectors AI Builder Copilot for Power Platform Other Microsoft Copilots Copilot for Health 1P Copilots for health: DAX Copilot …. Copilot Studio for Health: 3rd party extendibility for HLS 1 2 3
- 50. 除了微軟產品…
- 51. Adobe – 2D vector drawings to 3D!
- 52. NotebookLLM – by Google
- 53. AI 的未來 AI 會泡沫化嗎? AI 對人類的風險? AI 會取代人嗎?
- 54. Gartner Hype Cycle 技術成熟度曲線
- 58. 科技的兩面刃 How China is building an all-seeing surveillance state (washingtonpost.com)
- 60. “Act so that the effects of your action are compatible with the permanenc of genuine human life.” Hans Jonas Opportunity & Responsibility We need to protect privacy as a fundamental human right Privacy
- 61. Opportunity & Responsibility We need to act with collective responsibility across the tech sector to help keep the world safe Cybersecurity We need to protect privacy as a fundamental human right Privacy
- 62. Opportunity & Responsibility We need to ask ourselves not only what computers can do, but what computers should do Ethical AI We need to act with collective responsibility across the tech sector to help keep the world safe Cybersecurity
- 63. Opportunity & Responsibility: Stephen Hawking (2015)
- 65. - 生成式AI進展 - 客製化你的AI模型 - AI業界應用 - AI的未來 Q&A
- 66. 如果再成為學生… 創業 實習 競賽、Hackathon LeetCode 修課、論文方向、再進修? 興趣(passion) 市場敏感度 機運