iThome Modern Web 2018: 如何打造高效的機器學習平台
9 likes•1,714 views
本文探讨了构建高效机器学习平台的重要性与挑战，包括环境安装、训练数据同步、训练调度优化及数据预处理等问题。使用Kubernetes可以简化资源管理与调度，从而提升整体性能。最后强调机器学习平台将成为下一个关键应用。
iThome Modern Web 2018: 如何打造高效的機器學習平台
- 2. 關於我 ● Linker Networks 雲端架構師 ● Golang.tw 共同協辦人 ● 碼天狗策展者
- 3. 兩年前..
- 4. 摘要 ● 何謂機器學習平台 ● 為何你應該打造自己的機器學習平台 ● 打造機器學習平台經驗談 ● 如何打造高效的機器學習平台 ● 結論
- 5. 人工智慧與機器學習的應用
- 6. 大廠的人工智慧 API
- 7. 機器學習流程 (機器學習平台) From “Introduction to Microsoft Azure” by David Chappell
- 8. 拿人臉辨識為例子....
- 9. 透過加上特徵點
- 10. Example: Face detection - annotation
- 11. 透過計算產生機器學習模型
- 12. 透過圖片輸入可以預測你需要的資訊 Azure Face API: https://azure.microsoft.com/zh-tw/services/cognitive-services/face/
- 13. 為何你需要建置自己的機器學習平台
- 14. 開源的深度學習套件
- 16. 誰有大數據
- 18. 製作機器學習平台常遇到的問題 ● 不易安裝的環境 ● 不易同步的訓練資料 ● 無法最佳化的訓練排程 ● 大量的資料前處理
- 19. 買數台 Nvidia GTX 1080 Ti
- 20. 安裝 CUDA8 與 cuDNN v7 與 Tensorflow GPU Install Nvidia Driver Install CUDA8 binary Build CuDNN v7 from source code Install Tensorflow GPU Refer: https://technews.tw/2017/11/07/ai-server-guidance-2-tensorflow/
- 21. 安裝你常用的工具( console or jupyter notebook)
- 22. 好不容易裝好
- 23. 資料科學家跑來跟你說
- 27. 混亂的訓練環境 - Docker 似乎可以解決問題 Python2 Python3
- 29. 甚至是兩種作業環境
- 30. 不易同步的訓練資料
- 31. 龐大的來源訓練資料
- 32. 每個人的資料處理方式不同
- 33. 如何共享處理過的資料夾 Refer: Line貼圖 辦公室常用英語 https://store.line.me/stickershop/product/1429804/zh-Hant
- 35. 大量資料前處理
- 36. 人臉辨識標記
- 37. 經過了不斷的點擊...
- 38. Dlib 需要至少 68 個特徵點
- 39. Kubernetes 讓建制機器學習平台更容易 ● 資源抽象化 (Device Plugin) ● 工作排程
- 40. 製作機器學習平台常遇到的問題 ● 不易安裝的環境 ● 不易同步的訓練資料 ● 無法最佳化的訓練排程 ● 大量的資料前處理
- 41. 如何解決: 不易安裝的環境
- 42. 提供給使用者客製化的方式
- 43. 客製化環境準備流程
- 44. 如何解決: 不易同步的訓練資料
- 45. 節點間的資料如何共通
- 47. 如何解決: 無法最佳化的訓練排程
- 49. 透過自製工作管理器提供高彈性選擇
- 51. 具有客製化 pipeline 處理的工作管理員 (model convertor)
- 52. 如何解決: 大量的資料前處理
- 53. 資料前處理需要大量人工輸入...
- 54. 但是.. 其實有更容易的方式
- 55. Realtime learning and Inference
- 56. 總結 ● 機器學習平台是下個世代的 KillerApp ● 機器學習平台還有些困難點值得討論 ● 透過 Kubernetes 有效的整合資源，提升整體效能