用十分鐘瞭解 Tensorflow.js (Google的JavaScript深度學習套件)
26 likes13,261 views
本文介绍了 TensorFlow.js，这是 Google 开发的 JavaScript 深度学习库，允许用户不仅加载通过 Python 训练的模型，还能直接编写训练程序。作者分享了怎样使用该库进行基础的机器学习任务，例如曲线回归和图像识别，并提供了不同类型神经网络的示例和教程链接。尽管当前 TensorFlow.js 在性能上可能不如 Python 版，但它已成为 JavaScript 开发者在深度学习领域的重要选择。
用十分鐘瞭解 Tensorflow.js (Google的JavaScript深度學習套件)
- 1. 用十分鐘瞭解 Tensorflow.js (Google 的 JavaScript 深度學習套件 ) 陳鍾誠 金門大學資訊工程系 2018 年 4 月 24 日 程式人十分鐘系列程式人十分鐘系列 本文衍生自維基百科
- 2. 話說 ● 這兩年 Python 快速崛起 ● 原因主要和《深度學習》有關 ...
- 3. 特別是 ● Tensorflow 框架只支援 Python 語言做 機器學習訓練 ... ● 其他的語言，像是 Java, Go, JavaScript 只能使用 Python 訓練好的模型，而無法撰 寫訓練程式 ...
- 4. 這對以 JavaScript 為主的我 ● 實在是非常不方便的 ....
- 5. 終於 ● 在 2018 年四月 Google 的 Nikhil Thorat 等人 釋出了 Tensorflow.js
- 6. Tensorflow.js ● 不只可以載入 Python 訓練好的 模型，也可以直接撰寫訓練程式 …
- 8. 所以我決定 ● 立馬開始使用 Tensorflow.js ...
- 9. 首先來到 Tensorflow.js 的官網 https://js.tensorflow.org/
- 10. 向下捲到 Getting Started (via Script Tag 這一段 )
- 13. 然後我們可以看到程式的輸出
- 14. 仔細看一下程式
- 16. 所以 tf.sequantial 代表 ● 將神經網路一個接一個串接起來
- 17. 這樣我就看懂了 ... ● 這個程式只有一層 dense 網路，然後用隨機梯度下降法，對 meanSquaredError 這個能量函數進行優化！ 接著給定訓練的輸入與輸出接著給定訓練的輸入與輸出 然後開始訓練，訓練好後就進行預測 看看 x =5 時，預測的 y 會是多少？
- 18. 有了這個範例當基礎 讓我們進一步看看 Tutorials & Guides https://js.tensorflow.org/tutorials/
- 21. 但是必須先具備一點 ● 神經網路與深度學習的基本概念 ● 那就是 tensor 張量 ...
- 22. 我們在高中數學裏學過向量與矩陣 ● 我們可以把矩陣視為《 2 維的向量》 ● 那麼一般向量當然是《 1 維的向量》 ● 接著把單一數量視為《 0 維的向量》
- 23. 而張量 tensor 這個詞 ● 用來泛指 0,1,2,3,4,5 .... 等 各種維度的向量
- 26. 神經網路的程式 ● 只要安排好 – 張量如何流進去？ – 經過甚麼運算？ – 然後流出到哪裡 … 就差不多完成了
- 27. 這就是 Tensorflow 這個名詞的來源 ● 也就是《張量流》 ...
- 28. 深度學習除了張量之外 ● 剩下的都是優化問題 ● 可以交給《梯度下降法與反傳遞演算法》處理 ● 這些在 tensorflow.js 裏都做好了！
- 30. 還有張量的初始化等動作
- 31. 您可以宣告各種維度的張量 ● 0 維 : tf.scalar – 常量 ● 1 維 : tf.tensor1d ● 2 維 : tf.tensor2d ● 3 維 : tf.tensor3d ● 4 維 : tf.tensor4d
- 34. Tensorflow.js 還支援鏈式語法 ● 熟悉 jQuery 的朋友們應該會覺得很親切 也有支援傳統的函數呼叫方式，您不一定要用鏈式語法
- 35. 您可以使用張量運算組合成函數
- 36. 然後最重要的 ● 是用這些張量建立神經網路模型，像是這樣： 可惜上面這個例子是不完整的，因為沒有定義 data, labels, LEARNING_RATE ….
- 37. 目前的 tensorflow.js ● 只支援在瀏覽器裏面執行 ● 而不支援直接在 node.js 裡面執行 ● 雖然使用的開發工具需要 node.js ，但是 執行還只能在瀏覽器裏面 ...
- 38. 為甚麼會這樣呢？
- 39. 原因主要在 WebGL 上面 ● WebGL 是一個瀏覽器上利用繪圖卡 ( 繪圖處理器 GPU) 進行加速的函式庫。 ● Tensorflow.js 會利用 WebGL 加速 《張量的計算》 ...
- 40. Node.js 裡面沒有 WebGL ● 所以就沒辦法在 node.js 環境裏 執行了 ...
- 41. 要能充分發揮 Tensorflow.js 的效能 必須好好管理 GPU 的記憶體 用完的時候就必須盡快釋放 GPU 的記憶體
- 42. 使用 tf.tidy() 函數可以在完成後 自動釋放 GPU 上的記憶體 這樣會方便很多
- 43. 現在 ● 您應該已經理解了 tensor+flow 的概念了 ● 但或許還不知道深度學習的 tensorflow.js 程式該怎麼寫 ...
- 44. 沒關係 ● Tensorflow.js 已經為我們準備好 了一組 github 範例 ● 讓我們直接向範例學習吧！
- 47. 讓我們先用 git 把它 clone 下來
- 49. 接著使用 yarn 來安裝模組 然後用 yarn watch 執行專案
- 50. 或許你沒聽過 yarn ● yarn 可以說是改良版的 npm
- 51. 據說速度快很多 ...
- 52. 您可以先下載安裝 Yarn
- 54. 悲劇的事情發生了 我在 windows 底下執行該範例的 yarn watch 指令會失敗了 這是因為 package.json 裏使用的是 Linux 風格指令的關係
- 56. 有一個稱為 cross-env 的專案 ● 可以幫我們處理這個問題 ...
- 57. 只要先安裝 cross-env 然後在 package.json 的 scripts 裏加入 cross-env
- 58. 然後再執行 yarn 安裝該專案使用到的模組 最後用 yarn watch 轉為網頁版就行了
- 59. 您會看到下列結果 (a) 原始資料 (b) 一開始的亂數擬合結果 (c) 學習完後的擬合結果
- 61. 讓我們看看原始碼 https://github.com/tensorflow/tfjs-examples/blob/master/polynomial-regression-core/index.js 設定參數 回歸函數為 ax^3+bx^2+cx+d 損失函數 ( 能量函數 ) 使用隨機梯度下降法 主要訓練程式 最小化損失函數
- 64. 不過重點還是機器學習 https://github.com/tensorflow/tfjs-examples/blob/master/polynomial-regression-core/index.js 設定參數 回歸函數為 ax^3+bx^2+cx+d 損失函數 ( 能量函數 ) 使用隨機梯度下降法 主要訓練程式 最小化損失函數
- 66. 深度學習的重頭戲 ● 是用卷積神經網路 CNN 辨識影像
- 67. 而 MNIST 手寫數字辨識資料庫 ● 可以說是影像辨識領域的果蠅 ● 所有影像辨識演算法，都會先用 MNIST 進行測試 ...
- 68. Tensorflow.js 裏有個 NMIST 的範例 ● 可惜我的 windows 建置時會失敗
- 69. 這看來像是 node-gyp 沒裝的問題 ● 所以我就裝了 node-gyp
- 70. 然後就可以用了 ● 不管是 build 還是 watch 都沒問題
- 71. 訓練辨識的結果像這樣
- 73. 統計結果正確率是 89%
- 74. 由於只訓練了短短幾秒鐘 ● 就能到達 89% ，應該還不算是太差
- 76. 這個模型就是經典的 CNN 卷積網路 卷積 Conv+ 整流 ReLU+ 池化 Pool 最後再加上一層《全連接網路 FC 》 https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb
- 77. 再仔細看一遍 捲積層 Conv 1 輸出前使用 ReLU 池化層 Pool 1 捲積層 Conv 2 輸出前使用 ReLU 池化層 Pool 2 把原本多維的張量整平成一維 最後的全連接層
- 79. 剩下的程式碼 主要就是處理 1. 載入影像 2. 批次測試 3. 呈現結果 那些瑣事了
- 80. 看完卷積神經網路 CNN 的範例之後 ● 您應該會感覺到 tensorflow.js 的程式 其實不難寫
- 81. 目前 tensorflow.js 包含了下列網路 ● 基礎的多層全連接感知器 MLP (dense) ● 還有卷積神經網路 CNN (Conv+Pool)
- 82. 另外還包含了循環神經網路 RNN 與 LSTM
- 83. 其 RNN 類型的 GRU 網路建模方式如下 上述這段程式是從 addition-rnn 範例裏抽出來簡化的
- 86. 官方的 tfjs-examples 裏還有一些進階範例 有不少 RNN,LSTM 的範例，像是 sentiment, translation, addition-rnn 等 ...
- 87. 像是情感分析 sentiment ● 還有英語對法語的翻譯系統 Translation
- 90. 自動打小精靈的應用
- 91. 教你神經網路原理的程式
- 92. 用 RNN 彈鋼琴的範例
- 94. 資源也算相當完整了
- 95. 雖然還沒辦法和 Python 抗衡 ● 但已經是我看過的 JavaScript 深度學習套件中最完整的一個 ...
- 96. 該有的方法也都有了
- 97. 除了無法在 node.js 裏直接執行 ● 還有必須透過 WebGL 而不是直接呼叫 CUDA 函式庫，效能可能會比 Python 差 上不少之外
- 98. 目前應該是 JavaScript 程式人 ● 在深度學習領域的第一選擇了
- 99. 而 tensorflow.js 的競爭對手之一 是原本 node.js 的創始人 Ryan Dahl 所創建的 propelml https://www.ithome.com.tw/news/121715
- 104. 希望你會喜歡
- 105. 我們下回見！
- 106. Bye Bye!