Tensor flow usergroup 2016 (公開版)
341 likes•29,153 views
日本Googleオフィスで開催されたTensorFlow User Groupでしゃべったときのスライドです。TensorFlowからFPGAに落とす方法と2値化ディープニューラルネットワークについて。
![あともう少し…
31
⾏列演算ライブラリの
中⾝をC/C++で書く
ただし、HDLよりは抽象的
(演算器スケジューリング・
FSMは不要)
Y = X.dot(W)+B
⾏列演算をあっさり１⾏で
Y=0;
for(i=0; i < m; i++){
for( j = 0; j < n; j++){
Y += X[i][j]*W[j][i];
}
}
⾼位合成ツールが
HDLを吐いてくれるので
従来のフローを通して
FPGAに実現できる](https://image.slidesharecdn.com/tensorflowusergroup2016v1-161012163053/85/Tensor-flow-usergroup-2016-31-320.jpg)
![今回作ったもの
32
⾏列演算ライブラリの
中⾝をC/C++で書く
ただし、HDLよりは抽象的
(演算器スケジューリング・
FSMは不要)
Y = X.dot(W)+bias
ディープニューラルネットワークを
さっくり記述
Y=0;
for(i=0; i < m; i++){
for( j = 0; j < n; j++){
Y += X[i][j]*W[j][i];
}
}
⾼位合成ツールが
HDLを吐いてくれるので
従来のフローを通して
FPGAに実現できる
ここを⾃動⽣成＋α](https://image.slidesharecdn.com/tensorflowusergroup2016v1-161012163053/85/Tensor-flow-usergroup-2016-32-320.jpg)
Tensor flow usergroup 2016 (公開版)
- 2. ⾃⼰紹介 • Hiroki Nakahara (中原 啓貴) • 36歳 (若⼿…︖) • JK@⽇本⼀モテない⼤学の教員 • FPGA/ディープラーニングは⽣活の糧 • FPGAは専⾨ではありません (HDLを書くようになったのは学位を 取ってから, ⾼位合成を始めたのは去年) • 多値論理と論理関数の複雑度が専⾨ 2
- 3. Custom Computing Machine 3 Multi‐valued logic Pattern matching circuit • Regular expression matching circuit • Packet classifier • IP address look‐up 40m Radio telescope Deep neural network
- 6. FPGA? • Field(現場で) • Programmable (書き換えができる) • Gate(論理ゲートの) • Array(集合体) 6 PCIに刺してGPUの代わりに アクセラレータ (Altera社) 指先よりも小さいよ！ (Lattice社) ラズパイにのっけて高速化 (Xilinx社) iPhone7にも！！
- 8. FPGAの基本的な構造 8 SB SB SB SB SB SB SB SB SB SB SB SB SB SB SB SB LUT LUT LUT LUT LUT LUT LUT LUT LUT IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO Look-Up Table (LUT) I/O Block Channels Switch Blocks
- 9. LUTを使った論理ゲートの実現 x0 x1 x2 y 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1 0 1 1 0 0 1 1 1 1 x0 x1 x2 y 0 0 0 0 0 0 1 1 0 1 0 1 0 1 1 1 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1 1 LUTの出⼒を書き換えて様々な論理ゲートを実現
- 11. Programmable=メモリ書き換え 11 SB SB SB SB SB SB SB SB SB SB SB SB SB SB SB SB LUT LUT LUT LUT LUT LUT LUT LUT LUT IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO IO
- 19. 状態遷移図を書いた︕ 19
- 27. ということでHigh-Level Synthesis (HLS) • C/C++が⼀般的な⼊⼒ • ファミコンを1週間で作ったよ • 2値化Neural netを1か⽉で作ったよ 短TATというFPGAのメリットを引き出す 27
- 30. Deep Convolutional Neural NetworkのHLS実装 • 依存性のない7重ループの最適化 →⾼位合成でも最適化しやすい ... ... 120 nodes 10 nodes 16 F. maps 5x5 16 F. maps 10x10 6 F. maps 14x14 6 Feature maps 28x28 Gray scale image 32x32 5x5 2x2 5x5 2x2 5x5 1 2 1 2 4 2 1 2 1 ① ② ③ ④ ⑤ ⑥ ⑦
- 33. なんでTensorFlowなのよ︖ • (もちろんChainer (Caffe), Theano版も作ってますよ) でもね… • 分散学習が可能（スケールする） • クラウドで動く（計算機管理が不要になる） • みんな使ってる（研究結果を役⽴ててもらえる） 33
- 34. Artificial Neuron (AN) + x0=1 x1 x2 xN ... w0 (Bias) w1 w2 wN f(u) u y xi: Input signal wi: Weight u: Internal state f(u): Activation function (Sigmoid, ReLU, etc.) y: Output signal y f (u) u wi xi i0 N 34 積和演算を 何とかしたい…
- 35. 2値化ニューラルネットワーク • ⼆値(-1/+1)の乗算 • 乗算器をXNORゲートで 35 x1 x2 Y ‐1 ‐1 1 ‐1 +1 ‐1 +1 ‐1 ‐1 +1 +1 1 x1 x2 Y 0 0 1 0 1 0 1 0 0 1 1 1
- 39. 2値化CNN on FPGA • Raspberry Pi3 Model B • [email protected] quad-core • 1GB RAM • Mnist CNNの処理速度: 85.81 msec/image (Cソースに変換後, gccを⽤いてコンパイル, 1コア動作) • 消費電⼒: 2Watt • Digilent社 Nexys4 DDR • FPGA Xilinx社Artix-7100T@100MHz • 2880 Kb BRAM • Mnist CNNの処理速度: 1.56 msec/image • 消費電⼒: 1Watt未満(ワットチェッカーでは測定不能でした…) 39
- 40. デモ１: ⼿書き⽂字認識 40
- 41. Deep Q-learning Network • 全部の⼿を試すのは不可能 • 報酬を最⼤にする⾏動をDeep Neural Network で予測 Deep Neural Network ＋ Q-learning ↓ Deep Q-learning Network (DQN) 41
- 42. AtariのPongをゲームするDQN 42 ... 512 neurons 3 neurons →上・下・待機 4x4 3x3 Arcade Learning Environment (ALE)とかOpenAI Gym ６層のConvolutional Deep Neural Network 操作ゲーム画⾯ 記録しておく
- 43. AtariのPongを勉強するDQN 43 ... 512 neurons 3 neurons →上・下・待機 4x4 3x3 Arcade Learning Environment (ALE)とかOpenAI Gym ６層のConvolutional Deep Neural Network 得点が上がる操作 (最⼤とはしない) を学習 ゲーム画⾯ シャッフルする
- 44. デモ2: FPGA DQN 44 ... 512 neurons 3 neurons →上・下・待機 4x4 3x3 ６層の学習済みConvolutional Deep Neural Network 操作 by UART ゲーム画⾯ by UART Digilent社 Nexys4 DDR (Xilinx社 Artix7 100T搭載)
- 45. On-going Work • 特定FPGAボード向けのプラットフォームを開発中 • TensorFlowで設計したCNNを直接Pythonでたたける (もちろんハードウェアも) Arduinoを乗せたり、ARMでLinuxを⾛らせたりして… • ボードを取り寄せ中 45 Terasic社 DE0-nano-SoC Kit (Atlas-SoC Kit) $99 (academic $90) ※ARM搭載 Terasic社 DE10-Lite Board $85 (academic $55) Digilent社 PYNQ-Z1 Board $229 (academic $65?) ※ARM搭載 Digilent社 Arty Board $99
- 46. まとめ • FPGAをさっくり解説 • HDLのまま設計したら…⼤変だよ • 2値化CNNを実装 • TensorFlowからFPGAに⼀気に落とすことが可能に • 公開まであとちょっと待ってね 46