ディープラーニング最新動向と技術情報
69 likes•14,888 views
2015年1月15日（金）開催のNVIDIA Deep Learning Day 2016 の講演資料です。 ディープラーニングという言葉を聞かない日がないほど、ディープラーニングは注目を集めています。このセッションでは、ディープラーニングとは何か、なぜ注目されるのか、GPUが必要とされる理由を基礎から分かり易くご紹介します。またエヌビディアがディープラーニングのために提供しているGPUおよびソフトウェア製品、ソリューションについてもご紹介します。
![30
CNN:コンボリューショナル・ニューラルネットワーク
全結合層 cuBLAS
畳込み層 cuDNN
LeNet5 [LeCun et al.,1998]](https://image.slidesharecdn.com/01-mmurakami-helloworld-deeplearning-160109125545/85/-27-320.jpg)
![35
cuDNN APIs
畳み込み演算
cudnnConvolutionForward()
cudnnConvolutionBackward[Bias|Filter|Data]()
活性化
cudnnActivationForward()
cudnnActivationBackward()
プーリング
cudnnPoolingForward()
cudnnPoolingBackward()
ソフトマックス
cudnnSoftmaxForward()
cudnnSoftmaxBackward()
…](https://image.slidesharecdn.com/01-mmurakami-helloworld-deeplearning-160109125545/85/-32-320.jpg)
![36
cuDNN: 性能向上
ディープラーニング SDK
Performance
AlexNet training throughput based on 20 iterations,
CPU: 1x E5-2680v3 12 Core 2.5GHz. 128GB System Memory, Ubuntu 14.04
Caffe Performance
K40
K40+cuDNN1
M40+cuDNN3
M40+cuDNN4
0
1
2
3
4
5
6
11/2013 9/2014 7/2015 12/2015
AlexNet [A. Krizhevsky et al.,2012]](https://image.slidesharecdn.com/01-mmurakami-helloworld-deeplearning-160109125545/85/-33-320.jpg)
ディープラーニング最新動向と技術情報
- 1. エヌビディア ディープラーニングソリューションアーキテクト 兼 CUDAエンジニア 村上 真奈 ディープラーニング最新動向と技術情報 なぜGPUがディープラーニングに向いているのか
- 4. 5 「ディープラーニングのおかげで、わ ずか一年で音声認識の誤認識率 が23%から8%に下がりました。 自動写真整理 とインテリジェント 写真検索 によって、まさに探してい たイメージを見つけることができます。 文脈を理解し、自然言語処理、 言語翻訳 によって、ユーザーに即 座に返事ができるのです。」 スンダル・ピチャイ グーグル上級副社長 Google now Google I/O 2015 基調講演
- 5. 6 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 2009 2010 2011 2012 2013 2014 2015 2016 ディープラーニングによって加速するAI競争 IBM Watson Achieves Breakthrough in Natural Language Processing Facebook Launches Big Sur Baidu Deep Speech 2 Beats Humans Google Launches TensorFlow Microsoft & U. Science & Tech, China Beat Humans on IQ Toyota Invests $1B in AI Labs IMAGENET Accuracy Rate Traditional CV Deep Learning
- 6. 7 大学 スタートアップ CNTKTENSORFLOW DL4J ディープラーニングの開発環境が増加 NVIDIA GPU プラットフォーム *U. Washington, CMU, Stanford, TuSimple, NYU, Microsoft, U. Alberta, MIT, NYU Shanghai VITRUVIAN SCHULTS LABORATORIES TORCH THEANO CAFFE MATCONVNET PURINEMOCHA.JL MINERVA MXNET* CHAINER BIG SUR WATSON OPENDEEPKERAS
- 8. 10 ディープラーニング事例 シーンセグメンテーションとシーン分類 http://places.csail.mit.edu/ B. Zhou et al. NIPS 14 Farabet, PAMI 2013
- 11. 13 ディープラーニングの事例 画像ノイズ除去および高解像度化 Eigen , ICCV 2010 Dong et al, ECCV 2014
- 12. 14 ディープラーニングの事例 エンドツーエンド音声認識 Baidu system is significantly simpler than traditional speech recognition systems, which rely on laboriously engineered processing pipelines. Deep speech does not need hand-designed components to model background noise, speaker variation etc, but instead directly learns them
- 17. 19 ディープラーニングを加速する3つの要因 “The GPU is the workhorse of modern A.I.” ビッグデータ GPUDNN
- 18. 21 木 猫 犬 機械学習ソフトウェア “亀” フォワード プロパゲーション “亀” から “犬” へ 計算の重み付けを更新 バックワード プロパゲーション 学習済みモデル “猫” 反復 トレーニング 推論
- 19. 22 典型的なネットワーク例 多量なトレーニングデータと多数の行列演算 目的 顔認識 トレーニングデータ 1,000万～1億イメージ ネットワークアーキテクチャ 10 層 10 億パラメータ ラーニングアルゴリズム 30 エクサフロップスの計算量 GPU を利用して30日
- 26. 29 cuSPARSE: 疎行列演算ライブラリ 自然言語処理向け機能拡張 密行列 x 疎ベクトル cusparse<T>gemvi() y = α ∗ op(A) ∗ x + β ∗ y - 2 - - 1 y1 y2 y3 α + β y1 y2 y3 A11 A21 A31 A12 A22 A32 A13 A23 A33 A14 A24 A34 A15 A25 A35 密行列密ベクトル 疎ベクトル (例) テキスト内の単語の出現頻度 NVIDIA cuSPARSE
- 27. 30 CNN:コンボリューショナル・ニューラルネットワーク 全結合層 cuBLAS 畳込み層 cuDNN LeNet5 [LeCun et al.,1998]
- 28. 31 cuBLAS 6.5 on K40m, ECC ON, input and output data on device. MKL 11.0.4 on Intel IvyBridge single socket 12 -core E5-2697 v2 @ 2.70GHz cuBLAS 6.5 on K40m, ECC on, input and output data on device. m=n=k=4096, transpose=no, side=right, fill=lower GPU向け行列演算ライブラリ(BLAS完全準拠) DLで使われるのは単精度の行列積(SGEMM) 密行列演算ライブラリ: cuBLAS
- 29. 32 cuDNN: ディープラーニング用ライブラリ 最新はバージョン4 (2015/12~) ディープニューラルネットワークの為のGPUプリミティブ群 Caffe, Torch, Theano, Chainer, Tensor-Flow 等の主要ディープラーニ ングフレームワークが採用 以下のOSをサポート (※2015.12.17現在) Windows Linux(x64/ARMv7/ARM64/Power8) Mac OSX Android(ARMv7/ARM64)
- 30. 33 cuDNN 4 (2015/12~) 学習の高速化 畳み込み演算のアルゴリズムに2D FFT tilingを追加 Batch Normalization処理の追加 normalizationFoward関数、normalizationBackward関数の追加 NHWC format support 4d-Tensorの入力形式が追加 畳み込み演算のFP16サポート(Tegra X1 only) Convolutionの計算をFP16に対応 推論処理部の高速化 convolutionFowardのbatchsize=1の場合の最適化
- 31. 34 cuDNN Algorithms • 多種多様なアルゴリズム • CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM • CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM • CUDNN_CONVOLUTION_FWD_ALGO_GEMM • CUDNN_CONVOLUTION_FWD_ALGO_DIRECT • CUDNN_CONVOLUTION_FWD_ALGO_FFT • CUDNN_CONVOLUTION_FWD_ALGO_FFT_TILING
- 33. 36 cuDNN: 性能向上 ディープラーニング SDK Performance AlexNet training throughput based on 20 iterations, CPU: 1x E5-2680v3 12 Core 2.5GHz. 128GB System Memory, Ubuntu 14.04 Caffe Performance K40 K40+cuDNN1 M40+cuDNN3 M40+cuDNN4 0 1 2 3 4 5 6 11/2013 9/2014 7/2015 12/2015 AlexNet [A. Krizhevsky et al.,2012]
- 34. 37 GPU による性能向上 CNN における学習時間 バッチサイズ 学習時間（CPU) 学習時間(GPU) GPU／CPU比 64画像 64s 7.5s 8.5X 128画像 124s 14.5s 8.5X 256画像 257s 28.5s 9.0X デュアル 10 コア Ivy Bridge CPU 1 Tesla K40 GPU CPU： Intel MKL BLAS ライブリを活用 GPU： CUDA行列ライブラリ（cuBLAS）を使用 ILSVRC12でSupervisionが使用したモデル 7層 5層の畳み込みと2層の全結合 ReLU、プーリング、ドロップアウト、正規化 Caffeを使用 20反復のトレーニング時間
- 35. 38 DIGITS
- 36. 39 DIGITS3 WebベースのディープラーニングGPUトレーニングシステム Deep Learning SDK ユーザー インターフェース レイヤーの 可視化 学習モデルの 作成 データセット の作成 学習過程の 可視化 DIGITS(UI/Server) ディープラーニングの学習・テストを 簡単に行う為のUI 別マシンからDIGITSを操作する為の サーバ機能 Chainer GPUGPU HW クラウドGPUクラスタマルチGPU Theano Torch Caffe cuDNN, cuBLAS CUDA 学習 NVCaffe cuDNN, cuBLAS CUDA NVCaffe BVLC/caffe(本家)からフォーク 最新のCUDAライブラリを使用 エヌビディアGPUに最適化
- 38. 41 DIGITS2: マルチGPUによる学習の高速化 自動的にマルチGPUにスケールして学習 マルチGPUにスケールする事で従来より高速に学習する事が可能 DIGITS 2 performance vs. previous version on an NVIDIA DIGITS DevBox system 0.0x 0.5x 1.0x 1.5x 2.0x 2.5x 1-GPU 2-GPUs 4-GPUs
- 39. 42 DL のアプリケーション開発を支援 学習データセットの作成 学習モデルの作成 学習過程の可視化 学習済みモデルのテスト
- 40. 43 DIGITS DEMO
- 42. 45 音声認識 画像分析 自然言語処理 エヌビディアが加速するディープラーニング フレームワーク エンドユーザ アプリケーション DIGITS ディープラーニング フレームワーク (Caffe, Chainer, Torch, Theano,Tensor-Flow) 高度に最適化された cuDNN ライブラリ CUDA プログラミング ツールキット GPU ハードウェア
- 43. Thank you!