実世界の人工知能@DeNA TechCon 2017
44 likes21,097 views
![ディープラーニング（深層学習）とは
l 層が深く、幅も広いニューラルネットワーク
を利利⽤用した機械学習⼿手法
l 2012年年の⼤大ブレーク以来、研究コミュニティ
のみならず産業界に多く使われてきた
– 2014〜～2015年年中に出された関連論論⽂文数は1500を超える*
l 画像認識識、⾳音声認識識などで劇的な精度度向上を果たし、そ
の多くが既に実⽤用化されている
5
2014年の一般画像認識コンテストで優勝した
22層からなるのGoogLeNetの例 [Google 2014]
*http://memkite.com/deep-‐‑‒learning-‐‑‒bibliography/](https://image.slidesharecdn.com/denatechcon2017wovideo-170214055148/85/DeNA-TechCon-2017-5-320.jpg)
![乳がん検査の精度度
90%
99%
80%マンモグラフィー
リキッドバイオプシー
（血液中のmicroRNA）
[Shimomura+ Cancer Science 2016]
リキッドバイオプシー
+
Deep Learning](https://image.slidesharecdn.com/denatechcon2017wovideo-170214055148/85/DeNA-TechCon-2017-17-320.jpg)
![41
今後の機械学習/深層学習が必要とする計算リソース
1E〜100E Flops
⾃自動運転⾞車車１台あたり1⽇日 1TB
10台〜～1000台, 100⽇日分の⾛走⾏行行データの学習
バイオ・ヘルスケア
⾳音声認識識 ロボット/ドローン
10P〜～ Flops
1万⼈人の5000時間分の⾳音声データ
⼈人⼯工的に⽣生成された10万時間の
⾳音声データを基に学習 [Baidu 2015]
100P 〜 1E Flops
⼀一⼈人あたりゲノム解析で約10M個のSNPs
100万⼈人で100PFlops、1億⼈人で1EFlops
10P（画像) 〜～ 10E（映像） Flops
学習データ：1億枚の画像 10000クラス分類
数千ノードで6ヶ⽉月 [Google 2015]
画像/
映像認識識
1E〜～100E Flops
1台あたり年間1TB
100万台〜1億台から得られた
データで学習する場合
⾃自動運転
10PF 100EF100PF 1EF 10EF
P:Peta
E:Exa
F:Flops
機械学習、深層学習は学習データが大きいほど高精度になる
現在は人が生み出したデータが対象だが、今後は機械が生み出すデータが対象となる
各種推定値は1GBの学習データに対して1日で学習するためには
1TFlops必要だとして計算
学習を1⽇日で終わらせるのに必要な計算リソース](https://image.slidesharecdn.com/denatechcon2017wovideo-170214055148/85/DeNA-TechCon-2017-41-320.jpg)
実世界の人工知能@DeNA TechCon 2017
- 1. 実世界の⼈人⼯工知能 Preferred Networks 岡野原 ⼤大輔 [email protected] 2017/2/10 @DeNA TechCon
- 2. アジェンダ l 会社紹介 l 深層学習と⼈人⼯工知能 l 実世界の事例例（今⽇日紹介する事例例は殆どが弊社の事例例です） ̶— ⾃自動⾞車車 ̶— ロボット ̶— バイオ・ヘルスケア ̶— クリエーター ̶— コミュニケーション l Chainer ̶— ChainerMN: 分散学習
- 3. 会社紹介：Preferred Networks (PFN) l IoT時代に合わせた分散知能を備えた新しいコンピュータを創造する l 2014年年3⽉月創業 l 東京オフィス, シリコンバレーオフィス l 従業員：約60⼈人 殆どが研究者、エンジニア l 主な出資者 FANUC, Toyota, NTT 3
- 4. AutomotiveHumanoid Robot Preferred Networks’ positioning in AI: Industrial IoT 4 Consumer Industrial Cloud Device PhotoGame Text Speech Infrastructure Factory Robot Automotive Healthcare Smart City Industry4.0 Industrial IoT
- 5. ディープラーニング（深層学習）とは l 層が深く、幅も広いニューラルネットワーク を利利⽤用した機械学習⼿手法 l 2012年年の⼤大ブレーク以来、研究コミュニティ のみならず産業界に多く使われてきた – 2014〜～2015年年中に出された関連論論⽂文数は1500を超える* l 画像認識識、⾳音声認識識などで劇的な精度度向上を果たし、そ の多くが既に実⽤用化されている 5 2014年の一般画像認識コンテストで優勝した 22層からなるのGoogLeNetの例 [Google 2014] *http://memkite.com/deep-‐‑‒learning-‐‑‒bibliography/
- 6. 急激に複雑化するニューラルネットワーク 2012年年〜～2014年年 6 AlexNet, Kryzyevsky+, 2012 ImageNet winner（8層） GoogLeNet, Szegedy+, 2014
- 7. 形は可変、多様な計算⼿手法、つながり⽅方 2015年年〜～現在 x_1 h y_1 x_2 h y_2 x_3 h y_3 x_4 h y_4 BPTT length = 3 Input word OutputRecurrent state Stochastic Residual Net, Huang+, 2016 Recurrent NN FractalNet, Larsson+, 2016 RoR, Zhang+, 2016 7 Dense CNN, Huang+, 2016
- 8. ⾃自動⾞車車
- 9. ロボット
- 11. 異異常検知
- 12. 12 異異常検知の難しさ：単⼀一⼿手法で様々な種類の正常状態と 異異なるタイプの異異常パターンに対応するのが困難 l 基本：特定の異異常を⾒見見つけるために⼿手法の選択や設定が必要 ̶— 注⽬目する特徴量量 u センサー値の⼤大⼩小、周波数成分の⼤大⼩小、分布 l ⼈人でもセンサの意味を理理解したり異異常を定義 するのは難しい l 疑問：もっと汎⽤用的に使える異異常検知⼿手法はないか？ ̶— 例例：下記異異常を全て検出し、右の正常ケースでは無反応 正常ケース(2) 異異常を含むケース(3) numenta/NABの人工ベンチマーク時系列データセット スパイク 異異常振動 ⽴立立ち上がり 失敗
- 13. 提案異異常検知⼿手法の特徴 l 正常なデータのみから異異常検知モデルを作れる ̶— 故障データは必要ない，教師なし学習 ̶— 異異常を検知後、実際の故障が発⽣生するタイミングを予測するに は故障データが必要 l ⽣生の⾼高次元データをそのまま利利⽤用可能 ̶— ⼈人間による特徴設計は必要ない． 特に周波数解析後のスペクトルや画像などが利利⽤用可能 l 正規化された異異常度度スコア（尤度度）を出⼒力力する ̶— システムが正常だった場合に、そのセンサデータがどのぐらい の確率率率で観測されるかを出⼒力力する l 複数センサを組み合わせた異異常検知が可能 13
- 16. バイオ・ヘルスケア
- 17. 乳がん検査の精度度 90% 99% 80%マンモグラフィー リキッドバイオプシー （血液中のmicroRNA） [Shimomura+ Cancer Science 2016] リキッドバイオプシー + Deep Learning
- 18. ディープラーニングmiRNA診断のさらなる可能性 l さらなるデータにより、１３種のがんを⼀一挙に正確に予測 l 良良性、悪性のがんを⾒見見分ける l がんのステージ予測 l miRNAはガンのみならず、様々な疾患を診断することが可能 アルツハイマー、⼼心筋梗塞塞、脳卒中などの診断・予測 l ⾎血中miRNA分析により、治療療⽅方針の決定や最適治療療薬の選定など個別 化医療療の強⼒力力な⼿手法になりうる l がん向けの創薬につながる ̶— どのmiRNAやその組み合わせの変化が、がんに影響を与えるか
- 19. 「⼈人⼯工知能（AI）を活⽤用した統合的がん医療療システム開発 プロジェクト開始」2016/11/29 with 国⽴立立がん研究センター, 産総研AIセンター 臨臨床情報、マルチオミックスデータ、医⽤用画像,、疫学デー タを利利⽤用しPrecision Medicineの実現を⽬目指す 19
- 20. ゲノム解析によるガンの診断、治療療にフォーカス l なぜゲノム解析なのか ̶— 客観的な情報で、データに基づく医療療を実現できる ̶— 情報量量が多く、これまで⾒見見えなかった情報に基づいた診断がで きる u 特に、RNA解析，miRNA解析 l なぜガンなのか ̶— もっともゲノム解析がインパクトを与える領領域、ゲノム変異異が ガンの本質であり、それを解析することで診断、治療療を⼤大きく 改善できる ̶— 最も、個⼈人化医療療が進む、個⼈人事にガン特異異的変異異は異異なる また、ガン免疫の場合、個⼈人毎にMHCも変わってくる 20
- 21. ディープラーニングによるガン診断の⾼高度度化 l ゲノム情報に基づくガン診断，及び分⼦子標的薬の効果予測 の⾼高度度化 ̶— ガンマーカー検出とフェーズの判定 ̶— 治療療効果の予測と治療療⽅方法の提案 ̶— 従来の統計分析、機械学習では実現不不可能だった少数サンプルから の推定 c.f. パラメータ数に対してサンプル数が少ない問題（新NP問題） l ディープラーニングの利利⽤用によって⾒見見込まれる効果 ̶— ディープラーニングは、半教師あり学習が可能である。 →教師無しデータを使ってゲノム情報の表現を獲得する ̶— ディープラーニングは、⾼高次元データを扱える。 →⾮非常に⾼高次元なゲノム情報であっても、機械学習のための特徴設 計が可能である。 21
- 22. PFNがん研究所 (PCRI） l 東京⼤大学産業連携プラザ内に設⽴立立 l PCRIでは、次世代シークエンサー を利利⽤用したウェットラボを⽴立立ち上げ、最新 最先端のAIとバイオテクノロジーの 研究・産業化を進めている 特に次の分野に注⼒力力します １）新規がん診断法の確⽴立立 ２）ゲノム分析によるがん治療療 ⽅方針の決定、最適治療療薬の 選択や術後の予測、 ３）それぞれの患者に適応した 個別化創薬 22 2016年年10⽉月3⽇日設⽴立立
- 26. クリエーター
- 27. 画像の⾃自動⽣生成 l Chainer-goph https://github.com/mattya/chainer-gogh l 深層学習は 画像も⽣生成できる l 左の画像からスタイル だけを抽出し、ネコの 画像を⽣生成 27
- 29. 学習2時間後 29
- 30. 学習1⽇日後 30
- 32. 別⼿手法
- 35. PaintsChainer (#PaintsChainer) l 線画に着⾊色する学習をしたNN l U-Net+絵の拡⼤大の学習 l 1⽇日あたり最初は20〜～30万枚、現在でも2〜～3万枚の線画 が着⾊色されている http://free-illustrations.gatag.net/2014/01/10/220000.html
- 37. Chainer
- 38. Chainer as an open-source project l https://github.com/pfnet/chainer l 101 contributors l 2,128 stars & 564 fork l 7,335 commits l Active development & release ̶— v1.0.0 (June 2015) to v1.20.1 (January 2017) 38 Original developer Seiya Tokui
- 41. 41 今後の機械学習/深層学習が必要とする計算リソース 1E〜100E Flops ⾃自動運転⾞車車１台あたり1⽇日 1TB 10台〜～1000台, 100⽇日分の⾛走⾏行行データの学習 バイオ・ヘルスケア ⾳音声認識識 ロボット/ドローン 10P〜～ Flops 1万⼈人の5000時間分の⾳音声データ ⼈人⼯工的に⽣生成された10万時間の ⾳音声データを基に学習 [Baidu 2015] 100P 〜 1E Flops ⼀一⼈人あたりゲノム解析で約10M個のSNPs 100万⼈人で100PFlops、1億⼈人で1EFlops 10P（画像) 〜～ 10E（映像） Flops 学習データ：1億枚の画像 10000クラス分類 数千ノードで6ヶ⽉月 [Google 2015] 画像/ 映像認識識 1E〜～100E Flops 1台あたり年間1TB 100万台〜1億台から得られた データで学習する場合 ⾃自動運転 10PF 100EF100PF 1EF 10EF P:Peta E:Exa F:Flops 機械学習、深層学習は学習データが大きいほど高精度になる 現在は人が生み出したデータが対象だが、今後は機械が生み出すデータが対象となる 各種推定値は1GBの学習データに対して1日で学習するためには 1TFlops必要だとして計算 学習を1⽇日で終わらせるのに必要な計算リソース
- 42. まとめ
- 43. まとめ l 深層学習・強化学習の進化は著しい ̶— 新しい理理論論、新しいアルゴリズム、新しいソフトウェア ̶— 世界中で同時多発的に進化が起きている l 深層学習は様々な分野で利利⽤用されていく ̶— 想像しなかったアプリケーションも増えている ̶— 様々な分野で速く試⾏行行錯誤するのが⼤大切切 l 研究と実⽤用化とビジネス化が同時に起こっている ̶— 実⽤用レベルになってからビジネス化が速い（例例 Amazon Alexa） ̶— 研究の段階から実⽤用化、ビジネス化のチームが付き添うのが重要