[DL輪読会]自動運転技術の課題に役立つかもしれない論文3本
2 likes872 views
The document discusses challenges in autonomous driving technology and potential solutions from three research papers. It notes that deep learning-based approaches have limitations when distributions shift due to changes in weather or road conditions. It proposes that detecting distribution shifts and using self-supervised or semi-supervised learning could help address these issues. Specifically, it recommends research on detecting and adapting to distribution shifts, and leveraging unlabeled data through self-supervised vision transformers or predicting view assignments with support samples.
![DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Makoto Kawano (Matsuo Lab.)
自動運転技術の課題に役立つかもしれない論文3本](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-1-320.jpg)
![問題設定
8
仮定3：Global Planner
目的地の位置 と制御 (交差点での左右折•2番目の出口から出る)の[両方/どちらか]を特定する
ことができるglobalなナビゲーションシステムにアクセス可能
𝒢𝒞
仮定4：Perfect Localization
利用できる位置情報(目的地や自車の走行位置)の精度は完璧である
仮定2：Inverse Dynamics
現在の状態と次の状態(走行位置)を与えれば，それに従う制御(アクセルやハンドル)を行う逆動
力学モデル(Bellman 2015, PID Controller, Ⅱ)にアクセス可能．つまり，状態のみの経路
を操作することで，local plannerにより行動がきまる:
y = (s1, …, sT) at =
𝕀
(st, st+1), ∀t = 1,…, T − 1](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-8-320.jpg)
![エキスパートの経路における分布密度の推定
‣ 確率的 模倣 モデル の尤度最大化
‣ モデルパラメータ に事前分布 を設定=>モデル全体に分布が設けられる
‣ データ が観測された時，事後分布 を持つ
q(y|x; θ)
θ p(θ)
𝒟
p(θ|
𝒟
)
Bayesian Imitative Model
10
θMLE = arg max
𝔼
(x,y)∼
𝒟
[log q(y|x; θ)]](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-10-320.jpg)
![Autoregressive Density Estimator [Rhinehart et al., 2018]
‣ 自己回帰における正規分布の積：多峰分布をモデリングできる[Uria et al., 2016]
事後分布の推定
‣ 個の模倣モデルのアンサンブルによる事後分布 の近似
番目のモデル のパラメータを とする
K p(θ|
𝒟
)
k qk θk
Practical Implementation
11](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-11-320.jpg)
![事後分布 における対数尤度 のdisagreementを利用
‣ 対数尤度：モデル における状況 における経路 の質を表現
‣ 事後分布に関する模倣モデルの分散を利用
分布内シーンにおける経路：低分散
分布外シーンにおける経路：高分散
‣ 検出としては十分だが，分布外の状況下での対応としては不十分
p(θ|
𝒟
) log q(y|x; θ)
θ x y
分布シフトの検出
13
u(y) ≜ Varp(θ|
𝒟
)[log q(y|x; θ)]](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-13-320.jpg)
![深層模倣モデル[Rhinehart et al., 2020]
‣ 事後分布から一つの を選択(=点推定)
‣ epistemic uncertaintyが使えない&見慣れないシーンで失敗しがち
2種類の集約演算子を提案
‣ Worst Case Model: 不確実性を悲観的に見るロバスト制御[Wald, 1939]
‣ Model Average: Epistemic uncertaintyを周辺化するベイズ決定理論
θk
：事後分布における集約演算子
⊕
15](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-15-320.jpg)
![Worst Case Model (RIP-WCM)
‣ 最悪ケースを想定して，そこで最適化する[Wald, 1939]
‣ 一般に はtractableではないがアンサンブルなら簡単
個のモデルで最小値を見つければ良い
Model Averaging (RIP-MA)
‣ 事後予測分布を利用
‣ 本来ならintractableであるが，アンサンブルによって解決
(結局は単にモデルの平均？)
arg max
y
min
θ
K
提案集約演算子
16](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-16-320.jpg)
![RIPだけでは，分布外シーンで対応しきれない
‣ 人間の運転手に制御を返せばいいのでは？
‣ →その時の正解データを手に入れられる！
オンライン学習を用いて不確実性を下げることが可能
‣ 不確実性が閾値を超えたら，運転手に制御を譲渡
‣ 閾値：false-negativeのレベルに一致
Adaptive Robust Imitative Planning
23
<latexit sha1_base64="HRbj9GcJ98lUTAfBVHvOgopzWk0=">AAAOsHicnVfrchM3FDbQC7htCu1M//SPpjitA46xnTuUDoQEmgEaKASYyaYZ7a52vUQrbSRtYo9GfaU+T9+gj9Ej7foaO52pf+zKOhfpfPrOOVo/o4lUrdbfV65e++TTzz6/fqP6xZdfLXx989Y37yTPRUAOAk65+OBjSWjCyIFKFCUfMkFw6lPy3j95YuXvz4iQCWdvVT8jRymOWRIlAVYwdXzrxl+eT+KEaUxjLhLVTc1h96iKkPeGqF0WPulisR89BuELWEGbUvL8/AlPU8KULt9G37uHzJh8j+3nSu+xLAdZ8bIyN9Ke53VlhgOil1ea6yQ1nkwxpVah2I3Cfk6xMIfqSFP0SA/Um5010DaImkVQrnkpVt0AU71jauhHtENSzqQSLjaJPM/qPLeS3/LUJwLxCKU8JLSUac8BqMELxf6yT3NiRj63Tc2A6SylHaww8vMoIsJc5krhfK6Pd1gkmAUEqa4gsstpWLryCAuHAAxxajVt5DbqxUmNxf9W+X+4+r7eM3V8rJAHDFJIHmtlGvZ5t22WLKovOOCEMooZA3ALuE/rnt8vLTy/9wAeqksUdgZ7aaLgcM5IcQyFySKqZfVSa2A4Oldn99JpZ1wqIhI+WAqsBnrPzHDJvrN4xmFnNDmBxOhyHo4sxnZTeh15nMQVJhxy2xDfiWW//TOg/eMsE7yXwPqDWEa7SxjwgsDRNhBpxs0GCgnJEGGS2LR0Pp9aMjizhIWkh2onD9vIoyFXEj2vGQ06CG1z+AtszpDEaUYJCoF2kqgJ3h/rE4id2xwnkFiK9JT2wdAY7ckkNWgiR7wHzvObwl+5cSxwSmDvEkWCpwUgDVikgKpYAFyhcfRKR28FTtgwtJ8kBFJbDniacQYoobMEoxQDTHk6fhhEKoscJCmqv3yxu4TctpWyNWT3lDX/rHuCRJqc3k8BryUztRdKIoWF4OfIwyIG/8e6lJfRAnN3ARjYbq/hGFHsfwo14xwdgj8eoynaohFvkSeSuKuOapfyYZ/ZClzkQsJi47LILT9O0bGdlxETdtaE9CeqvjQ4Hu99N6FEM66GWiHAaUpWPAMCCO7nUqFkmE523fkoxgTyMwmWuf+RBFa/xLT/h74zD88+CHLgZkGrEl7t8Yzm0szEbAyyu4XC3AR1gUwAObuCFnpTGOMQZ8qxp5DvFmyyhRSAECRMXIzobFBgoepb0SDgmkMLuHqaY5qoPnJhOpXpTJ6LKPh2GOb10ukSelhoa6jrQK/LKtpF4hXnMAPIAffQIOG8vUiPr/oLKppMwQ0061Rr6HVORB+RXmYXwMoxc5jC4210e5IN49NBnqFhQrm1xzwcZOGsQgj5PdFOR0d5DjcNhFkfReR8GZqfGjtVBMWoy8PicMefU4SpYduQLmy4aFteEHI1otzkhi9kZmMy0+YlKsSV1Y1bdjANWTuoCwEEANvXs4j82EZnEw/9XqTuqBO+GisZHhgQ6u5i9wEQkWSm6prS6HZ2fPN2q9lyP3Rx0C4Htyvl79XxrWv/eCEPcot7QLGUh+1WBu0fC5UEth15uSRwCTjBMTmEIYNmII+0i8GgRZgJUQSHGXEo6G523ELjVMp+6oOmhVNOy+zkLNlhrqLNI53Y6yC0ymKhKKdIcWTvqShMBNQq2ocBDiD0JEAB3EVxYBtV1dshEIsgL8HvPtAaKy7u6LJ8GYgt9hp2dJliwgaKMKp6jJxD40oxoD0qdz5cy2x4nEJrdXPTmn3QcrSLdP+CsDcS9swE0rZHn8BVQ07ibwucZO6ySsKGyCk8GQcGHI0o0Jk8s/KkJqZ6bq7hnsqnIAxJBK4vElOL2De61Wg1V1c37Gtjtd2arc8FZvHQorm51rL6K501+2ptbc4x6xNK+fnQbKuzZfXXt1btqw3Ws81iQQgbWq2urzurjcJqc95igNrQZn2l2NnGZmGzOscmywVchkZLbbXaTr+1Aq+1tc7WbDNqK/MEiM3O1maBYMPFOWUHn2xlZdOxwH0HxgroQIOlhMWqqz24itn7oP2cghw11Sk6QU2CdTybiRIqLJHahy8nQiFR7JytDe3pSnBx8K7TbK83O687tx9tl1XieuX7yg+VeqVd2ag8qvxaeVU5qATV76o/V3erTxc6Cx8WjhdwoXr1SmnzbWXit/DxX8s4EnU=</latexit>
Algorithm 1: Adaptive Robust Imitative Planning
Input:
D Demonstrations
K Number of models
B Data bu↵er
⌧ Variance threshold
I(at|st, st+1) Local planner
q(y|x; ✓) Imitative model
p(G|y) Goal likelihood
p(✓) Model prior
// Approximate model posterior inference, e.g., deep
ensemble
1 for model index k = 1 . . . K do
2 Bootstrap sample dataset Dk
boot
⇠ D
3 Sample model parameters from prior, ✓k ⇠ p(✓)
4 Train ensemble’s k-component via maximum likelihood estimation
(MLE) // Eqn. (??) ✓k arg max✓ E(x,y)⇠Dk
[log q(y|x; ✓)]
// Online planning
5 x, G env.reset()
6 while not done do
7 Get robust imitative plan // Eqn. (??)
y⇤
arg maxy
✓
log q(y|x; ✓) + log p(G|y)
// Online adaptation
8 Estimate the predictive variance of the y⇤
plan’s quality under the
model posterior // Eqn. (??) u(y⇤
) = Varp(✓|D) [log q(y⇤
|x; ✓)]
9 if u(y⇤
) > ⌧ then
10 y⇤
Query expert at x
11 B B [ (x, y⇤
)
12 Update model posterior on B // with any few-shot
adaptation method
13 at I(·|y⇤
)
14 x, G, done env.step(at)](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-23-320.jpg)
![Semantic Segmentation用に学習してなくてもいい感じ
‣ 近傍法ベースのsemantic segmentation[Jabri et al.]
semantic segmentation
36](https://image.slidesharecdn.com/readingpaper20210507-210507031422/85/DL-3-36-320.jpg)
[DL輪読会]自動運転技術の課題に役立つかもしれない論文3本
- 1. DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Makoto Kawano (Matsuo Lab.) 自動運転技術の課題に役立つかもしれない論文3本
- 2. パイプライン処理が基本 ‣ 各モジュールごとに機能が実装されている状態 自動運転技術 2 Sensing Perception Localization Planning Control •カメラ •LiDAR •加速度センサ •GPS •物体検出 •Semantic Segmentation •経路予測 •自車 •他車 •移動物体 •走行位置の特定 •車体の制御 •アクセル •ブレーキ •ハンドル
- 3. 実世界で深層学習ベース手法の限界 ‣ 分布シフト 天気・多差路など ‣ Q1. 分布シフトが起きた時にうまく対処したい データを増やせば良い？ ‣ アノテーションのきつさ 動画 x 対象の数の多さ ‣ Q2. ラベルなしデータをうまく使えないか？ 自動運転技術における課題 3
- 4. A1.分布シフトが生じていることを検知できたらいい ‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts? (ICML2020) Sergey Levine / Yarin Galのチーム https://sites.google.com/view/av-detect-recover-adapt A2. 自己/半教師あり学習使えば良い ‣ Emerging Properties in Self-Supervised Vision Transformers (arXiv 2021/4/29) ‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples (arXiv 2021/4/28) FAIRチーム アプローチ&書誌情報 4
- 5. A1.分布シフトが生じていることを検知できたらいい ‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts? (ICML2020) Sergey Levine / Yarin Galのチーム https://sites.google.com/view/av-detect-recover-adapt A2. 自己/半教師あり学習使えば良い ‣ Emerging Properties in Self-Supervised Vision Transformers ‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples FAIRチーム アプローチ&書誌情報 5
- 7. タスク目的：未知のexpert policy の近似 ‣ デモンストレーション にのみもとづく模倣学習 ‣ 単純化のため，仮定をさらに追加 πexpert 𝒟 問題設定 7 仮定1：expertによるデモンストレーション 時間に沿ったシーン (画像や点群などの高次元データ表現)におけるexpertの経路(i.e. プラン) のペアで構成されたデータセット にアクセス可能．経路は，expert policy からサンプリングされる： x y 𝒟 = {xi , yi }N i=1 πexpert( ⋅ |x) y ∼ πexpert( ⋅ |x)
- 8. 問題設定 8 仮定3：Global Planner 目的地の位置 と制御 (交差点での左右折•2番目の出口から出る)の[両方/どちらか]を特定する ことができるglobalなナビゲーションシステムにアクセス可能 𝒢𝒞 仮定4：Perfect Localization 利用できる位置情報(目的地や自車の走行位置)の精度は完璧である 仮定2：Inverse Dynamics 現在の状態と次の状態(走行位置)を与えれば，それに従う制御(アクセルやハンドル)を行う逆動 力学モデル(Bellman 2015, PID Controller, Ⅱ)にアクセス可能．つまり，状態のみの経路 を操作することで，local plannerにより行動がきまる: y = (s1, …, sT) at = 𝕀 (st, st+1), ∀t = 1,…, T − 1
- 9. 3種類の性質を持つ模倣学習モデル ‣ エキスパートの経路における分布を提供 ‣ 分布外検出のためにepistemic uncertaintyを計量 ‣ 分布シフトに対してロバスト性を持つ 提案手法：Robust Imitative Planning 9
- 10. エキスパートの経路における分布密度の推定 ‣ 確率的 模倣 モデル の尤度最大化 ‣ モデルパラメータ に事前分布 を設定=>モデル全体に分布が設けられる ‣ データ が観測された時，事後分布 を持つ q(y|x; θ) θ p(θ) 𝒟 p(θ| 𝒟 ) Bayesian Imitative Model 10 θMLE = arg max 𝔼 (x,y)∼ 𝒟 [log q(y|x; θ)]
- 11. Autoregressive Density Estimator [Rhinehart et al., 2018] ‣ 自己回帰における正規分布の積：多峰分布をモデリングできる[Uria et al., 2016] 事後分布の推定 ‣ 個の模倣モデルのアンサンブルによる事後分布 の近似 番目のモデル のパラメータを とする K p(θ| 𝒟 ) k qk θk Practical Implementation 11
- 12. 偶然的不確実性／aleatoric uncertainty ‣ データが持つ真の確率性 データに含まれているノイズ ‣ どんなにデータ量があっても，ノイズがあればエントロピーは高い ‣ コインの裏表予測では，p(裏)=p(表)=0.5が学習されてしまう 認識論的不確実性／epistemic uncertainty ‣ 知識不足によって生じる ‣ データ不足によってモデルのパラメータが決まらない ‣ パラメータの事後確率も末広がりになってしまう 不確実性の種類 12
- 13. 事後分布 における対数尤度 のdisagreementを利用 ‣ 対数尤度：モデル における状況 における経路 の質を表現 ‣ 事後分布に関する模倣モデルの分散を利用 分布内シーンにおける経路：低分散 分布外シーンにおける経路：高分散 ‣ 検出としては十分だが，分布外の状況下での対応としては不十分 p(θ| 𝒟 ) log q(y|x; θ) θ x y 分布シフトの検出 13 u(y) ≜ Varp(θ| 𝒟 )[log q(y|x; θ)]
- 14. 事後分布 における目的地 へのplanningをRobust Imitative Planning(RIP)として定式化 ：事後分布への演算子(後述) 目的地尤度：例）目的地の位置 を中心とした正規分布 ‣ 直感的には次の経路 を選択 エキスパートによる経路っぽい(尤度最大化する)経路 目的地 に 近い 経路 p(θ| 𝒟 ) 𝒢 ⊕ s 𝒢 T p( 𝒢 |y) = 𝒩 (yT |y 𝒢 T , ϵ2 I) y 𝒢 RIP 𝒢 不確実性の下でのplanning 14
- 15. 深層模倣モデル[Rhinehart et al., 2020] ‣ 事後分布から一つの を選択(=点推定) ‣ epistemic uncertaintyが使えない&見慣れないシーンで失敗しがち 2種類の集約演算子を提案 ‣ Worst Case Model: 不確実性を悲観的に見るロバスト制御[Wald, 1939] ‣ Model Average: Epistemic uncertaintyを周辺化するベイズ決定理論 θk ：事後分布における集約演算子 ⊕ 15
- 16. Worst Case Model (RIP-WCM) ‣ 最悪ケースを想定して，そこで最適化する[Wald, 1939] ‣ 一般に はtractableではないがアンサンブルなら簡単 個のモデルで最小値を見つければ良い Model Averaging (RIP-MA) ‣ 事後予測分布を利用 ‣ 本来ならintractableであるが，アンサンブルによって解決 (結局は単にモデルの平均？) arg max y min θ K 提案集約演算子 16
- 17. 4種類の問いに応えるための実験設計 ‣ Q1. 自動運転/模倣学習/不確実性を扱わない手法で分布シフトを検出可能か？ ‣ Q2. これらの手法が分布シフト下でロバストかどうか？ ‣ Q3. RIPによる不確実性計量は，新しいシーンを特定できるか？ ‣ Q4. RIPによる明示的な分布シフト対応は，性能を改善するか？ 2種類のデータセットを利用 ‣ nuScenes(実オープンデータ)：データ分割ができないため，分布シフトの制御不可 基本Q4.のみ(部分的にQ2)を解決 ‣ CARNOVEL(CARLA, シミュレータ) 分布外シフトを制御して，Q1とQ3を解決 実験1：分布外シーンにおけるロバスト性 17
- 18. 評価指標：Displacement error ‣ ICRA2020 nuScenes prediction challengeで利用 ‣ 確率的モデルの場合， 個のサンプリングを利用可能 ‣ 最終結果のみの比較 k nuScenes 18 <latexit sha1_base64="qDYVH+52/OSLbXD4gxQ0Eicfa5M=">AAADSnicfVHLbhMxFHXSAmV4pbBkY4iQ0lCiTBaAhCoVKBIbRJGStFKcRh7nzsSKxx5sDySy5jNY8kf8AL/BDnWDJw+gKeJKozk+5/hx74kywY1tt79XqlvbV65e27ke3Lh56/ad2u7dvlG5ZtBjSih9GlEDgkvoWW4FnGYaaBoJOImmr0v95BNow5Xs2nkGw5QmksecUeupUe0LiSDh0lHBE9ksAoyJhZl1L4/eFA0Szff8WnMqEwEfMYk1ZS4sXLfAxOTpyNmDsDhbLPugLTaeKfCT5f/MNdf8PiYvMEmpnUSxmxf4ADfMKPTsWFmz7+3dvYCAHK+fMarV2632ovBlEK5AHa3qeLRb+erPYnkK0jJBjRmE7cwOHdWWMwFFQHIDGWVTmsDAQ0lTMEO3mF+BH3lmjGOl/SctXrB/73A0NWaeRt5Z9mA2tZL8lzbIbfx86LjMcguSLS+Kc4GtwmUYeMw1MCvmHlCmuX8rZhPqh2x9ZAE5At+Lhnf+3PcZaGqVbjpCdZLSWeF7S8h+if5n5HJt9CggEj4zlabUj5pEdgKWFh4oMS7bU8KRJbfpnHvX7/Q2xdkfcVZcmLSLlJpaGpky0HAzvsug32mFT1udD5364atVtDvoPnqIGihEz9AheouOUQ8xdF55UGlWHle/VX9Uf1bPl9ZqZbXnHrpQW9u/AADEE4g=</latexit> ADE(y) , 1 T T X t=1 kst s⇤ t k, y = (s1, . . . , sT ) <latexit sha1_base64="0bwCpyr8jBJmwfLnwM6sg5bDL/g=">AAADPHicfVFNbxMxEPUuXyV8pfQISBYRUlpVUTYH4IJUoEhcEEUibaU4jWzH2Vjxx8b2QlbWnvkV/BX+B3duqFfOeJOtoAliJEtP772Z8cyQTHDrut3vUXzl6rXrN7ZuNm7dvnP3XnP7/rHVuaGsT7XQ5pRgywRXrO+4E+w0MwxLItgJmb2u9JNPzFiu1UdXZGwocar4hFPsAjVqfkGEpVx5LHiq9soGhMixhfOSq5eHb8qRn5Xt+W4gDccqFWwOUZBGHnlEijPPSxQ8/EVSngUnRJZLOG8HCaLQ1UFEFrtlXbKq166zQsX9DmJqfNF41Gx1O91lwE2Q1KAF6jgabUdf0VjTXDLlqMDWDpJu5oYeG8epYGUD5ZZlmM5wygYBKiyZHfrlxkr4JDBjONEmPOXgkv07w2NpbSFJcErspnZdq8h/aYPcTZ4PPVdZ7piiq0aTXECnYbV+OOaGUSeKADA1PPwV0ik2mLpwpAY6ZGEWw96Fuu8zZrDTZs8jbFKJF2WYLUX7FfqfkasLY0ANpNhnqqXEYdWIuClzuAxAi3E1nhYerbh1ZxFc1XRk4osNcfFHXJSXNu2J1jOHia0OmqyfbxMc9zrJ007vQ6918Ko+7RZ4AB6DNkjAM3AA3oIj0AcUnEc70cPoUfwt/hH/jM9X1jiqc3bApYh//QaVmhFj</latexit> minADEk(q) , min {yi}k i=1⇠q(y|x) ADE(yi ) . <latexit sha1_base64="KGKyk8sTaQk/ABWqfr9s+R3ZxXc=">AAADFnicfVHLbhMxFHWGVxkeTWHJxiJCKlGJMlkAywoKYoMoUpNWqkPkcW4mVvwYbA9kZM1/sOFX2KFu2fIRbGGLJ0kFTRBXsnx0zvHjnpvmglvX7X5vRJcuX7l6bet6fOPmrdvbzZ07A6sLw6DPtNDmJKUWBFfQd9wJOMkNUJkKOE5nz2v9+AMYy7U6cmUOQ0kzxSecUReoUZOSFDKuPBU8U+0qxpg4mDsvuXp58KIa+aTaJWn5MNCGU5UJeI/JAIzDduSPKvxoub/z7WrFk71OTECNz68cNVvdTndReBMkK9BCqzoc7TQ+k7FmhQTlmKDWnibd3A09NY4zAVVMCgs5ZTOawWmAikqwQ7/IosIPAjPGE23CUg4v2L9PeCqtLWUanJK6qV3XavJf2mnhJk+Hnqu8cKDY8qFJIbDTuA4Wj7kB5kQZAGWGh79iNqWGMhfij8kBhF4MvA73vsnBUKdN2xNqMknnVegtI3s1+p+Rq3NjQDFR8JFpKWmImqRuCo5WAWgxrtvTwpMlt+4sg6vuLp34ckOc/xHn1YWkfar1zNHU1gNN1se3CQa9TvK403vba+0/W412C91D99EuStATtI9eoUPURwydoR/oJ/oVfYq+RF+js6U1aqzO3EUXKvr2G2ZmA5s=</latexit> minFDE1(y) , ksT s⇤ T k .
- 19. Q4.への答え：全てで勝ってるからyes. Q2.への部分的な答え：ベースラインはRIPに勝ててない ‣ 不確実性を扱わないとロバストにならないっぽい 実験1の結果(nuScenes) 19 <latexit sha1_base64="m6nHM9yQYv0+hkWWZPrerqVTZCY=">AAAJ8XicvVZLb9tGEKbThyL3FTfHXIiaLdwgJvgQRQm9JLZbNAe1ahvHAUzVWFIrmfByl9hd1hYY/pAeChS59o/02t76bzorkbIoyal06QIEZuabmf1mhtxlmJJYSMv6Z+feO+++937jfnP3gw8/+viTB3ufvhQs4xE+jRhh/FWIBCYxxacylgS/SjlGSUjwWXh1rPCzXzAXMaMv5CTFgwSNaTyKIyTBdLHX+CoI8TimuUQQ8rg4l4NdXQ8iTCXmMR0rZe6QEcSLnMB6DU8BGKCSpTwjeKpsur6YhSYZkTHUkCU0d4s8KvJA4hspZX7EhGS0KDbz/gmIopRxrAKCYOYeqZbkzmGrqGTv0C8qeDOGSUyfnXxtXOR2YehGMGTXFHHOro31Xt5/eH2zRa7/YceqU6qL4SjvYXnJhqLYcFivi/zAcCzfNXQBrwsWT3TDs0BBSUqUxlJMDwljqZ4SRCnM6Mvi7lkeGLbd6W6Va15AEg/nr2DvRd/4OQ+GMUoYHYoslvACx2Mh4dU1yu113WiZtruguqbTWlC7puNu6Vxy6anC+khebkLCNVXFC6pbz2t3t3QuSRwz+OS/w3JDDv6C6pgtu15be0vndUM5ed5TXCKShYpIff92K0gTy7S8eubOzOosWDum40ytS+PozKxWq5ah682sdi1D155ZO3OmPz7vHx4dv4Wg565L7/qr6X2zW1Kpj8rzV4txTN9aR9Dtzqzu+lYqtr1nd5NdCF8k664j2y7J+rUMVeftWoZ2d9087FvrQjfPlrs5jwjgnIHPp1tAmL7EUmGO6XQqzFrCfLPlVZi3hAFrt8LslZzt9l1YByZVYa3bhodMSpaUPQ8wHc5vv91KU5flxYN9xVMtfVWwS2FfK1f/Ym/nNziGoyyB6zUiSIhz20rlIEccTkOCIXsmcIqiKzTG5yBSlGAxyKfXfKF/DpahPmIcHir1qXUxIkeJEJMkBM8ETiCxjCnjOuw8k6POII9pmklMo9lGo4zokunqn0EfxhxHkkxAQBGPgaseXSKOIvhHgEwnGGrhuAd5v08xR5Lxx3mA+DhBNwXUNg6eKOltjjGtHEHaDSi+jliSIGh1EMpLLBFc9iEjQ1UeI3DxT23LnhPwUtXBYCcr4M0teFPUOp2HjF3BSIUaqL08vlXhpWPabdP5wdl/elSO9r72SPtMO9Bszdeeat9qfe1UixpvGn82/mr83RTNX5u/N9/MXO/tlDEPtdpq/vEvohamkQ==</latexit> Boston Singapore minADE1 # minADE5 # minFDE1 # minADE1 # minADE5 # minFDE1 # Methods (2073 scenes, 50 samples, open-loop planning) (1189 scenes, 50 samples, open-loop planning) MTP}F 4.13 3.24 9.23 4.13 3.24 9.23 MultiPath}F 3.89 3.34 9.19 3.89 3.34 9.19 CoverNet}F 3.87 2.41 9.26 3.87 2.41 9.26 DIM| 3.64 ± 0.05 2.48 ± 0.02 8.22 ± 0.13 3.82 ± 0.04 2.95 ± 0.01 8.91 ± 0.08 RIP-BCM| 3.53 ± 0.04 2.37 ± 0.01 7.92 ± 0.09 3.57 ± 0.02 2.70 ± 0.01 8.39 ± 0.03 RIP-MA| 3.39 ± 0.03 2.33 ± 0.01 7.62 ± 0.07 3.48 ± 0.01 2.69 ± 0.02 8.19 ± 0.02 RIP-WCM| 3.29 ± 0.03 2.28 ± 0.00 7.45 ± 0.05 3.43 ± 0.01 2.66 ± 0.01 8.09 ± 0.04
- 21. Infractions per kilometer = ナビゲーションが安全かどうか ‣ 1キロメートルあたりの道交法違反と交通事故の回数 Success rate ‣ 違反なしに目的地にたどり着けた割合 Detection Score = 悲惨なイベントを起こす分布外シーンを予測できるか ‣ 違反行為と不確実性の相関係数 Recovery Score = 分布シフトから復活できるか ‣ 新しいシーンでの成功率 CARNOVELの評価指標 21
- 23. RIPだけでは，分布外シーンで対応しきれない ‣ 人間の運転手に制御を返せばいいのでは？ ‣ →その時の正解データを手に入れられる！ オンライン学習を用いて不確実性を下げることが可能 ‣ 不確実性が閾値を超えたら，運転手に制御を譲渡 ‣ 閾値：false-negativeのレベルに一致 Adaptive Robust Imitative Planning 23 <latexit sha1_base64="HRbj9GcJ98lUTAfBVHvOgopzWk0=">AAAOsHicnVfrchM3FDbQC7htCu1M//SPpjitA46xnTuUDoQEmgEaKASYyaYZ7a52vUQrbSRtYo9GfaU+T9+gj9Ej7foaO52pf+zKOhfpfPrOOVo/o4lUrdbfV65e++TTzz6/fqP6xZdfLXx989Y37yTPRUAOAk65+OBjSWjCyIFKFCUfMkFw6lPy3j95YuXvz4iQCWdvVT8jRymOWRIlAVYwdXzrxl+eT+KEaUxjLhLVTc1h96iKkPeGqF0WPulisR89BuELWEGbUvL8/AlPU8KULt9G37uHzJh8j+3nSu+xLAdZ8bIyN9Ke53VlhgOil1ea6yQ1nkwxpVah2I3Cfk6xMIfqSFP0SA/Um5010DaImkVQrnkpVt0AU71jauhHtENSzqQSLjaJPM/qPLeS3/LUJwLxCKU8JLSUac8BqMELxf6yT3NiRj63Tc2A6SylHaww8vMoIsJc5krhfK6Pd1gkmAUEqa4gsstpWLryCAuHAAxxajVt5DbqxUmNxf9W+X+4+r7eM3V8rJAHDFJIHmtlGvZ5t22WLKovOOCEMooZA3ALuE/rnt8vLTy/9wAeqksUdgZ7aaLgcM5IcQyFySKqZfVSa2A4Oldn99JpZ1wqIhI+WAqsBnrPzHDJvrN4xmFnNDmBxOhyHo4sxnZTeh15nMQVJhxy2xDfiWW//TOg/eMsE7yXwPqDWEa7SxjwgsDRNhBpxs0GCgnJEGGS2LR0Pp9aMjizhIWkh2onD9vIoyFXEj2vGQ06CG1z+AtszpDEaUYJCoF2kqgJ3h/rE4id2xwnkFiK9JT2wdAY7ckkNWgiR7wHzvObwl+5cSxwSmDvEkWCpwUgDVikgKpYAFyhcfRKR28FTtgwtJ8kBFJbDniacQYoobMEoxQDTHk6fhhEKoscJCmqv3yxu4TctpWyNWT3lDX/rHuCRJqc3k8BryUztRdKIoWF4OfIwyIG/8e6lJfRAnN3ARjYbq/hGFHsfwo14xwdgj8eoynaohFvkSeSuKuOapfyYZ/ZClzkQsJi47LILT9O0bGdlxETdtaE9CeqvjQ4Hu99N6FEM66GWiHAaUpWPAMCCO7nUqFkmE523fkoxgTyMwmWuf+RBFa/xLT/h74zD88+CHLgZkGrEl7t8Yzm0szEbAyyu4XC3AR1gUwAObuCFnpTGOMQZ8qxp5DvFmyyhRSAECRMXIzobFBgoepb0SDgmkMLuHqaY5qoPnJhOpXpTJ6LKPh2GOb10ukSelhoa6jrQK/LKtpF4hXnMAPIAffQIOG8vUiPr/oLKppMwQ0061Rr6HVORB+RXmYXwMoxc5jC4210e5IN49NBnqFhQrm1xzwcZOGsQgj5PdFOR0d5DjcNhFkfReR8GZqfGjtVBMWoy8PicMefU4SpYduQLmy4aFteEHI1otzkhi9kZmMy0+YlKsSV1Y1bdjANWTuoCwEEANvXs4j82EZnEw/9XqTuqBO+GisZHhgQ6u5i9wEQkWSm6prS6HZ2fPN2q9lyP3Rx0C4Htyvl79XxrWv/eCEPcot7QLGUh+1WBu0fC5UEth15uSRwCTjBMTmEIYNmII+0i8GgRZgJUQSHGXEo6G523ELjVMp+6oOmhVNOy+zkLNlhrqLNI53Y6yC0ymKhKKdIcWTvqShMBNQq2ocBDiD0JEAB3EVxYBtV1dshEIsgL8HvPtAaKy7u6LJ8GYgt9hp2dJliwgaKMKp6jJxD40oxoD0qdz5cy2x4nEJrdXPTmn3QcrSLdP+CsDcS9swE0rZHn8BVQ07ibwucZO6ySsKGyCk8GQcGHI0o0Jk8s/KkJqZ6bq7hnsqnIAxJBK4vElOL2De61Wg1V1c37Gtjtd2arc8FZvHQorm51rL6K501+2ptbc4x6xNK+fnQbKuzZfXXt1btqw3Ws81iQQgbWq2urzurjcJqc95igNrQZn2l2NnGZmGzOscmywVchkZLbbXaTr+1Aq+1tc7WbDNqK/MEiM3O1maBYMPFOWUHn2xlZdOxwH0HxgroQIOlhMWqqz24itn7oP2cghw11Sk6QU2CdTybiRIqLJHahy8nQiFR7JytDe3pSnBx8K7TbK83O687tx9tl1XieuX7yg+VeqVd2ag8qvxaeVU5qATV76o/V3erTxc6Cx8WjhdwoXr1SmnzbWXit/DxX8s4EnU=</latexit> Algorithm 1: Adaptive Robust Imitative Planning Input: D Demonstrations K Number of models B Data bu↵er ⌧ Variance threshold I(at|st, st+1) Local planner q(y|x; ✓) Imitative model p(G|y) Goal likelihood p(✓) Model prior // Approximate model posterior inference, e.g., deep ensemble 1 for model index k = 1 . . . K do 2 Bootstrap sample dataset Dk boot ⇠ D 3 Sample model parameters from prior, ✓k ⇠ p(✓) 4 Train ensemble’s k-component via maximum likelihood estimation (MLE) // Eqn. (??) ✓k arg max✓ E(x,y)⇠Dk [log q(y|x; ✓)] // Online planning 5 x, G env.reset() 6 while not done do 7 Get robust imitative plan // Eqn. (??) y⇤ arg maxy ✓ log q(y|x; ✓) + log p(G|y) // Online adaptation 8 Estimate the predictive variance of the y⇤ plan’s quality under the model posterior // Eqn. (??) u(y⇤ ) = Varp(✓|D) [log q(y⇤ |x; ✓)] 9 if u(y⇤ ) > ⌧ then 10 y⇤ Query expert at x 11 B B [ (x, y⇤ ) 12 Update model posterior on B // with any few-shot adaptation method 13 at I(·|y⇤ ) 14 x, G, done env.step(at)
- 24. Q5. RIPによる不確実性推定はエキスパートへの問い合わせに使えるか？ Q6. AdaRIPはsuccess rateを改善するか？ 評価指標：Adaptation Score ‣ success rateの改善度合い：オンラインデモの数における関数 Adaptationの実験 24
- 25. 分布シフトに対して，検出・復旧・適応は可能か？ ‣ Epistemic uncertaintyの計量を可能にした模倣学習RIPを提案 ‣ オンラインフィードバックを受けるAdaRIPを提案 コードとベンチマークを提供 ‣ OpenAI Gymのような使い方が可能 今後の課題 ‣ リアルタイム実行が要求されている時，アンサンブルモデルは厳しい ‣ オンライン最適化をすると，破滅的忘却が起きてしまう 小まとめ 25
- 26. A1.分布シフトが生じていることを検知できたらいい ‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts? (ICML2020) Sergey Levine / Yarin Galのチーム https://sites.google.com/view/av-detect-recover-adapt A2. 自己/半教師あり学習使えば良い ‣ Emerging Properties in Self-Supervised Vision Transformers ‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples FAIRチーム アプローチ&書誌情報 26
- 28. Vision Transfomer(ViT)の性能がかなり良い ‣ 詳しくは岩澤さんの資料を見てください ‣ CNNといい勝負 ‣ 計算量大，大量のデータが必要で微妙 ‣ ViTならではの性質もわかってない 自己教師あり学習をしたらどうなるのか？ ‣ BERTやGPT(NLP)ではかなりうまく行ってる ‣ →クラスラベルの推定だと教師信号を減らしてしまってる ‣ 画像も同様のことが言える 背景 28
- 29. DINO = 自己教師あり学習+知識蒸留 DINO: knowledge DIstillation with NO labels 29
- 30. 生徒モデル の出力を教師モデル に近づける ‣ 温度つきソフトマックスを利用して，カテゴリカル分布をモデル ‣ 二つの分布の距離をクロスエントロピーでとる 異なる変換をした画像を各モデルに入力する ‣ global views ：元画像の50％以上の大きさ ‣ local views：元画像の50%以下の大きさ ‣ 教師モデル：global viewsのみ ‣ 生徒モデル：local viewsのみ gθs gθt xg 1 , xg 2 知識蒸留による自己教師あり学習 30 min θs ∑ x∈{xg 1,xg 2} ∑ x′  ∈V,x′  ≠x H(Pt(x), Ps(x′  )) localの特徴量をglobalの特徴量に近づかせる
- 31. 生徒モデル：SGD，教師モデル：学習なし ‣ 生徒モデルの重みを指数的移動平均したものを利用(i.e. momentum encoder) ：0.966から1へcosineスケジュール ‣ お気持ち：mean teacherに近い役割 最後の重みではなく，学習途中の重みを平均とったほうが性能が良い ->モデルアンサンブルのようなもの λ 学習 31 θt ← λθt + (1 − λ)θs
- 32. ネットワーク はバックボーン と写像ヘッド の合成: ‣ ダウンストリームタスクでは の特徴量を利用 ‣ ：3層のMLP + 正規化 + weight normalized g f h g = h ∘ f f h ℓ2 ネットワークアーキテクチャ 32
- 33. 自己教師あり学習：model collapseが起きやすい ‣ Collapse：全ての入力に対して同じ表現になってしまう現象 教師モデルの出力のcenteringとsharpeningによるcollapse回避 ‣ sharpening: 特定の次元に集中させる 温度つきソフトマックス ‣ centering: 特定の次元に集中させずに一様分布になるようにする Model collapseの回避 33 c ← mc + (1 − m) 1 B B ∑ i=1 gθt (xi)
- 34. DeiT(Data-e ffi cient Image Transformers)の実装に準拠 ‣ ImageNetで学習 ‣ adamwオプティマイザ x 1024BS ウォームアップ+cosineスケジュール ‣ 16GPU(多分V100) ‣ 温度 ， は最初の30エポック0.04-0.07 ‣ データ拡張：color jitter/gaussian blur/solarization multi-crop τs = 0.1 τt 実装や実験まわり 34
- 36. Semantic Segmentation用に学習してなくてもいい感じ ‣ 近傍法ベースのsemantic segmentation[Jabri et al.] semantic segmentation 36
- 38. ViTを知識蒸留＋自己教師あり学習してみた ‣ 教師なしでも物体に着目しているself-attention mapが得られた ‣ 特徴量を使ったk-NNでかなりいい精度(ImageNetで78.3%) 色々な実験をしているので詳細は論文を見てください ‣ さまざまなダウンストリームタスクやablation studyをやっている ‣ アーキテクチャの模索も色々 画像におけるBERTを目指しているらしいので，今後に期待？ 小まとめ 38
- 39. A1.分布シフトが生じていることを検知できたらいい ‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts? (ICML2020) Sergey Levine / Yarin Galのチーム https://sites.google.com/view/av-detect-recover-adapt A2. 自己/半教師あり学習使えば良い ‣ Emerging Properties in Self-Supervised Vision Transformers ‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples FAIRチーム アプローチ&書誌情報 39
- 41. 大きなラベルなし画像 とラベルあり画像 ( )を仮定 ‣ 目標： と を使って事前学習で表現を獲得すること は fi ne-tuningに利用 ‣ Multi-cropを利用してデータ を2種類のデータ と にして双方の表現を近づける 双方の表現とラベルありデータの表現の類似度計算をして，疑似ラベルを出力 疑似ラベル同士で比較をする 𝒟 = (xi)N i=1 𝒮 = (x 𝒮 i, yi)M i=1 M ≪ N 𝒟 𝒮𝒮 x ̂ x ̂ x+ Predicting view Assignments With Support Samples 41
- 42. PAWSアルゴリズム 42 xi ̂ xi ̂ x+ i データ拡張 (multi-crop) fθ fθ zi z+ i xs, ys ∼ 𝒮 fθ zs πd(zi, z 𝒮 ) = ∑ (zsj,yj)∈z 𝒮 d(zi, zsj) ∑zsk∈z 𝒮 d(zi, zsk) yj 各クラスのデータとの類似度でラベルを生成 pi ρ(p+ i ) 温度を下げる =尖らせる −H ( ρ(pi) + ρ(p+ i ) 2 ) エントロピー =一様にする H(ρ(pi), p+ i ) + H(pi, ρ(p+ i )) 勾配カット
- 44. ラベルありデータも自己教師あり学習に使う ‣ PAWSという学習アルゴリズムを提案 ‣ Simularity Classi fi er を用いることで，ラベルありデータにover fi ttingしない ラベルありデータが外部記憶のような役割で， は注意機構の役割っぽい • ピアジェの同化と調節と関係している？(興味があれば論文を) ‣ 既存手法よりも約10倍効率良く，かつ高精度で学習が可能であることを示した πd πd 小まとめ 44
- 45. 自動運転技術に役立ちそうな論文を独断と偏見で選択 ‣ 実世界を網羅したデータセットの作成(アノテーション含)は厳しい 1)現時点でデータが足りているのか判断したい 2)使ってないデータは（おそらく）大量にあるから使えないか 感想としては： ‣ 実応用に耐えうるため，ベイズ的な考え方は重要？ ‣ 自己教師あり学習では，出力分布の尖り具合(一様具合)を制御すると良いっぽい？ ‣ BERTのような万能？モデルが今後出てくるのか？ 発表まとめ 45