LiDARとSensor Fusion

Tier IV, Inc. 田中敬
LiDARとSensor Fusion
2021/07/29, みんなのPython勉強会外伝〜センサー・フュージョン＆ MLOps編〜
1

自己紹介
● 田中敬 (Tanaka Satoshi)
● Tier IV Sensing/Perception Team
○ AutowareにおけるSensor Fusionの先行開発
○ 機械学習基盤作り
○ 実機のパラメータチューニングしにいったり
● 元々ロボット屋さん
○ 昔ロボコン出てた時の画像（学部3年の時）→
○ 修士時代の研究も画像処理使ったロボット
2
twitter, github: @scepter914
最近やってること: Rustで画像処理

今日話すこと
3
● 自動運転で使われるSensor（主にLiDAR）について
● 自動運転のSensor Fusionについて
○ Tier IVの事例として、Autowareの開発においてどういったことに気を
付けているか、について話していきます

Sensor Fusion?
5
「Sensor Fusion」の「AI」？
カメラ以外の
センサ？
Sensor同期？

30+ 20+ 500+
Vehicles Countries Companies
*AutowareはThe Autoware Foundationの商標
What is Autoware?
The world’s first open-source autonomous driving software

Autoware.AI (ROS1)
https://github.com/Autoware-AI/autoware.ai
Architecture Proposal (ROS1)
https://github.com/tier4/AutowareArchitecture
Proposal.proj
Autoware.Auto (ROS2)
https://gitlab.com/autowarefoundation/autoware.
auto/AutowareAuto
より詳細な情報がほしい方は github / gitlabへ
What is Autoware?

Dynamic Object
Traffic Light
Detection Classifier
Mission
Scenario Selector
Control
Localization
Sensing Map Data Vehicle Interface
Sensors
Lane
Driving
Parking Etc.
Scenario
Planning
Perception
Detection Tracking Prediction
Vehicle

Camera
12
● 左：IMX490
○ LEDフリッカー対策
○ HDR
右：一般的なカメラ

LiDAR
13
● LiDAR: Laser Imaging Detection and Ranging
● レーザを用いて距離を測るセンサ
○ 回転式：360度見れるLiDAR（右図）
● Range Image
○ 右図ではレーザー1本だが、それを縦に並べるとdepth imageみ
たいなものが取れる
LiDARの仕組み
(https://ja.wikipedia.org/wiki/LIDAR)
上：Range Image (annotation付き）
下：3次元における可視化
(LU-Net: An Eﬃcient Network for 3D LiDAR Point
Cloud Semantic Segmentation Based on
End-to-End-Learned 3D Features and U-Net
[ICCV Workshop2019])

LiDAR
14
● https://www.youtube.com/watch?v=WB-4P3bwZmg
Velodyne (VLS-128, HDL-64E, VLS-32C, HDL-32E,
VLP-16),
Hesai (Pandar 20P, Pander 40P, Pandar 64),
Ouster (OS-16, OS-64), Robosense (RS-32),
Leishen, Innoviz, Omron

Sensor Fusion
19
● （ロボット業界では一口にセンサフュージョンといっても色々ある）
● 自動運転業界に限ると主に
● 1. センサを複数用いて
○ Camera, LiDAR, RADARの外界認識するセンサ
○ CANを介した車速情報やGNSSの車両位置情報
● 2. あるタスクにおいて
○ Localization
○ Perception/detection, tracking, prediction
● 3. センサの情報を補いながらタスクを達成する
○ Localization : Wheel Odometry がスリップしても、IMU が短期的に修正
○ Perception : LiDAR で距離や形状情報を把握して、Camera でクラス識別をする

Sensor Fusion?
21
Sensor同期？

Camera-LiDAR
LiDAR-LiDAR
センサー同期
複数LiDARによる干渉
回転タイミングの同期
Camera x6 + LiDARによる360度センシング
LiDARの回転タイミングに合わせてカ
メラのシャッターを切る

LiDAR - Camera 重畳の失敗例
23
● 画像に点群を投影してみる
○ 点群がずれている
● 空間的にズレが生じている
● 時間的にズレが生じている
○ Camera画像とLiDAR点群が取れた
時間が異なる
○ （相対）速度 * 時間差だけずれる
○ 右図では対向車が大きくずれている

Calibration (LiDAR * 6 + Camera * 6@西新宿)
24

Sensor Fusionを用いた3D detection

Sensor Fusion?
26

LiDARを用いた3D detection
27
LiDARを用いた3D detection
(MVLidarNet: Real-Time Multi-Class Scene
Understanding for Autonomous Driving
Using Multiple Views [IROS2020])

LiDARと画像を用いた3D detection
28
● Sensor Fusion を用いた3D detection
○ Cameraの方がclass 推定が得意（特に歩行者）
○ LiDARの方が位置推定が得意
● いくつか論文紹介
○ PointFusion
○ Frustum PointNets
○ PointPainting
○ EagerMOT
● 弊社テックブログ「自動運転における３次元での物体検出
に画像データを活用する論文紹介」も是非！
(https://tech.tier4.jp/entry/2020/09/23/160000)
近距離の歩行者と遠距離の歩行者の見え方の例
(Faraway-Frustum: Dealing with Lidar Sparsity for 3D Object
Detection using Fusion [ITSC2021])

様々な車種・センサ配置
29

AutowareのPerceptionを開発するにあたって
30
● Autoware
○ 自動運転のためのオープンソースソフトウェア
○ →様々な車種・センサ配置で使えることを目指してい
る
● 様々な車種・センサ配置
○ 様々なハードウェア（ECUなど）
○ 様々な通信（=遅延）
● 様々なセンサ配置でも動くようなPerceptionの開発
○ センサ配置・ハードウェアにロバストなセンサフュー
ジョン

PointFusion (CVPR2018)
31
● PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation [CVPR2018]
● 画像物体検出を行い、検出領域 (2D Bounding Box) に対応する点群・画像領域を抽出
● 特徴
○ ✗ 画像から検出された個々の物体それぞれに対してモデルを適用するため、検出対
象の物体数が増えると全体の実行時間が長くなってしまう
○ ✗ 各物体間の位置や向きの関係を考慮できない

Frustum PointNets (CVPR2019)
32
● Frustum PointNets for 3D Object Detection
from RGB-D Data [CVPR2019]
● 画像から物体検出を行い、検出領域（2D
Bounding Box）に対応する点群を錐台
(Frustum) の形に抽出
● 抽出された点群にSegmentationを行うことで、
物体に対応する点群を得て3D Bounding Box
を推定する
● 特徴
○ ✗ 物体ごとに対してモデルを適用するた
め、検出対象の物体数が増えると全体の
実行時間が長くなってしまう
○ ✗ 各物体間の位置や向きの関係を考慮
できない

PointPainting (CVPR2020)
33
● PointPainting: Sequential Fusion for 3D Object Detection [CVPR2020]
● 特徴
○ ✓ センサ固有のパラメータ変化の影響を受けにくい
○ ✗ 2d segmentationはデータセット間の違いを受けやすい

EagerMOT (ICRA2021)
34
● EagerMOT: 3D Multi-Object Tracking via Sensor Fusion [ICRA2021]
● Sensor Fusionを用いたTracking framework
● 特徴
○ ✓Lidarのみ/Cameraのみ/Sensor Fusionに対応できそうなアーキテクチャ
○ ✗ Tracking layerでのFusionで現状のAutowareのアーキテクチャに合わない
現状のAutoware Architecture Proposal
のPerception module

Tier IV Sensing/Perception Engineer 募集中！
● https://herp.careers/v1/tier4/czP-r7Y5GaJV
● Camera, LiDAR or RADAR sensing
○ Filtering, processing, calibration
● Perception
○ Object detection
○ Multi-object tracking
○ Behavior prediction
● Deep learning
○ Dataset infrastructure
36

LiDARとSensor Fusion

More Related Content

What's hot (20)

Similar to LiDARとSensor Fusion (20)

LiDARとSensor Fusion