xR Developerなら知っておきたいカメラの基礎知識
1 like•2,620 views
XR Kaigi 2020 コミュニティオーガナイズドセッション HoloLens Meetup 編 セッション資料 https://xrkaigi.com/2020/session/99rt941uiaeb.html
xR Developerなら知っておきたいカメラの基礎知識
- 1. XR DEVELOPERなら知っておきたいカメラの基礎知識 前本 知志（Microsoft MVP for Windows Development） @peugeot106s16 株式会社ホロラボ 株式会社システムフレンド 一般社団法人T.M.C.N
- 2. ・株式会社ホロラボ Co-founder(共同創設者) http://hololab.co.jp/ ・TMCN (Tokyo MotionControl Network) Co-founder(共同創設者) https://www.facebook.com/TokyoMotioncontrolNetwork ・著書「Intel RealSense SDK センサープログラミング」 https://www.shoeisha.co.jp/book/detail/9784798139630 ・Microsoft MVP for Windows Development 2016～ https://mvp.microsoft.com/ja-jp/PublicProfile/5002154?fullName=Satoshi%20%20Maemoto 前本 知志 1 http://satoshi-maemoto.hatenablog.com/ @peugeot106s16 [email protected]
- 5. AGENDA 1. AR（MR）とカメラとUnity 2. カメラパラメータがわかっている場合 3. カメラパラメータがわかっていない場合 4
- 6. 1.AR（MR）とカメラとUNITY 1. AR(MR)アプリの重要な機能は、現実空間にCGを重畳表示することである 2. AR(MR)アプリのメインインプットソースは、現実空間を見ているカメラの映像、またはそ れを処理したデータである 3. 現実空間にCGを重畳表示するとは、「現実空間を見ているカメラ」と「Unity内の仮想 Camera」の映像を重ね合わせることである 4. そのために必要な事 1. とある共通の空間原点を定義し、同じ座標軸で二つのカメラの回転(Rotation)と移動量 (Translation)を合わせる 2. 二つのカメラの視野角、光学中心、歪み等を揃える ※今日の話題はこちら これらはVuforia, ARKit, ARCoreといったARエンジンがおまかせでやってくれることです しかしおまかせではいつまでたっても俺ARエンジンは作れません！（需要は知らん 5
- 7. カメラパラメータとは6 • 外部パラメータ (External Parameter / Extrinsics) • カメラとカメラの相対位置(RotationとTranslation)を定義 • 複数カメラ、複数デバイスの空間シェアでは良く出てくるもの • 今日は触れません • 内部パラメータ (Internal Parameter / Intrinsics) • カメラの視野角、光学中心、歪み等を定義 • 映像として綺麗に合わせるために重要 • 今日の話題
- 8. カメラパラメータが異なると…7 • Unity内に二つのカメラを置きシミュレート • 二つのカメラは同じ位置で同じものを見る • 視野角（内部パラメータ）が異なる • 見える映像は全く異なる • 重畳しても映像はうまく重ならない 重畳
- 9. 1.カメラパラメータがわかっている場合 1. １眼レフ等Specとしてカメラパラメータがわかっている場合は、Unity Camera にその値を設定すればちゃんと映像が合います 1. Camera.Physical Camera をtrueにし、下記を現実のカメラと同じ値にする 2. Focal Length (焦点距離） 3. Sensor Size (イメージセンサーの大きさ） 8 https://docs.unity3d.com/ja/2018.4/Manual/PhysicalCameras.html
- 10. 実験 1. 1.5m先の0.38mx0.25m角の物体(つまりHoloLens2の箱)を現実のカメラ (Canon EOS 5D Mark III Sensor Size=36x24mm)とUnity内の仮想カメラで 撮影し、映像を比較する 9 Z=1.5
- 11. 実験 1. Focal Length =35mm 10 Z=1.5
- 12. 1. Focal Length =70mm 実験 11
- 13. 1. Focal Length =105mm 実験 12
- 15. 2.カメラパラメータがわかっていない場合 1. 大抵のカメラSDKにはIntrinsicsを取得できるAPIやToolがあります。 1. 例えばAzure Kinect https://microsoft.github.io/Azure-Kinect-Sensor- SDK/master/structk4a__calibration__intrinsic__parameters__t_1_1__param.html 2. APIが無い、値が信用できない場合はOpenCVを使用してカメラパラメータを求 める（皆さんおなじみの(？)チェッカーボードを使うもの） https://docs.opencv.org/master/dc/dbb/tutorial_py_calibration.html こちらの記事はとても参考になります！ https://kamino.hatenablog.com/entry/opencv_calibrate_camera 3. IntrinsicsをProjection Matrixに変換してUnityのCameraに設定する Intrinsicsはリアルカメラのパラメータとは表現が異なるので、直接Inspectorから設定できま せん。射影行列へ変換することが必要です。 https://kamino.hatenablog.com/entry/unity-import-opencv-camera-params 14
- 16. チェッカーボードを用いたキャリブレーション15 • チェッカーボードを撮影する • 状態の良い画像が多数ある方が良い • 様々な角度から撮影する • OpenCVのcalibrateCamera関数等でごにょご にょする • Internal Parameterが求まる • Internal Parameterは9つの数値リスト。 3ｘ3の射影行列を表す • fx / fy = 焦点距離 • cx / cy = 光学中心 https://docs.opencv.org/master/d9/d0c/group__calib3d.html#ga3207604e4b1a1758aa66acb6ed5aa65d
- 17. UNITYのカメラに適用する16 • UnityのCameraに射影行列を反映する • Inspectorからは適用できない • FoVをWidth,Hight個別に設定できない、など射影行列の表現を全て正確に設定することができないため • Camera.projectionMatrixにMatrix3ｘ3として設定を行う • https://docs.unity3d.com/ja/2019.4/ScriptReference/Camera-projectionMatrix.html • これを行うとInspectorの設定は無効になるので注意 • UnityなのにOpenGL座標系になる • （難しいけれど、3Dグラフィックスちょっとできる気になれる） • このスクリプトを使わせてもらうのが良いw • https://github.com/kamino410/cv- snippets/blob/master/unity/OpenCVCameraParams.cs
- 18. 実験 1. 1.5m先のチェッカーボードを現実のカメラ(Canon EOS 5D Mark III Focal Length =70mm) で撮影し、OpenCVでInternal Parameterを求める。 2. 求めたパラメータを設定したUnity内の仮想カメラの映像と、Physical Cameraの実験で得た Focal Length =70mmの映像を比較する 17 Z=1.5 同じような映像が得られたら大成功！
- 19. 1. Focal Length =70mm 2. 15枚の画像をOpenCVで処理 3. 求まったパラメータ 1. 1.0501518959042742e+04, 0, 2.2964267305726362e 2. 0,1.0498208083522914e+04, 2.0191220772892598e+03 3. 0, 0, 1 実験 18
- 20. 1. UnityのCameraに適用すると！ 実験 19 OpenCVキャリブ版 Physical Camera設定版 大違いじゃないけど、近いと言えば近いけど ズレてる(笑)！
- 21. 20 • 敗因 • 撮影枚数が少ない • 良い写真がたくさんあれば誤差が収束してゆく • 様々なアナログ要素がキャリブレーション精度を下げる • 手作りチェッカーボードの精度 • 撮影時の手ブレ • カメラのピント • ホワイトバランスのブレ • … なかなか完璧なキャリブレーションを個人レベルで行うのは難しい。。 ここを良くしてゆくのがノウハウ、チャレンジポイントですｗ 実験
- 22. 21 • 今は何でも良いソリューションが手軽に使えますが、しくみを知れば • トラブルシューティングに役立つ • 自分でしくみを作ることができる • コスパの良い知識である • 今後Unityが無くなったり、国が滅びたりしても光の性質やカメラのしくみは 簡単には変わりません。 • 単純に、知ったことを実験して確かめてゆくことは実にたのしい まとめ