深度学习下的相机标定

相机标定在计算机视觉和机器人等领域中占据举足轻重的地位，它为后续场景理解及决策推断提供了标准化的成像空间和精准的几何先验。然而，传统的相机标定技术常常依赖于繁琐的人工干预和特定的场景假设，因此难以灵活拓展至不同的相机模型和标定场景。

近年来，基于深度学习的解决方案展现出代替手动操作、摆脱场景假设的潜力，实现了全自动化的相机标定技术。在这些方案中，各种各样的学习机制、网络架构、先验知识、优化函数、数据集等方面均得到了广泛的研究。

本综述首次系统性地概述了深度学习驱动下的相机标定技术，涵盖了深度学习时代以来（8年时间跨度）各类相机模型标定及其应用的最新研究进展。

主要探索的标定类别包括标准针孔相机模型、畸变相机模型、跨视角模型和跨传感器模型等。该路线紧密契合了基于深度学习的相机标定的研究趋势和实际市场需求。在每个类别中，相应技术发展的贡献点、优势、局限性得到了充分论述，具体的未来研究技术点也进行了一定展望。

此外，本文还整合、构建了一个公开且全面的评测基准数据集，可作为开放平台用于不同研究方法的性能评测。该数据集包括了不同仿真环境下生成的合成数据，以及不同场景下由各类真实相机采集到的图像和视频序列。每一个数据样本均提供了准确的标定结果、相机参数或视觉线索。最后，我们讨论了整个基于深度学习的相机标定领域仍然存在的挑战以及未来可能的研究方向。

本综述总结的方法细节、数据集和构建的评测基准已在线公开并将定期更新，详情请见：https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration

论文名称：『Deep Learning for Camera Calibration and Beyond: A Survey』。

arXiv链接：https://arxiv.org/pdf/2303.10559.pdf

一、相机模型及标定目标

相机模型描述了从三维世界坐标中的点到其在二维图像平面上投影的成像过程。其中，不同的相机和传感器系统对应不同类型的参数模型。在本综述中，我们首先回顾了标准的针孔相机模型涉及的内外相机参数以及几何表征。随后，我们根据基于深度学习的相机标定技术发展