27、一文简要介绍鱼眼镜头/相机投影成像过程

引言

鱼眼镜头是一种短焦距、超广角的特殊镜头，视场角度为180度到270度，它的视觉效果类似于鱼在水中观察水面上的景物。鱼眼镜头的设计与制造基于光的折射原理，外观跟鱼的眼睛很像，因此叫做“鱼眼镜头”，鱼眼镜头拍摄的图像为鱼眼图像。

鱼眼镜头的构造

标准的鱼眼镜头光学结构复杂，通常由多层镜片组构建。它的前镜片直径短且呈抛物状朝镜头前部凸出。光线射入鱼眼镜头会经过多次折射之后在摄像机的成像芯片上成像。

鱼眼镜头的投影成像过程

在整个鱼眼相机成像过程中，主要涉及到4个坐标系：世界坐标系XYZ，相机坐标系XcYcZc，图像物理坐标系xy(单位mm)和图像像素坐标系uv(单位pixel)。

球面相当于是平面透视的投影平面，也是鱼眼镜头的成像面。三维空间中的物体点先全部映射到球面上，球面上的所有点再非线性地投影到鱼眼图像的成像面上。


从世界坐标系到图像像素坐标系的投影过程可以描述为以下4步：
（1）世界坐标系下点Xw转换到相机坐标系下点Xc；

（2）将Xc投影到相机坐标系下单位视球面上的点Xs；
单位视球面上的点


（3）Xs投影为像素坐标系下的点xm，通过不同的投影模型；

等距投影是目前最常用于描述鱼眼相机成像的模型；
体视投影具有理想的几何特性，但是工艺上难以实现；
等立体角投影和等距投影类似，但计算上相对复杂；
正交投影只能用于描述视场小于180度的镜头。


（4）将xm转换到像素坐标系系下的点[u,v]

鱼眼镜头的畸变模型

相机的畸变主要有径向畸变和切向畸变，描述为投影过程中到主点距离r的表达式。
鱼眼镜头主要考虑径向畸变。

鱼眼镜头的应用领域

鱼眼镜头起初被广泛应用于摄影领域。

鱼眼镜头具有长景深，非常善于表现图像的远景深效果，其特殊的光学结构为近距离拍摄大范围场景创造了条件。之后鱼眼镜头被广泛应用于天文，电影，测量，气象，医疗，安防，大范围监控系统、智能交通系统、虚拟实景技术、全景浏览等领域。

在自动驾驶领域，鱼眼相机常用于近距离感知，如自动泊车和交通拥堵辅助等。由于其大视场角，鱼眼相机可以提供360度的环境覆盖，这对于车辆周围环境的感知至关重要。然而，由于鱼眼相机的大径向畸变，标准算法不容易扩展到环视鱼眼图像上，因此需要专门的处理方法来应对这些挑战。