【cv::triangulatePoints】其中的投射矩阵P(3x4)是怎么得到的？(内外参数K[R|t]到最终矩阵的变换过程)

页页读

已于 2024-08-08 20:30:58 修改

阅读量1.8k

点赞数 12

CC 4.0 BY-SA版权

分类专栏：人工智能 opencv c++ 文章标签：矩阵 c++ opencv

于 2024-08-08 20:14:43 首次发布

本文链接：https://blog.csdn.net/u014386899/article/details/141035293

人工智能同时被 3 个专栏收录

36 篇文章

订阅专栏

c++

15 篇文章

订阅专栏

opencv

5 篇文章

订阅专栏

1. cv::triangulatePoints

cv::triangulatePoints 是 OpenCV 中用于三角测量的函数，用于从两个视角的图像点计算出对应的三维空间点。这在立体视觉和计算机视觉中非常有用，尤其是在从多视角图像中恢复三维结构时。

函数声明

void cv::triangulatePoints(
    const cv::Mat& projMatrix1,
    const cv::Mat& projMatrix2,
    const cv::Mat& projPoints1,
    const cv::Mat& projPoints2,
    cv::Mat& points4D
);

参数解释

projMatrix1: 第一个视角的投影矩阵（3x4），描述了从三维空间到第一视角图像的映射关系。可以通过相机内参和外参来构造。
projMatrix2: 第二个视角的投影矩阵（3x4），描述了从三维空间到第二视角图像的映射关系。
projPoints1: 第一个视角图像中的点坐标集合，类型通常为 cv::Mat，每个点为一个 2D 坐标。大小为 2xN，N 为点的数量。
projPoints2: 第二个视角图像中的点坐标集合，类型与 projPoints1 相同，大小也为 2xN。
points4D: 输出的四维点集合，类型为 cv::Mat。每个点表示为四维齐次坐标 (X, Y, Z, W)，其中 W 通常是 1。大小为 4xN，N 为点的数量。

使用示例

以下是一个使用 cv::triangulatePoints 的示例：

#include <opencv2/opencv.hpp>

int main() {
    // 第一个视角的投影矩阵（示例值）
    cv::Mat projMatrix1 = (cv::Mat_<double>(3, 4) << 
        1000, 0, 320, 0,
        0, 1000, 240, 0,
        0, 0, 1, 0);

    // 第二个视角的投影矩阵（示例值）
    cv::Mat projMatrix2 = (cv::Mat_<double>(3, 4) << 
        1000, 0, 320, -100,
        0, 1000, 240, 0,
        0, 0, 1, 0);

    // 第一个视角中的点
    cv::Mat projPoints1 = (cv::Mat_<double>(2, 2) << 
        100, 150,
        200, 250);

    // 第二个视角中的点
    cv::Mat projPoints2 = (cv::Mat_<double>(2, 2) << 
        110, 160,
        210, 260);

    // 输出的四维点
    cv::Mat points4D;

    // 执行三角测量
    cv::triangulatePoints(projMatrix1, projMatrix2, projPoints1, projPoints2, points4D);

    // 打印三维点
    for (int i = 0; i < points4D.cols; ++i) {
        cv::Mat point = points4D.col(i);
        double X = point.at<double>(0) / point.at<double>(3);
        double Y = point.at<double>(1) / point.at<double>(3);
        double Z = point.at<double>(2) / point.at<double>(3);
        std::cout << "3D Point: (" << X << ", " << Y << ", " << Z << ")\n";
    }

    return 0;
}

使用细节

投影矩阵: projMatrix1 和 projMatrix2 是 3x4 的矩阵，通常由相机的内参矩阵和外参矩阵组合得到。它们表示从三维空间到两个视角图像的映射关系。
点的格式: projPoints1 和 projPoints2 必须是相同大小的点集合，每个点都是二维坐标 (x, y)。
四维点: points4D 输出的点是四维齐次坐标，其中最后一维 W 通常是 1。计算实际的三维点坐标时，需要将齐次坐标除以 W。

2. 由K[R|t] 得到映射矩阵P

要将相机投影矩阵 $P$ 写成 $K[R∣t]\mathbf{K}[\mathbf{R} | \mathbf{t}]$ 的形式，并将其变换为一个 $\times 4$ 的矩阵，我们需要分别处理相机的内参矩阵 $K\mathbf{K}$ 和外参矩阵 $[R∣t][\mathbf{R} | \mathbf{t}]$ 。

1. 相机内参矩阵 $K\mathbf{K}$

相机内参矩阵 $K\mathbf{K}$ 是一个 $\times 3$ 的矩阵，描述相机的内部参数：

$\mathbf{K} = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}$

其中：

$f_x$ 和 $f_y$ 是焦距，单位通常是像素。
$c_x$ 和 $c_y$ 是主点（光心）的坐标。

2. 相机外参矩阵 $[R∣t][\mathbf{R} | \mathbf{t}]$

相机外参矩阵由旋转矩阵 $R\mathbf{R}$ 和平移向量 $t\mathbf{t}$ 组成，它是一个 $\times 4$ 的矩阵：

旋转矩阵 $R\mathbf{R}$ 是一个 $\times 3$ 的矩阵，用于将三维点从世界坐标系旋转到相机坐标系：

$\mathbf{R} = \begin{bmatrix} R_{11} & R_{12} & R_{13} \\ R_{21} & R_{22} & R_{23} \\ R_{31} & R_{32} & R_{33} \end{bmatrix}$

平移向量 $t\mathbf{t}$ 是一个 $\times 1$ 的向量，用于将旋转后的点从世界坐标系平移到相机坐标系：

$\mathbf{t} = \begin{bmatrix} t_x \\ t_y \\ t_z \end{bmatrix}$

组合外参矩阵：将 $R\mathbf{R}$ 和 $t\mathbf{t}$ 组合为一个 $\times 4$ 的矩阵：

$[\mathbf{R} | \mathbf{t}] = \begin{bmatrix} R_{11} & R_{12} & R_{13} & t_x \\ R_{21} & R_{22} & R_{23} & t_y \\ R_{31} & R_{32} & R_{33} & t_z \end{bmatrix}$

3. 组合内参和外参矩阵

相机投影矩阵 $P$ 是内参矩阵 $K\mathbf{K}$ 和外参矩阵 $[R∣t][\mathbf{R} | \mathbf{t}]$ 的乘积，结果是一个 $\times 4$ 的矩阵：

$\mathbf{P} = \mathbf{K}[\mathbf{R} | \mathbf{t}]$

将它们进行矩阵乘法：

$\mathbf{P} = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} R_{11} & R_{12} & R_{13} & t_x \\ R_{21} & R_{22} & R_{23} & t_y \\ R_{31} & R_{32} & R_{33} & t_z \end{bmatrix}$

通过矩阵乘法，可以得到：

$\mathbf{P} = \begin{bmatrix} f_x R_{11} + c_x R_{31} & f_x R_{12} + c_x R_{32} & f_x R_{13} + c_x R_{33} & f_x t_x + c_x t_z \\ f_y R_{21} + c_y R_{31} & f_y R_{22} + c_y R_{32} & f_y R_{23} + c_y R_{33} & f_y t_y + c_y t_z \\ R_{31} & R_{32} & R_{33} & t_z \end{bmatrix}$