在上一篇博客中，我们讨论了深度双目相机的工作原理和核心知识点。其中，相机标定是一个关键步骤，为精确的深度计算奠定了基础。而相机标定的核心，正是确定相机内部参数（内参）和外部参数（外参）。
今天，我们来更深入地了解这两类参数，它们是连接三维世界与二维图像的“桥梁”。
1.相机标定
相机标定是一个过程，旨在建立三维世界点与二维图像点之间的数学关系。这个关系的核心就是相机模型，而内参和外参正是这个模型的构成要素。
1.1内参：相机的“个性特征”
内参描述了相机自身的几何特征以及如何将三维点投影到相机坐标系下的图像平面。它们与相机在世界中的位置无关，只与相机本身的构造有关。你可以把它理解为相机的“个性特征”
主要的相机内参包括：
1.焦距：
理论意义：焦距是光心到成像平面（传感器）的距离。它决定了场景中物体在图像上的大小。焦距越大，视角越窄，物体在图像上显得越大。（有点像不断调大望远镜）
实际表示：在数字图像中，焦距通常用像素单位表示，即
编辑和
编辑。这考虑到像素并不一定是正方形，即一个像素在x方向和y方向的物理尺寸可能不同。所以，严格来说，
编辑
，
编辑，其中F是物理焦距，
编辑、
编辑是每个像素的物理宽度和高度。
在理想情况下（像素为正方形），
编辑。
2.主点：
理论意义：主点是光心在图像平面上的投影点。如果相机和透镜是完美的，这个点应该在图像传感器的几何中心。
实际表示：在图像坐标系中，主点用像素（
编辑，
编辑）表示。由于制造误差、装配偏差等原因，主点通常不会精确落在图像中心。
3.径向畸变系数
理论意义：由于透镜制造工艺的限制，真实透镜通常不会是完美的，会导致图像产生畸变，其中最常见的是径向畸变。它使得图像中的直线在远离图像中心时发生弯曲。
-枕形畸变：图像边缘向内弯曲，看起来像枕头。
-桶形畸变：图像边缘向外弯曲，看起来像桶。
表示：通常用多项似来近似描述这种畸变，系数
编辑等用于校正图像点。这些系数越高，畸变越严重。
4.切向畸变系数
理论意义：这类畸变是由于透镜和图像传感器没有完美平行（安装偏差）导致的，他会导致图像中的点在切线方向上产生偏移。
表示：用
编辑两个系数来描述。
内参矩阵：
这些内参通常被组织成一个3*3的矩阵，也称为相机校准矩阵或相机内部参数矩阵：
编辑
这个矩阵将相机坐标系下的三维点（在相机前面的一个坐标系，光心为原点）投影到像素坐标系下的二维图像点（不含畸变）上。当考虑到畸变时，投影过程稍微复杂些，需要先用畸变参数矫正点位置，再进行投影。
1.2 外参：相机的“位置于姿态”
外参描述了相机在三维世界中的位置和姿态。它们是相机坐标系相对于一个固定世界坐标系的变换关系。当你移动相机时，内参不变，但外参会改变。
外参由两部分组成：
1.2.1 旋转矩阵：
意义：一个3*3的矩阵，描述了相机坐标系相对于世界坐标系的旋转关系。它确定了相机“朝向”那个方向。
性质：R是一个正交矩阵。
表示：可以通过欧拉角（Roll,Pitch,Yaw）或旋转向量来等效表示。
1.2.2 平移向量
意义：一个3*1的向量，描述了相机坐标系原点(光点)相对于世界坐标系原点的平移距离。它确定了相机“位于”世界的那个位置。
外参矩阵：
通常，旋转矩阵和平移向量会被组合成一个4*4的齐次变换矩阵：
编辑
这个矩阵将世界坐标系下的三维点转换到相机坐标系下。
在双目相机中：
对于独立的两个相机（左相机和右相机），它们各自都有自己的内参和外参。
通常我们选择其中一个相机（例如左相机）作为参考，将其外参设为单位矩阵和零向量（即左相机的坐标系就是我们的相机世界坐标系）。那么，右相机的外参就描述了右相机相对于左相机的旋转和平移关系。这个相对关系（特别是平移部分）正是我们计算深度的基线信息。
1.3 它们是怎么协同工作？
理解内参和外参如何协同工作是图像几何学的基础：
1.世界坐标到相机坐标：首先，通过外参将世界坐标系下的三维点
编辑转换到相机坐标系下的三维点
编辑：
编辑（在齐次坐标下表示为：
编辑）
2.相机坐标到图像坐标（归一化平面）：相机坐标系下的三维点
编辑会被投影到相机光心前方一个单位距离的归一化平面上。这个平面上的点坐标为：
编辑
这里的
编辑（深度）是相机光心到该点的距离。
3.畸变校正：如果需要应用畸变校正，归一化平面上的点
编辑会通过径向和切向畸变进行调整，得到校正后的点
编辑。
4.图像坐标（像素坐标）：最后，通过内参将校正后的点
编辑从归一化平面转换到像素坐标系下的图像点
编辑：
编辑
这里可以写成矩阵乘法形式：
编辑
总结
- 内参负责将相机坐标系下的三维点（在相机前方，以光心为原点）转换为像素坐标系下的二维图像点。它包含了焦距、主点和畸变参数，描述了相机自身的成像特性。
- 外参负责将世界坐标系下的三维点转换到相机坐标系下，描述了相机在三维空间中的位置和姿态。
在深度双目相机中，精确的内参和外参校准是计算准确深度图的基础。通过复杂的校准过程（通常使用棋盘格等已知图案），我们可以准确地估计这些参数，从而将像素间的视差转化为有意义的三维深度信息。理解这些参数，你就掌握了相机几何学的核心！