工业近景摄影测量系统理论

2.1 引言

本文的最终目的是开发出一套可以应用于实际生产过程的自动化摄影测量系统，因此需要首先提出系统的实现方案。该系统主要包括两大核心原理：数字图像处理和近景摄影测量三维重建。而近景摄影测量三维重建是整个摄影测量系统的基础，是保证三维重建和计算精度的前提。近景摄影测量理论经过多年的发展，有了不少新的改进和发展，但是测量理论基础是不变的。这些理论既互相联系又各自相对独立，如何将这些理论有机的结合到一起，形成一套完整的自动化摄影测量系统方案是本章的主要内容。

2.2 系统方案流程图

图 2 1为本文所采用的摄影测量系统方案流程。在获取图像之后，首先进行标志点检测，得到标志点亚像素级的图像坐标，高精度的标志点检测是保证整个摄影测量计算精度的基础，如何对标志点图像中心进行高精度的检测将在第3 章进行详细介绍。得到标志点中心之后，接下来就是利用这些图像点中心进行标志点的三维重建，这一部分是整个系统的关键。

首先按照公共标志点数目的多少，选用两幅图片进行相对定向，计算出五个外参数（使用共面方程列误差方程，迭代运算），如果此两副图像相机夹角小于30度则改用下一幅图进行相对定向，直到找出相机夹角大于30度的两副图片，完成相对定向，并重建出至少5个编码点的三维坐标作为控制点。然后根据这些图片包含的控制点数目，依次循环处理剩余的图片：首先利用控制点定向该图片，然后与已经定向好的图片分别搜索公共的未重建的编码标志点，然后重建出来。每定向完毕一幅图片后，利用光束平差算法同时调整外参数和物体点的三维坐标。所有图片都定向完毕后，利用光束平差算法同时调整内、外参数和物体点的三维坐标。然后利用极线约束匹配并重建非编码点，再利用光束平差算法同时调整内、外参数和物体点的三维坐标。最后加入比例尺和温度补偿，得到最终的物体点三维坐标。如果需要可以利用3-2-1对齐与数模进行对齐以方便偏差分析。具体流程如图 2 1所示。

图 2 1 系统方案流程图

2.3 中心透视投影及常用的坐标系

2.3.1 中心透视投影

物体点经过像机镜头摄影后成像到像平面上(如图 2 1)，理想的投影成像模型是几何光学中的小孔成像模型[25]，其本质就是射影几何中的中心透视投影过程。

图 2 2   中心透视投影

摄影镜头的光学中心为S，物方点P经过S投影到像平面上的像为p，O为主点，SO之间距离为焦距f。

2.3.2 常用的坐标系

摄影测量常用坐标系一般采用右手准则来定义，常用的坐标系统包括以下几种：

1）物方(空间)坐标系

2）物方(空间)坐标系O-XYZ是全局统一的坐标系(也称全局坐标系或世界坐标系)，用来定义物方点的坐标P (X, Y, Z)，一般选取控制点的测量坐标系(如全站仪测量坐标系)为物方空间坐标系。

2）像平面坐标系

像平面坐标系。o-xy用以表示像点在像平面上的位置坐标系的原点为像片的几何中心，x轴平行于像素的水平采样方向，理想的成像系统中像平面坐标系的原点与主点重合。

3）像空间坐标系

像空间坐标S-xyz系用于表示像点在像方空间的位置坐标系原点选在投影中心上，x轴和y轴分别与像平面坐标系的x轴和y轴平行，这时z轴就与摄影光轴重合了，则像点P在像空间坐标系中的坐标为(x, y, -f)

4）摄影测量坐标系

摄影测量坐标系是一种辅助性坐标系。当存在多个不同位置的像机(摄站)拍摄照片时，一般选取第一个摄站的像空间坐标系为摄影测量坐标系。

2.3.3 坐标系之间的转换关系

在近景摄影测量中，当利用像点坐标计算相应的物体点坐标时，常常需要建立像点在不同平面直角坐标系和空间直角坐标系之间的坐标变换关系。

1）世界坐标系与摄像机坐标系变换关系

2）世界坐标系中的点到摄像机坐标系的变换可由一个正交旋转变换矩阵R和一个平移变换矩阵T表示为：

(2.1)

公式(2.1)中， 平移矩阵 是世界坐标系原点在摄像机坐标系下的坐标。旋转矩阵R中的各项分别为：

正交旋转矩阵R是摄像机坐标系相对世界坐标系坐标轴的方向余弦组合，实际只含有3个独立变量：φ，ω，κ，再加上tx，ty，tz，总共6个参数决定了摄像机坐标系在世界坐标系中的空间位置和角度，因此这6个参数称为摄像机外部参数。

2）图像坐标系和摄像机坐标系的变换关系

如图 2 2所示，摄像机坐标系中的物点P在图像物理坐标系中的像点p坐标为：

   (2.2)

将式(2.2)的图像物理坐标系进一步转化成图像像素坐标系可以得到如下关系：

   (2.3)
将上式写成齐次坐标与矩阵形式为：
   (2.4)

其中，uo，vo是图像中心（光轴与图像平面的交点）的坐标，dx和dy分别为一个像素在X与Y方向上的物理尺寸，sx＝1/dx，sy＝1/dy分别为X和Y方向上的采样频率，即单位长度的像素个数。

图 2 3   图像坐标系与摄像机坐标系

2.4 共线方程与共面方程

2.4.1 共线方程

将式(2.1)带入式(2.2)中可得：
   (2.5)

上式即为摄影测量中最为基本的共线条件方程（collinearity equations）。

事实上没有真正完美的像机，实际成像时，主点的像平面坐标不严格为零，而存在一微小值，记为 .另外由于摄像镜头的物镜畸变等因素的存在，使得各像点在像平面上相对其理论位置 也存在偏差 （如图 2 3所示），因此实际成像的共线方程为[26]：
   (2.6)

图 2 4   实际的透视成像图

称为像片的内方位元素（elements of interior orientation），用来确定投影中心在像空间坐标系中对像片的相对位置； 成为像片的外方位元素（elements of exterior orientation，也称外部参数），用来确定一张照片和投影中心在物方坐标系中的方位[27]。

2.4.2 共面方程

如图 2 4所示，空间中一点P在2张相片上的投影点分别为P1、P2，两像机坐标系分别为 和 ，选取像片1的像空间坐标系 为摄影测量坐标系，像点P1在 中的坐标为 ，像点P2在像片2的像空间坐标系 下的坐标为 ,设投影中心 在 坐标系下的坐标为 ，像点P2在 坐标系（ 与 的三轴平行，是辅助坐标系）中的坐标为 ， 与 之间的旋转矩阵为R，因向量 、 、 共面，且有：

   (2.7)
   (2.8)

用行列式可以表示为：
   (2.9)

式(2.9)是摄影测量里的另外一个基本关系：共面关系方程（coplanarity equation）。共面关系方程是相对定向的算法基础。

图 2 5   共面关系图

2.5 相对定向

相对定向的意思就是指确定两幅图片之间的位置关系。由2.3.1节可知，确定一张像片的方位需6个外方位元素。因此，要确定一个立体像对的两张像片的方位需要12个外方位元素，即：

像片1： ；
像片2： ；

有了这12个外方位元素，就确定了这两张像片在世界坐标系中的方位，也就确定了两张像片之间的像对方位。在一般情况首先只考虑两张像片间的相对定向，再考虑整个图像序列在世界坐标系下的绝对方位。因此，将确定一个立体像对中两张像片间的像对方位的过程叫作相对定向；用来确定两张像片间相对方位的参数叫作该立体像对的相对方位元素；将确定像片在世界坐标系中的绝对方位的过程叫作绝对定向，其所必须的参数叫作该立体像对的绝对方位元素。

如图 2 5所示，将像片2的外方位元素减去像片1的外方位元素，得：

其中，、、为摄影基线（两摄站投影中心的连线）在世界坐标系的三个坐标轴上的投影，记为、、。记：
则、、这三个元素可以用这三个元素代替。

图 2 6   相对定向

于是，可以看出基线B的长度只影响立体像对的比例尺，并不影响其相对方位。因此，该立体想对的相对方位元素只需要五个，即 [28]。

相对定向的理论基础就是2.3.2节所介绍的共面关系方程。
由图 2 5可知：
   (2.10)
将式(2.10)代入式(2.9)可得：
   (2.11)
其中：
   (2.12)
式(2.11)中含有五个相对定向元素，其中 隐含在 中，该式是一个非线性函数。为了平差计算，将(2.11)按多元函数泰勒级数展开，取小值一次项，得共面方程的线性公式为：
   (2.13)
其中：
   

对应的误差方程为：
   (2.14)

把的初值分别设为0，利用误差方程(2.14)进行迭代运算。如果不收敛，则相对定向失败；如果收敛，那么再检查两幅图片对应相机光轴之间的夹角是否大于30度，若大于30度则相对定向成功，否则失败。如果失败，则换用另外的两幅图片进行相对定向。利用这样的约束条件能够保证高质量的相对定向，并为后续计算提供可靠的初值。

2.6 绝对定向

由2.4节可知，确定图像在世界坐标系中的绝对方位的过程叫作绝对定向，也就是利用图片上图像点坐标和对应的控制点的三维坐标来确定像机在世界坐标系下的绝对方位。

2.6.1 单像空间后方交会

单像空间后方交会解法，是把一张照片覆盖的一定数量的控制点的像点坐标作为观测值，以求解该像片内、外方位元素的过程。

仅仅解算外方位元素的单像后方交会，是单像空间后方交会的一个特例。在这种情况下，内方位元素和控制点坐标已知道，则式(2.6)对应的误差方程可表示为：
   (2.15)
其中：

因为外方位元素只有6个未知数，所以只需要3个控制点即可进行计算。单像后方交会算法是对非线性方程进行线性化后的迭代运算，因此需要未知数的初值。好的初值可以加速迭代运算的收敛，反之，不好的初值会增加迭代次数，甚至不收敛。因此，准确的求取外方位元素的初值非常关键。下面就介绍两种计算外方位元素的初值的算法：DLT直接线性变换法和基于三角锥的算法。

2.6.2 DLT直接线性变换法

直接线性变换(Direct Linear Transformation)解法是建立像素坐标与相应物方空间坐标之间直接的线性关系的算法[29]。直接线性变换算法因为无需内方位元素和外方位元素的初始近似值，故适合于与非量测相机所摄影像的摄影测量处理。

直接线性变换（DLT）解法，原则上也是从共线条件方程式演变而来的。对于世界坐标系下的物体点 和图像坐标下的图像坐标 ，有矩阵
   (2.16)
使得
   (2.17)
展开后可得：
   (2.18)
由共线方程公式(2.5)可得：
   (2.19)
假设

则式(2.19)可表示为：
   (2.20)

对比式(2.18)和式(2.20)可以得到旋转矩阵R的分量与矩阵L的分量之间的关系，如式(2.21)所示：

   (2.21)

对于式(2.18)，令 ，则式(2.18)对应的误差方程为：
   (2.22)

利用式(2.22)进行平差计算后，得到矩阵L，则根据式(2.21)可以得到相应的旋转矩阵R，利用旋转矩阵R再计算平移矩阵T，如式(2.23)。
   (2.23)

2.6.3 角锥体法

DLT法无需内、外方位元素的初始近似值，属于线性解法，但它至少需要6个控制点，由于绝对定向只是提供光束平差计算的初值，所以需要的控制点数越少越好。故基于三个控制点的角锥体法在实际的系统及工作中比较实用。角锥体法是应用摄影光束角锥体中的像方空间和物方空间的光线间顶角相等原理，来确定像片的外方位元素。

如图 2 6中， 、 和 表示世界坐标系下的三个已知坐标物体点（控制点）， 、 和 分别为三个点在摄站S上对应的图像点，则角锥体 和 相似，因此可得：

因为物方点在世界坐标系下的坐标和相应的像点在像空间坐标系中的坐标均为已知，所以、、、、、、、和的长度均为已知。

图 2 7   角锥体
在像空间坐标系下，对于角锥体，可以计算得到：
   (2.24)
而在世界坐标系下，对于角锥体，也存在同样的关系：
   (2.25)
在式(2.25)中，只有 、 和 三个长度是未知数，因为式(2.25)是非线性方程，所以需要进行迭代求解。求初值的方法为：
   (2.26)
求得三边长、和之后，则可得三个物方点在像空间坐标系下的坐标：
   (2.27)
现在，三个物体点在世界坐标系和像空间坐标系下的坐标都已经获得，接下来要计算旋转矩阵，首先计算三个物体点在世界坐标系和像空间坐标系下的中心：

则计算旋转矩阵的公式为：
   (2.28)

得到旋转矩阵之后，利用公式(2.23)可计算得平移矩阵T。
另外常见的还有一种基于四元数的绝对定向的方法[30,31]。

2.7 空间前方交会

空间前方交会算法，是根据已知内、外方位元素的两张或两张以上像片（图 2 7），把待定点的像点坐标视鞴鄄庵担郧蠼馄浠蚴侵挡⒅鸬闱蠼獯ǖ阄锓娇占渥甑墓獭?BR>

图 2 8   多片空间前方交会

在空间前方交会中，因内、外方位元素已知，则式(2.6)对应的误差方程可表示为：
   (2.29)
其中：

物方点的每一个像点均可按照式(2.29)列出两个方程，当物方点在两张或者两张以上的像片上成像时，就可以按照最小二乘算法计算该点的三维空间坐标。因为该算法也属于迭代计算，所以也需要计算未知数的初值。

一般情况下，利用两幅图片就可以计算物方点三维坐标的初值。在利用两幅图像进行三维重建之前，必须完成图像外方位元素的计算和图像同名点的匹配。图像外方位元素的计算也就是图像的定向在2.4、2.5节已经进行了详细的论述。图像同名点的匹配已经计算物方点初值的算法将在第四章中介绍。

2.8 光束平差

基于共线条件方程的摄影测量光束平差算法（Method of Bundle Adjustment），是一种把控制点的像点坐标、待定点的像坐标以及其他内业、外业量测数据的一部分或者全部均视作观测值，以整体的求解它们地或是值和待定点空间坐标地解算方法（图 2 8）。其求解原则是使得各类观测值地改正数 满足 为最小。基于共线方程列出的光束平差的误差方程为：

   (2.30)
其中：为摄像机内参数变化量，为摄像机外参数变化量，为观察量也即图像点坐标，、、分别是相应的变化量偏导矩阵。

运用光束平差法的整体解算模式中，含有两类待定的未知参数：一类是像机的内、外方位元素，另一类是每个待定点的物方坐标。后一类参数的数目往往比较大，一般达到几百个甚至上千个，所以法方程式的阶数很高，运算工作量是很大的。为了尽量减少计算量，采用逐点对原始误差方程式进行等效法化的办法，然后消去该点物方坐标未知参数，组成等效误差方程式和相应的简化法方程组，从而首先解算出各张像片的外方位元素，然后再利用多片前方交会的办法，逐点计算待定点的物方坐标，这就是摄影测量中的“逐点消元、法化”方法。

图 2 9   光束平差示意图