结构光发展简史

■背景知识

针孔相机模型：射线方程

我们把数码相机简化成针孔相机模型，光心为点，传感器面为红色实线，点到传

感器面距离。那么我们可以这样描述成像的过程：三维空间中的点经过光心点在

传感器面上成像为点，且、、三点在一条直线上。针孔相机模型是一个三维空

间（点所在空间）到二维面（点所在面）的变换，线上的任意一点（如、、）

所成的像都是点，因此如果只知道点，我们是无法反推出具体哪一个点点亮了点,

我们只能说点亮点的点一定在射线上。所以针孔相机模型本质上是射线方程，也

就是说知道了CCD上的点，就可以得到一条射线。

为了方便描述，我们之后将把针孔模型对称翻转过来，如上图虚线所示，从数学的

角度,它们是等价的。

针孔相机双目确定物点模型：射线相交得到点

为了确定到底是哪一个点点亮了相机。上的点，我们引入了另一个相机，通过相

机1,我们可以得到点在相机1中的像点，联立和我们就可以唯一的得到空间

中点，上图表达了这个关系。

■被动测距

双目测距：匹配特征

图中上部左右两幅照片是两个标定好的相机对同一个场景拍摄并对准后的，图中下

部是上图场景中的高度分布，颜色越深离相机越远。

■主动结构光

结构光：匹配拓扑网格

如果说特征点的缺失是双目测距的一大痛点，有学者就提出，既然缺少特征点不如

我就造一些特征点出来，这就是结构光。iPhoneX的人脸识别用的就是这一项技术。

AmbientlightsensorSpeaker

ProximitysensorMicrophone

FkxxiilluminatorFrontcamera

InfraredcameraDotprojector

iPhoneX中有两个与此相关的传感器分别是Infraredcamera和Dotprojector,

前者是相机，而后者是一个点阵投影仪。从数学上说，一部分投影仪是可以用逆向

针孔相机模型描述的，也就是说如果我知道投影面上的某一个点，我就可以知道由

这个点投影出的一条射线这条射线遇到一个面，线面相交的点就会被投影仪点亮。

这里我们为什么说「一部分」投影仪可以等价于针孔相机，这个问题在后面会谈到。

相机点阵投影仪

为了确定这个线面相交的点的位置，我们用一个相机观察，如上图所示，我们可以

在点阵投影仪的投影面上找到点亮点的投影点，也可以在相机CCD面上找到被点

亮的成像点。上面的草图中，一共有五个投影点，而相机拍到的五个投影点，会因

为面形的存在改变相邻两点之间的距离却不会因为面形的存在导致五个投影点相对

顺序的改变，因此我们说相机是通过拓扑网格的标号来确定CCD面上点和投影仪投

影面上点的一一对应关系。

在实际的应用当中，会根据待测面形的特点确定拓扑网格的结构。举例而言，对于

iPhoneX的结构光主要测量的人脸，因此它的结构光在设计过程中，加密了人脸中

眼、鼻、口的光点数量，使得在人脸识别中更具有特征的眼、鼻、口的采样率更高，

深度数据真实性更强。主动结构光拓扑网格匹配已经远远强于被动双目测距的特征

匹配，但是即便如此依然无法实现像素级点对点的匹配，无法实现的原因我们会在

下一节讲到。

主动投射结构光和被动双目测距相比既有好处也有坏处，好处是大大提高了测黄准

确度和分辨率，坏处则是需要有主动式投影光源。举个很显而易见的例子，由7投

影光源在远距离的情况下就失效了，远距离的测距主要还是用被动双FI测距的方法。

当然远距离的测距还有很多别的更可行的方案，比如激光雷达，但是本文只讨论结

构光体系内的技术。

结构光：匹配相位分布

我们为了测量的面形保真，必须尽可能的提高采样点的数量。上一节拓扑网格匹配

结构光里采样点的提高有一个上限，那就是CCD必须可以区分采样点，否则在CCD

中采样点糊成一团，也就失去了拓扑网格标号。因此这里有一对矛盾，一方面要尽

可能的提高采样率，一方面又不能超过CCD的分辨能力。

上图中，测量面上最左边的点，相机却无法分辨最左边的点与和它相邻的点。为了

解决这个问题，学者就提出采用相位的方法实现像索级点对点匹配。在前面的介绍

中，被动双目测距用「特征点」作为「相机0一一物一一相机1」这个过程的传递不

变量，主动拓扑网格结构光中，以「拓扑网格标号J作为「投影仪一一物一一相机」

的传递不变量。在这里我们以相位分布作为传递不变量。之所以用相位分布作为传

递不变量，是因为相位分小是由面形的高度分布直接决定的。

以四步相移为例，上图右图是投影仪投出的X方向用移正弦条纹，左图是CCD拍摄

到的由于面形引起的X方向变形条纹。对这两组图求包裹相位，并解包裹得到X方

向相位分布情况。

举例而言，投影面和CCD的像素数都是512*512,对于投影面上的一个像素（下图

右图红点），我能找到它的X方向相位值，根据这个相位值，能够找到CCD面上具

有这个相位值的所有像素（下图左图红线），通过这个X方向相位值，能够把投影

面上的点和CCD面上的线关联起来。

投行"包■相0

(px

同样的道理，投影仪投影Y方向正弦条纹，我们就能够在CCD面上唯一确定与投影

面上红点对应的像素，通过X方向相位和Y方向相位，我们找到了I■投影面像素标

号CCD面像素标号」的对应关系，实现了像素级点对点匹配。

结构光：匹配编码

肯定有读者会问上面都已经实现了像素级点对点匹配，分辨率的提高都已经到头了，

那么这项技术还可以怎么演进呢？这里我们就要谈一谈相移法的优缺点了，相移法

是属于一种优点和缺点都极为显著的方法，优点是，通过相移解相位的方法，牺牲

了时间（多幅条纹投影），以粗的条纹获得了细的分辨率，缺点是正弦条纹极易被

干扰，这就导致了相位图失真，CCD像素和投影面像素的一一对应性被破坏。

相机投影仪

因此，学者就提出，能不能把步子迈得小一点，我们不要求像相移法那样高的分辨

率，但是CCD像素和投影面像素的一一对应性必须要保证。由此就提出了以编码作

为传递不变量，确定像素的对应性。

以下图为例，我们对蓝色点进行编码，通过XY两个方向一共6幅由疏到密的二值条

纹，我们能够得到一串表明蓝色点位置的6位编码F100101J,其中1代表在这一

位上是白色，。代表黑色。编码位数越高越能准确的描述蓝色点的位置，当然位数

越高同样意味着条纹越密，位数的上限取决与CCD能够分辨的最小二值条纹粗细。

二值条纹的抗干扰能力显著高于正弦条纹。

①②③

下图是慕尼黑光博会上某个展商的装置，用一个投影仪一个相机以及编码图样实现

了三维测量，实际上它所用的图样（编码位数）最后远远高于我截的这6幅图。

双目结构光：不能或者不想标定投影仪

还记得我们前面有一节讲到只有一部分投影仪可以用逆向针孔相机模型来描述，受

限于•投影仪的凸透镜成像法则，大多数情况下很难用一个通用的模型来描述投影仪

整个群体，比如说，投影面放在投影仪透镜焦面上的准直投影就不能用逆向针孔相

机模型来描述。

这意味这投影仪不能用射线方程来描述，也就意味着又要解决一个相机解欠定的问

题，自然我们想到了再引入一个相机。

请注意，因为这里的投影仪不是射线模型，因此我也就不画成前文投影仪的样子了。

和前面的结构光匹配编码类似，只是我们现在匹配的是两台相机当中的编码而不是

匹配投影仪和相机的编码。

交叉偏振结构光：解决反光问题

反光是所有结构光的大敌，包括被动双目测距，主动结构光扫描。因为反光会造成

采集信号丢失，相当于双目测距失去一目，方程欠定有无穷多解。

所以结构光只能用在粗糙表面测量上，下图表明了两种表面反射光的形态。左图是

粗糙表面反射光形态，粗糙表面会讲投影光线均匀的散开，只要Tf一支被CCD接受

我们就可以确定投影像素和CCD像素的对应关系。右图是类镜面反射光形态，反射

光中，光强最强的主瓣沿着反射定律确定的反射光方向，而旁瓣则在主瓣周围散开，

越远离主瓣光强越弱。结构光无法处理反光就是因为CCD接收不到光线。类镜面反

射光形态和粗糙表面反射光形态并不是一成不变的。一些材质的粗糙表面在某些角

度的光线或者光强大于一定的值之后也会表现出类镜面反射光的特点。

为了解决这个问题，学者就提出投影交叉偏振结构光的方法。其原理是反射光是S

占优的部分偏振光，只有当入射角是布鲁斯特角时，反射光是s线偏振光。根据这

个原理，大量的含水面的风光摄影都用到了与S光正交的偏振镜来抵消S光以达到

减弱反光的效果。

通过给投影仪加装偏振镜的方法，我们可以得到一对具有正交偏振方向的投影光,

下图两个蓝色圈中的即是两个不同偏振方向的投影仪。

通过交叉偏振投影结构光的方法，总有一个方向能够极大的降低反光，再通过拍摄

到无反光的结构光的相机的位置，可以按照前文所述得到三维信息。

PhaseMeasuringProfilometry：既不标定投影仪也不用双目

PhaseMeasuringProfilometry,中文名为：相位测量轮廓术。

前文的所有测量包括被动双目和主动结构光都属于绝对测量，这里的Phase

MeasuringProfilometry(PMP)是一种相对测量的手段。既不标定投影仪也不用双

目，这势必意味着我们方程