一种高密度光栅结构光编码方法_图文

1、第33卷第7期 光电工程 V ol.33, No.7 2006年7月 Opto-Electronic Engineering July, 2006 文章编号：1003-501X(200607-0078-05一种高密度光栅结构光编码方法孙军华，魏振忠，张广军( 北京航空航天大学 仪器科学与光电工程学院，北京 100083 摘要：针对光栅结构光传感器三维测量过程中光条识别问题，提出一种新的金字塔子光栅投射法结构光编码方法。该方法把高密度光栅逐级细分为若干个可容易识别的子光栅，用空间二分编码方法分别对每个子光栅进行编码，并详细介绍了确定光条点码值的方法。把该编码方法应用于光栅结构光传感器中，实现了维

2、纳斯雕像的三维测量，并给出了三维重建结果。结果表明，该编码方法误码率仅为0.75，特别适用于物体三维轮廓致密测量。关键词：光栅结构光；编码光栅；光传感器；三维轮廓测量中图分类号：TP391 文献标识码：AA coding method for high-density grating structured lightSUN Jun-hua，WEI Zhen-zhong，ZHANG Guang-jun( School of Instrumentation Science and Optoelectronics Engineering, Beijing Universityof Aeronauti

3、cs and Astronautics, Beijing 100083, China Abstract ：Referring to the problem of light stripe recognition in 3D measurement using a grating structured light sensor, a new structured light coding method, namely pyramid sub-grating projecting method, is proposed. A high-density grating structured ligh

4、t pattern can be gradually subdivided into some legible sub-grating ones by this method. Each of sub-grating patterns is encoded by the spatial dichotomy. The method of estimating codeword of a light stripe point is introduced in detail. This coding method is applied to grating structured light sens

5、or, the surface of a statue of Venus is measured, and 3D reconstruction results are given. The experimental results show that the ratio of false codeword of the coding method is only 0.75 percent, and it specially adapts to 3D profile measurement in density.Key words：Grating structured light; Encode

6、 grating; Light sensor; 3D profile measurement引 言三维视觉检测技术按光源的照明方式可以分为被动式和主动式两种。被动式视觉检测是指测量系统不需要额外的光源，在自然光照明的情况下使用立体视觉技术获得所需被测物体的三维信息。立体匹配作为立体视觉的核心，在理论上和技术上都存在着许多问题1。主动式视觉检测是指由测量系统向被测物体投射出特殊设计的光点、光线或者其它结构光，经被测曲面调制，根据三角法和传感器结构参数获得所需的被测物体三维信息。由于用点、线结构光进行测量时只能获得单点或单个光平面上的三维信息，因此为了测量整个物体，需要增加扫描机构，不仅使测量机构

7、复杂化，而且会使测量速度大大降低2。冯展军等3采用光栅式结构光方式，不需扫描机构，一次测量就能获得视场范围的全部三维信息。实际测量中，光栅光条的密度越大，就可以更加细致地获得物体的三维形貌数据。但光条密度太大时，光条的识别就发生困 2006年7月 孙军华 等：一种高密度光栅结构光编码方法 79难，往往难以区分。因此，目前一般采用的方法是投射一定密度的可分的光栅，通过插值获得更多的数据。若数据点太少，插值会带来较大的误差。1 光栅结构光视觉传感器原理光栅结构光传感器是一种基于主动三角法的视觉传感器。由光投射器在空间投射出一系列光平面，每个光平面通过摄像机建立与像平面的透视对应，几何机构如图1所示

8、。在第k 个光平面k 上以点O k 为原点建立直角坐标系O k X k Y k Z k ，其中X k 轴和Y k 轴在光平面上，Z k 轴按右手法则确定，则光平面方程为Z k =0。O c X c Y c Z c 为摄像机坐标系。被测物上点P k 在光平面k 上，由透视投影关系，点P k 与其对应图像点p k 的关系如下：=11010000100000000101000000001875421987654321k k k z k k k y k k k x k k k k k z k k k k y k k k k x k k k c c c c Y X T r r fT fr fr fT f

9、r fr Y X T r r r T r r r T r r r f f Z Y X f f v u Z (1 其中 f 为摄像机焦距，u v 1T 为像点齐次坐标，X c Yc Z c 1T 和X k Yk 0 1T 分别为物点在摄像机坐标系下和第k 个光平面坐标系下的齐次坐标，(r 1k ，r 2k ，r 9k 和T x ，T y ，T z T 是摄像机外部参数，分别为从第k 个光平面坐标系到摄像机坐标系的旋转矩阵和平移矢量。摄像机内外参 数通过标定4得到，并得到第k 个光平面在O c X c Y c Z c 下的平面方程为 k c k c k c k d z c y b x a =+ (

10、2由式(1和式(2可得出由像点p k 计算点P k 在摄像机坐标系下坐标的公式为=10000001v u fc b a fd d d Z Y X k k k k k k c c c (3 其中 为某一不为0的常数。可见，若要求得物点的三维坐标，必须知道其像点属于哪个光平面所形成的光条，所以必须对光栅结构光进行识别。 2 金字塔子光栅投射法图2和3所示为实际测量中的光栅图样，图2中光条数为64，已经非常 密集，但还可以分辨识别。而图3中光条数为128，已达到不能分辨的程度。若有N (N =2n ，n 为正整数根光条，可采用如下的细分方法来解决这个问题，称其为金字塔子光栅投射法。 图1 光栅结构光

11、传感器结构 Fig.1 Structure of grating structured light sensorOc 图2 光栅图样（64根光条） Fig.2 Grating structured light pattern(64 strips图3 光栅图样（128根光条） Fig.3 Grating structured light pattern(128 strips光电工程 第33卷第7期80首先每隔一根光条将原来的光栅细分为两幅子光栅，每幅子光栅含N /2根光条，每根光条在原来光栅中的位置不变，即两幅子光栅对叠组合即为原来的光栅图样。如果细分为两幅子光栅后，子光栅中的光条依然不能或者很

12、难分辨，则可以对两幅子光栅继续采用上述方法进行细分。这样，原始的光栅被细分为四幅子光栅，每幅子光栅含N /4根光条，这样子光栅中的光条密度进一步降低。重复上述细分过程，直到子光栅中的光条可以分辨识别。金字塔子光栅投射法实际上把一幅密集的光栅细分为M =2n (n 为细分次数 幅子光栅进行投射。图4是金字塔子光栅投射法示意图，图中原始光栅有16根光条，经过两次细分后，产生4副子光栅，每副4根光条。对于每副子光栅图样，用n 位二进制代码来区分，则图4中四副子光栅可以用代码“00”、“01”、“10”、“11”区分。采用王昭5提出的空间二分编码方法对每副子光栅进行编码。假设原始光栅光条数为N ，细分

13、后子光栅图样数为M ，则每幅子光栅中的光条数为M N N /sub = (4对于任意一幅子光栅，每隔N sub /2，N sub /4，直到每隔1根光条分别投射一幅编码光栅图样，一共需要投射1+log2N sub 幅编码图样。如图5所示，子光栅图样光条数为4，编码图样1和2分别为间隔2根和1根光条的图样，共投射两幅编码图样便可对子光栅进行编码了。 3 估计编码值估计光条点码值的最简单的方法是单一阈值法。设定阈值，原始图像光条上任意一点(x ，y ，有n 幅编码图像，f i (x ，y (i =1，2，. ，n 表示编码图像上对应点处的灰度值，用n 位二进制数C 表示该点编码值。若f i (x

14、，y >，则C i =1，否则C i 0(C i 表示C 的第i 位 ，从而确定该点的码值。该方法适用于表面比较均匀的被测物，对测量环境要求也比较严格。估计码值的另一种方法是差值法。设定阈值，设f 0(x ，y 表示原始图像光条上点的灰度值，若|f 0(x ，y f i (x ，y |<，则C i =1，否则C i 0。这种方法不要求被测物均匀，但要求每次投射编码图像时光照条件一致，否则会造成较高的误码率。由于上述两种方法存在很大的局限性，为了减小误码率，作者采用如下方法估计编码值。图4 金字塔子光栅投射法（1：原始光栅；2：一级子光栅；3：二级子光栅）Fig.4 Pyramid

15、sub-grating projecting method(1:Original grating;2:First grade sub-grating;3:Second grade sub-grating3图5 空间二分编码 Fig.5 Space dichotomycodingSub-grate Coding pattern No.1 Coding pattern No.2 图6 判断码值Fig.6 Estimating codeword 图7 水平和竖直方向光条 Fig.7 Horizontal and vertical light stripes2006年7月 孙军华 等：一种高密度光栅结

16、构光编码方法 81首先对原始光条或子光栅光条准确定位6。采用Steger 7提出的方法提取子光栅光条中心，并连接光条中心点，同时可以去除部分干扰点，得到光条中心点集Q =(x ，y |(x ，y 为光条中心点图像坐标。然后任取一点P Q ，对每一幅编码图像，以点P 为中心沿水平和竖直方向分别取M 个点，如图6所示。分别计算这M 个点灰度值的平均值a h 和a v ，设一阈值，第i 幅编码图点P 的灰度值为f i (P ，若|a h f i (P |>或|a v f i (P |>，C i =1，否则C i 0。当光条是竖直方向或水平方向时，若只计算竖直方向或水平方向M 个点灰度平均

17、值作为判断码值的依据，则会出现误码，如图7所示。按此方法，图5中子光栅图样中四根光条中心点从左至右依次被编码为“00”、“01”、“10”、“11”，从而可识别出光条中心点。4 实验结果光栅结构光传感器由一个NEC-LT170+型数字投影仪，一个Mintron368P 型CCD 摄像机组成，工作距离700900mm，测量范围约400mm×300mm，图像大小为768×576。首先完成摄像机内外参数及各个光平面方程的标定。投影仪投射128根光条，对维纳斯石膏像进行测量。我们采用金字塔子光栅投射法投射两幅子光栅，如图8，图9所示。然后对子光栅1和子光栅2分别用空间二分编码法进行

18、编码。图1015所示为对子光栅1进行空间二分编码的图样，光条间隔分别为32、16、8、4、2、1。 提取子光栅1的光条中心，如图16所示。根据6幅编码图像确定64根光条中心点的六位二进制码值，从左到右依次为111111、111110、111101、000000。同理，子光栅2光条中心点的六位二进制码值也可以确定。为了区分子光栅1和子光栅2对应光条的码值，最终原始光条的编码值引入第7位二进制码，“0”表示子光栅1，“1”表示子光栅2，则原始测量光条从左到右依次编码为0111111、1111111、0111110、1111110、0000000、1000000，从而完成所有光条中心点的编码。子光栅

19、1和2共有40242个光条中心点，被误编码点个数约300个，误码率仅为0.75。将不同码值的光条中心点分别代入式(3，得到128根光条上所有像点对应的三维点云，如图17所示，而图18所示是只用子光栅1计算所得到的三维点云。左图点云个数约为右图点云个数的两倍，明显提高了测量的致密程度。图11 编码光栅（16根）Fig.11 Coding light grate(16图8 子光栅1（64根） Fig.8 Sub-grate 1(64图9 子光栅2（64根）Fig.9 Sub-grate 2(64s图10 编码光栅（32根）Fig.10 Coding light grate(32图12 编码光栅（8

20、根）Fig.12 Coding light grate(8图13 编码光栅（4根）Fig.13 Coding light grate(4图14 编码光栅（2根）Fig.14 Coding light grate(2图15 编码光栅（1根）Fig.15 Coding light grate(1光电工程 第33卷第7期 825 结 论针对点、线结构光传感器测量整个物体表面3D 信息必须加扫描装置以及传统光栅结构光传感器光条不能太密的缺点，本文提出了一种高密度光栅结构光编码方法，通过金字塔子光栅投射策略，使得光栅光条变得稀疏而容易编码识别。对于具有显著纹路或彩色花纹的被测物表面，文中采用的Stege

21、r 提出的方法提取光条中心时，中心位置可能会受到影响，从而可能造成误编码。实验中用该方法实现了维纳斯石膏像的三维测量，结果表明，该方法误码率很小，仅为0.75，非常适用于物体表面的致密测量。参考文献：1 游素亚，徐光祐. 立体视觉研究的现状与进展J. 中国图象图形学报，1997，2(1：17-24.YOU Su-ya，XU Guang-you. State of the art and Future the development of stereo visionJ. China Journal of Image and Graphics ，1997，2(1：17-24.2 朱 洲，李德华，关

22、景火，等. 基于结构光的三维全身人体扫描仪J. 华中科技大学学报，2004，32(10：7-9.ZHU Zhou，LI De-hua，GUAN Jing-huo，et al. A 3D scanner of the whole body based on structured lightJ. J. Huazhong Univ. of Sci. & Tech. (Nature Science Edition，2004，32(10：7-9.3 冯展军，沙吉乐，邾继贵，等. 基于光栅的三维主动视觉检测J. 计量技术，2003，(5：15-18.FENG Zhan-jun，SHA Ji-le，ZHU Ji-gui，et al. 3D active vision inspection based on coding light grateJ. Acta Metrologica Sinica ，2003，(5：15-18.4 周富强，张广军，江 洁. 线结构光视觉传感器的现场标定方法J. 机械工程学报，2004，40(6：169-173.ZHOU Fu-qiang，ZHANG G