目标三维面型获取实验

目标三维数字成像及造型实验一、实验目的1. 了解主动立体视觉三维测量原理及其系统结构；2. 了解基于平面标定靶的摄像机标定原理，掌握主动立体视觉三维测量系统的标定方法；3. 掌握主动立体视觉三维测量系统的标定原理。二、实验原理制造业信息化技术的主要内涵包括：数字化设计技术、数字化制造技术、数字化产品技术以及数字化管理技术。其中数字化设计技术实现产品设计手段与设计过程的数字化，缩短产品开发周期，提高企业的产品创新能力，是制造业信息化的重要技术支撑。三维数字成像及造型（3D Digital Imaging and Modeling,3DIM）是在综合光学和激光、微电子、计算机科学等技术的基础上所形成的一个新兴的交叉型高新技术领域。目前国际上对三维数字成像及造型的研究开发相当活跃。3DIM 技术对工业生产和人们生活产生了重要的影响，覆盖了非常广阔的应用领域，例如在制造工业领域，3DIM 技术可以应用于逆向工程、快速成型制造和复杂物体的快速检测；在医学工程领域，人们可将3DIM 技术用于获取人体骨骼和解剖学中的人体器官的三维数字像，从而推动假肢制造和器官移植的发展；在信息工业领域，可以利用3DIM 技术对人体或物体进行三维数字化，获得的三维数据可以应用于动画制作、电子商务和身份识别。本实验所介绍的三维数字成像及造型技术采用双目立体视觉架构工作，在实际测量中需经过摄像机标定目标面型的立体视觉捕获目标面型重构三个步骤组成。1、摄像机的标定11针孔摄像机模型如图1，将针孔与图像平面交换位置。此时，针孔所处的点称为投影中心。远处的点光源发出的光线，经过图像平面到达投影中心。光轴与图像平面的交点为主点。这样，就避免了物体与物体图像反方向的缺点，数学形式更好。由几何关系，得:x=fXZ （1）图2是本实验涉及的坐标系。图像平面上的二维坐标系是图像坐标系O-X-Y，其中原点O是主点（主点偏离成像仪中心的方位为（cx,cy）。而Oc-Xc-Yc-Zc是摄像机坐标系，其中Oc是摄像机透镜的光心（相对于针孔摄像机的投影中心，即针孔），Xc轴和Yc轴分别与X轴和Y轴平行，Zc轴是摄像头的光轴，它与图像平面垂直。在双目摄像机系统中，我们定义左摄像头的摄像头坐标系OcL-XcL-YcL-ZcL为世界坐标系，用Ow-Xw-Yw-Zw表示。由于摄像机成像仪安装精度的问题，主点一般不会和成像仪的中心重合。成像仪上的像素坐标系以左上角为原点，此时引入参数cx和cy表示主点相对成像仪的像素坐标原点的偏移量。所以，未考虑图像畸变因素，空间一点的摄像头坐标系中的坐标（Xc,Yc,Zc）与成像仪像素坐标系坐标（xs,ys）的关系为：xs=fxXcZc+cx （2）ys=fyYcZc+cy （3）上面公式中，xs、ys、fx、fy、cx、cy的纲量都是像素，而Xc、Yc、Zc的纲量是微米。在摄像头坐标系中，纲量是微米的物理焦距F是一定的，而在普通成像仪中，单个像素在像素坐标系xs和ys方向上是不同长度的，所以引入了两个方向上的像素焦距fx和fy。上面公式写成矩阵形式：xyw=fx0cx0fycy001XcYcZc （4）注意，上面的齐次坐标中，x和y除以w的值，就是成像仪上的像素坐标值xs和ys。1.2透镜畸变模型径向畸变实际普通摄像机在成像仪的边缘产生显著的畸变，在成像仪中心（光学中心）的畸变为0，沿着径向方向移动，畸变越严重，如图3-3所示。由于径向畸变较小，所以可以用泰勒级数展开做修正：xcR=xs1+k1r2+k2r4+k3r6 （5）ycR=ys1+k1r2+k2r4+k3r6 （6）（xs，ys）是成像仪上的原始坐标，而（xcR, ycR）是径向畸变修正后的坐标。、切向畸变实际普通摄像机的透镜与成像仪是不平行的，由此产生了切向畸变，如图3-4所示。引入参数p1和p2做修正：xcT=xs+2p1ys+p2r2+2xs2 （7）ycT=ys+p1r2+2ys2+2p2xs （8）综上，摄像机畸变模型的畸变向量时一个5X1矩阵D=k1k2p1p2k3，数学解析式为：xc=xcR+2p1ycR+p2r2+2xcR2 （9）yc=ycR+p1r2+2ycR2+2p2xcR （10）因为向量D的分量都是一阶小量，消去高阶小量，上试化简为：xcyc=1+k1r2+k2r4+k3r6xsys+2p1ys+p2r2+2xs2p1r2+2ys2+2p2xs （11）上面公式就是畸变模型的最终形式，其中xc , yc就是原始屏幕坐标（成像仪坐标）xs , ys经过畸变修正后的最终屏幕坐标。1.3摄像机标定、旋转矩阵和平移向量坐标系旋转等价于将目标点围绕坐标原点反方向旋转同样的角度。本文中以左摄像机的摄像机坐标系为世界坐标系，其他摄像机坐标系相对于世界坐标系依次绕x,y和z轴旋转的角度是，。总的旋转矩阵是三个方向上的旋转矩阵Rx，Ry，Rz的乘积，其中Rx=1000cossin0-sincos （11）Ry=cos0-sin010sin0cos （12）Rz=cossin0-sincos0001 （13）平移向量Tx,y,z是摄像机坐标系原点相对于世界坐标系原点的偏移量。综上，观察点在摄像机坐标系的坐标Pc与世界坐标系中的坐标Pw关系为：Pw=RPc-T （14）标定板定原理圆点阵作为标定物体，如图5所示。将旋转矩阵和平移向量合并成一个矩阵W：W=Rt （15）图5 标定棋盘摄像机内参数矩阵为M，则点Q的世界坐标映射到成像仪上的像素坐标q的关系为：q=sHQ（16）其中H=MW，s是一个任意尺度比例，齐次坐标定义如下：Q=XYZ1T（17）q=xyzT（18）将旋转矩阵R写成R=r1r2r3，考虑一般性，把棋盘角点的世界坐标Z分量设置为0，代入q与Q的方程，化简可以省略列分量r3，即：q=sMr1r2tQ（19）将单应性矩阵H表述为:H=h1h2h3=sMr1r2t（20）分解上面方程，得：h1=sMr1 或 r1=1sM-1h1 （21）h2=sMr2 或 r2=1sM-1h2（22）h3=sMt 或 t=1sM-1h3（23）旋转矩阵各列向量是相互正交的，由点积为0，即r1Tr2=0 ， 得：h1TM-1TM-1h2=0（24）由列向量长度相等，即r1Tr1=r2Tr2，得：h1TM-1TM-1h1=h2TM-1TM-1h2（25）令B=M-1TM-1，代入内参数，解得：B=B11B12B13B12B22B23B13B23B33=1fx20-cxfx201fy2-cyfy2-cxfx2-cyfy2cx2fx2+cy2fy2+1（26）忽略畸变效应的情况下，当我们得到足够视图的棋盘时，联立方程组，由q与Q的方程，求出矩阵B的解，从而得到内参数：fx=1sB11（27）fy=B11sB11B22-B122（28）cx=-sB13fx2（29）cy=B12B13-B11B23B11B22-B122（30）其中：s=B33-B132+cyB12B13-B11B23-1（31）外参数由但应性条件得：r1=1sM-1h1 （32）r2=1sM-1h2（33）r3=r1r2（34） t=1sM-1h3（35）所求出的r1，r2和t就是两个相机的外参数，即相互关系。2、双视场三维测量2.1 极线几何求解被测物体点的三维空间坐标，应寻找到空间点在左右摄像机像面上的对应点，在双目立体视觉系统中，对应点的寻找与极线几何密切相关。如下图6所示，如果 p1 、pr 是空间同一点 p 在左右两个摄像机图像上的投影点，称为 p1 和 pr 互为对应点。图6 双目立体视觉中的几何关系极线几何的几个概念：1) 基线：指左右两摄像机光心的连线，如图6中的直线 。2) 极平面：指空间点 p 与摄像机两光心C1、Cr决定的平面。3) 极点：指基线与两摄像机图像平面的交点，如图6中的点e1、er 。4) 极线：极平面与图像平面的交线，在图6中，称直线为图像I1上对应于P1点的极线，直线 为图像 Ir 上对应于 p1 点的极线，同一图像平面内的所有极线交于极点。如果已知 p1在图像 I1 内的位置，则在图像 Ir 内 p1 所对应的点必然位于它在图像 Ir 内的极线上，即 pr 一定在直线 上，反之亦然。极线约束是双目立体视觉的一个重要特点，它给出了对应点重要的约束条件，将对应点匹配从整幅图像寻找压缩到在一条直线上寻找对应点，因此，极线约束极大地减少了搜索范围，对对应点匹配具有重要的指导作用。2.2 相位求解为了得到物体的相位，投影装置将一组正弦条纹结构光投射到待测物体表面，摄像机采集含有被测物体高度信息的变形条纹图，对变形后的条纹图进行相位计算分为以下两个步骤：第一步是相位解调，即从被调制的条纹图中求解含有被测物体高度信息的相位值；第二步为相位展开，因为由相位解调而得到的相位值都分布在主值范围之内，是关于 2 折叠的，需要对其进行展开恢复，得到绝对相位值，从而确保相位值的唯一性。1) 相位移动为方便求解，利用计算机生成沿x 轴方向正弦变化的条纹结构光作为投影图案。则光强分布可表示为： (36)利用投影仪将条纹投影至物体表面，经过物体表面高度调制，则摄像机采集到的变形条纹光强分布可以表示为： (37)式中， 为记录到的物面光强分布， 为背景光强分布，为条纹的局部对比度，为载波频率， 是与物体外表形貌相关的相位因子。相位解调的目的就是要解码含有物体表面高度信息的相位函数 。假设相移次数为时N，每幅投射到物体表面的条纹结构光的相位偏移量为 ，参照(37) 式，条纹光强可以表示为： (38)其中被测物体的相位值由下式得出： (39)本实验采用四步相移算法，则上式可表示为： (40)2) 相位展开由(39)和(40)式求解的相位值始终处于 ，计算得到的物体相位图是跳变的，通过相位计算方法，获得与深度图像对应的绝对相位分布。如图7所示，（a）为某曲面的折叠相位，相位值在2np 处出现跳变；（b）为相位偏置图，目的是阶跃点从而进行相位计算；（c）为展开后的相位图。图7 相位展开的原理图示本实验采用时间相位展开的方法进行相位求解。该算法是利用关系： ，即。因而可以采用 对条纹数为编码条纹图得到的折叠相位进行展开： (41)其中， 既表示相应的时间尺度，同时在数值上又表示无量纲的条纹数目。 分别为 时刻和 时刻的展开相位，表示 时刻的折叠相位。根据上式计算，就可以得到物体对应的相位。2.3 同名点匹配在得到两台摄像机从不同角度采集到物体的绝对相位分布之后，每一个物点P 处的绝对相位值都将作为标记出现在双摄像机的绝对相位分布中。同名点匹配就是要建立左摄像机中像点 和右摄像机像点的对应关系。假设、对应的绝对相位值为 则满足下式要求： (42) (43) 图8 同名点匹配示意图为了能够快速高效地寻找对应点，需要利用前述的极线方程进行帮助搜索，如图8所示示意图。同名点与有相同的绝对相位值，对于左摄像机图像上整像素点(，在纠正镜头畸变之后，首先在右摄像机成像面上找到具有与最接近相位值的四个整像素对应点。由于系统采用的感光元素尺寸很小，且相位值近似线性分布，可以近似认为两个邻近像素之间的相位值是线性分布的。根据四个整像素点的相位值以及p1的相位,利用线性插值方法即可获得亚像素的同名匹配点p2。最后通过在整幅绝对相位图中搜索对应点，实现全场对应点匹配，结合先前标定结果，最终获得三维点云数据。三、实验仪器CMOS 摄像机、定焦镜头、投影仪、三角架、标定板、测量软件。图9四、实验步骤1.调节摄像头1) 调节两个相机的焦平面、光圈一致。首先调节光圈一致，将系统设定投影白光，以石膏像为目标调整光圈，避免过曝情况出现。然后对焦时，可用标定板作为目标，以将各个标定点观看清楚为判据分别调整两个相机的焦距。2) 调节两个相机的汇聚点。以标定板为目标，让投影仪投影白色十字辅助线。调整两个相机的俯仰和汇集夹角，使得两个相机所采回的图像的中心（可使用红色基准十字线）与投影的白色十字辅助线重合。此时保证相机处于最佳的拍摄位置与角度。（注：因为这时候相机的采集图像有点暗，需要仔细观察）2. 系统的标定1) 打开软件，同时将标定靶放置在视场中央，通过软件调整标定靶，保证左右两侧摄像机能够同时采集所有的圆。2) 在菜单栏的“系统标定”选项中选择“靶图采集”。3) 根据提示，进行标定数据采集。实验一共需要进行六次采集，每次采集必须保证所有特征点能够被左右两侧摄像机同时采集。4) 采集完毕，选择“双目系统标定” 进行摄像机及系统标定。5) 计算完毕后，点击“确定”完成标定。图10 标定过程3. 实际测量1) 在软件中的功能按钮区，点击“测量”进入测量栏。2) 将石膏模型放入已标定好的空间中，同时保证两个摄像机同时能够采集到石膏模型。3) 在测量方法中点击“变频光栅投影”，根据弹出的对话框设置时间相位展开参数。本实验的投影条纹设置一般选择默认值，计算方法为“投影计算”。设