基于单目的手持式视觉测量方法研究.doc

基于单目的手持式视觉测量方法研究 温俊，李榕 （华南师范大学物理与电信工程学院，广东广州510006） 摘要：提出一种基于单目视觉和惯性传感器的视觉测量方法，当手持移动摄像头时，利用惯性传感器获取摄像头轨迹，再根据多视角测量原理，测量被测物体的大小、位置等信息；利用图像特征点的移动信息抑制加速度传感器的累积误差。实验证明测量结果误差在2%以内，且该方法不需要任何摄像机外参数的先验知识及定标参照物，可满足实际测量需求。 关键词：手持式摄像机；惯性传感器；视觉测量；单目视觉 ：TN98?34；TP391：A：1004?373X（xx）16?0088?04 ：xx?02?25 视觉测量技术是一种坐标测量与视觉技术相结合的测量技术，其任务是利用二维图像信息，计算其对应的三维世界信息，重点研究物体的几何尺寸及物体的位置测量。在现代化生产中，视觉测量技术广泛应用于工业自动化检测、反向工程、机器人视觉等主动、实时测量过程1?2。其中，基于单目视觉测量系统，国内外的科研工作者已进行了大量的研究工作，但在这些研究中，单目视觉测量多为基于结构光方式、使用辅助标定物3或与特定的物理平台结合4等方式进行测量。这些测量方式在一定程度上已满足了生产、建设中的测量需求，但它们并不具有手持便携性，不便于民用推广。 因此，本文提出一种手持式单目视觉测量方法使用摄像机与惯性传感器相结合。本方法不但具有良好的便携性、测量灵活性，且成本低。实验结果表明其测量精度能满足一般的测量需求。 1视觉测量结构与原理 经典的视觉测量方法是使用双目或多目结构，完成对三维空间点的测量，而本文是利用图1中摄像机与惯性传感器结合的单目结构，通过手持摄像机移动来模拟多目结构，从而完成测量。其测量原理如图2所示。Oc?xcyczc为摄像机坐标系，其中Oc表示光心。设世界坐标系与摄像机坐标系重合，空间点Pc在世界坐标系的齐次坐标为xc，yc，zc，1T，摄像机在不同角度下在图像平面的投影点为mi（ui，vi），根据摄像机模型5有： 根据式（1）可知，只需求出摄像机移动过程中的旋转矩阵Ri及平移向量Ti，即可恢复空间点Xc的坐标。结合实际手持移动情况，手持移动拍摄时，一般只在近x?y平面运动，z方向小范围的移动对测量结果影响不大，故本文约定z轴移动距离为0，即T=txty0T。 2摄像机位姿求解 2.1惯性传感器 获得摄像机位置及姿态信息最直接的方法是使用惯性传感器，即陀螺仪和加速度计。本文除了采用惯性传感器外，还引入数字罗盘数据，位姿求解结构框图如图3所示。 使用互补滤波器7?8融合3种传感器数据，解算出摄像机姿态R，同时计算出加速度的重力场分量，结合MPU6050中加速计的输出数据计算摄像机位移T。当摄像机运动时，将同时存在线运动和角运动，故位移计算中应对旋转效应进行补偿9。 速度V的迭代更新方程如下： 由于低成本加速度计的精度并不高，故直接经过二次积分所得位移的累积误差较大，不能直接使用。本文将引入图像信息，对加速度计进行补偿，可大大减少其累积误差。 2.2数字图像处理 使用图像处理技术获得摄像机位姿信息的经典方法如文献10所描述，是通过计算2幅图像之间的基础矩阵F，然后再结合摄像机内参数矩阵M求解本质矩阵E，根据本质矩阵可获得摄像机的位姿信息。但此方法需匹配特征点和求解矩阵方程，运算量大，且2幅图像间距离不能太小，否则求解的基础矩阵F误差较大。结合本设计方法，摄像机只作小范围移动，且图像信息需实时修正加速度计的积分误差，计算量不宜过大，故本文直接对每帧帧间特征点距离作统计，可以得到摄像头在x?y平面的帧间移动距离： 式中：mn，mn-1为前后两帧对应的特征点坐标。 图像处理过程如图4所示。 由于摄像机移动过程中包含平移和旋转运动，而无论是摄像机平移或旋转，都会使图像发生移动，旋转补偿是为了去除帧间移动距离的旋转分量。令旋转分量为Tfr，平移分量为Tft，则有： 设摄像机绕光心O旋转R，世界点P，在旋转前后的坐标分别为P，P，其投影在图像平面的点分别为p，p。根据摄像机模型5可知： 式中：K为摄像机内参数矩阵；R为旋转矩阵，联合三式有： 则可由式（6）得： 2.3传感器与图像信息融合 由摄像机模型可知，当摄像机移动时，连续两帧之间的摄像机位移T与Tft有如下关系： 式中k=zf，z为被测点与摄像机的距离，f为摄像机焦距。 则有摄像机移动速度： 式中t为采样周期，Vf为特征点的移动速度。 设短时间tn，tm内加速度计的偏移量为常量ab，加速度计测量值为as，真实值为a，则有： 得： 对于tntitm有： 同理，结合式（9），有： 则有： 离散化后，有： 式中w为修正系数。结合速度、位移更新方程式（3）,式（4）可求得融合后的位移T。 3实验与结果 本文通过手持图1的实验装置，对目标盒子进行拍摄测量，测量过程中，摄像机拍摄目标盒子，先静止再沿y轴移动一小段距离，然后再静止完成测量，整个过程目标物体必须保持静止，且在摄像机拍摄范围内。实验装置的摄像机使用USB摄像头，传感器使用MPU605三轴陀螺仪、三轴加速度计和HMC5883三轴数字罗盘，通过USB转I2C接口直接读取数据，测量算法在PC端实现。 摄像机的姿态矩阵R直接由互补滤波器解算得到，位移T根据前面所述方法求解。图5显示了求解位移T过程中各数据的曲线，加速度计输出及去除重力分量后的数据曲线如图5（a）所示，从图5（e），图5（f）可以看出，由于加速度计飘移的影响，当手持不动时，单独使用其输出的数据求得的速度Vsy并不为零，导致Tfy的误差随测量时间增大而增大。图5（b）是特征点跟踪的效果图，其中点A，B，C是待测量的特征点，根据2.2节的方法，对特征点进行统计处理，得到图5（c）的特征点移动曲线及旋转补偿后的数据曲线。最后根据2.3节的方法计算系数k，修正加速计累积误差，图5（e），图5（f）显示修正前后的速度及位移曲线，可以明显看出图像信息很好地纠正了速度及位移的累积误差。 把R，T，代入式（1）求得特征点A，B，C的世界点坐标值如表1所示。 盒子实测值AB长22.5cm，BC长16.5cm，视觉测量值为： 相对误差为1.83%。 相对误差为1.95%。 由此可见，其计算结果与实际情况基本相符，可达到实际测量的精度要求。 4结语 本文采用传感器与摄像机结合的模式，通过手持移动模拟多目立体视觉，避免了运用多个摄像机所带来摄像机参数不一致的误差，并融合了传感器与摄像机两者数据，同时通过增加拍摄视频长度来获取更多视角图像，提高了实际测量结果的精确度与可靠性。实验结果表明，由于该方法不需要摄像机外参数的先验知识，也不需要定标参照物且结构简单、使用简单，因此，该方法易于推广应用。 参考文献 1叶声华，邾继贵，王仲，等.视觉检测技术及应用J.中国工程科学，1999（1）：49?52. 2马骊群，王立鼎，靳书元，等.工业大尺寸测量仪器的溯源现状及发展趋势J.计测技术，xx（6）：1?5. 3黄桂平，李广云，王保丰，等.单目视觉测量技术研究J.计量学报，xx（4）：314?317. 4彭永强，李祖枢，薛方正.基于舵机云台的人型机器人单目视觉测距J.计算机测量与控制，xx（11）：2253?2255. 5吴福朝.计算机视觉中的数学方法M.北京：科学出版社，xx. 6ZHANGZhengyou.Aflexiblenewtechniqueforcameracalibra?tionJ.IEEETransactionsonPatternAnalysisandMachineIntelligence，2000，22（11）：1330?1334. 7EUSTONM，COOTEP，MAHONYR，etal.Aplementa?ryfilterforattitudeestimationofafixed?wingUAVJ.IEEE/RSJInternationalConferenceonIntelligentRobotsandSys?tems，xx，22（26）：340?345. 8梁延德，程敏，何福本，等.基于互补滤波器的四旋