Kinect深度传感器误差模型研究.doc

Kinect深度传感器误差模型研究 Kinect深度传感器误差模型研究Kinect深度传感器误差模型研究张洪，孙春龙，杜汶励(1江苏省食品先进制造装备技术重点实验室，江苏无锡214122；2江南大学机械工程学院，江苏无锡214122)摘要针对现有Kinect误差模型没有考虑像素点位置对误差的影响，通过对Kinect深度传感器分别在、Y、方向上的误差研究，考虑像素点对误差的影响并提出新的误差函数模型。 首先，通过Kinect和激光雷达获得深度方向(z)的误差；水平()和垂直(Y)误差通过提出的三维棋盘格测量获得。 结果表明，Kinect深度传感器的误差与像素点的坐标和深度值有关，分别为、Y、名方向建立了误差函数模型，同时将所提出的模型与现存的误差模型比较，分析表明所提出的误差模型能够更加精确地表征Kinect传感器的误差分布情况。 关键词Kinect；激光雷达；三维棋盘格；误差模型TP391A10008829 (xx)06000105Research onError Models forthe KinectDepth SensorZHANG Hong一，SUN Chun1ong一，DU Wenli，(1Jiangsu Provincial KeyLaboratory ofAdvanced FoodManufacturing Equipmentand Technology，Wuxi214122，China；2School ofMechanical Engineering，Jiangnan University，Wuxi214122，China)AbstractIn viewof theproblem that the existingKinect error models doesnt takethe pixel location intoaccount，by studyingthe e ror distribution onthe threedimensions，a newe rormodel isproposedFirst，the depthdirectional erroris measuredthrough alaser scanand KinectThen，horizontal andvertical e rors aremeasured usinga3D checkerboarddesignedResults showthattheerorshave agreat relationshipwith thepixellocationand thedepth valueFinally，a newerrormodel is representedin eachaxisThe resuhingmodels arepared againstthe existingmodels，and throughthe parisons，the proposedmodelisshown tobe moref itto therealitiesKey wordsKinect；laser scan；3D checkerboard；erormodel Kinect传感器是微软公司开发的一款体感外设，其深度传感器不仅得到了广泛的运用，并且是研究的热点。 因为能够准确的呈现外界三维信息，Kinect在车间安全监督、机器人视觉?、快速三维重建J、手势识别等方面得到了广泛运用。 准确的Kinect误差模型在目标识别和姿势识别算法中至关重要。 目前，Kinect误差模型的研究主要分为以下几方面Khoshelham等人通过研究Kinect传感器的精度和分辨率校正了深度测量值，但只考虑了测量深度对误差的影响，忽略了位置对误差的影响；Menna等人研究了深度值和角度对误差的影响，但未考虑位置对误差的影响，且认为和Y轴方向具有相同误差；Chow等人通过提xx0814作者简介张洪(1966一)，男，江苏无锡人，博士，副教授，主要研究方向为机电测试与控制技术、机器人技术。 出新的标定方法，但在深度方向上仍存在较大误差J。 综上，一个可以够准确地表征Kinect误差分布的模型有十分重要的意义。 本文对Kinect在水平、垂直和深度方向上的误差分布进行了研究。 因为3个方向中任意两个方向上的误差没有必然联系，所以与现有误差函数模型不同的是，本文在3个方向分别提出了各自的误差函数模型，提出的模型能够准确地表征Kinect的误差分布情况。 1Kinect工作原理和误差分析11Kinect工作原理Kinect传感器是基于立体视觉系统的摄像机，它包括红外发射、红外接收相机和彩色相机，使用三角测量原理来获取物体与传感器之间的距离J。 如图1所示，红外激光发射器与彩色相机之间的距离为b，f为红外相机的焦距。 红外相机捕捉到被测物体上的激光2测控技术xx年第35卷第6期散斑在红外图像上成像的位置。 当被测物体在深度方向上产生偏移一时，红外图像上的位置变化d。 那么利用相似三角形原理，被测物体与Kinect之间的距离为7ZK= (1)1+d，参考平面c激P1祛z物体平im、面f物体图1Kinect三角测量原理示意图Kinect的特别之处在于它所发射的红外激光，其经过衍射光栅的衍射作用被分成多束，在空间中形成了很多随着深度值变化而变化的散斑图案。 在进行深度测量时，要将不同距离下的散斑图案记录下来。 在场景中，每隔一段距离取一个参考平面，将对应距离下的散斑图案记录下来作为参考。 在进行测量时，红外摄像头接收到待测物体平面上的散斑图案。 如果待测物体表面上的点到Kinect的距离不等于参考平面到相机的距离，那么红外图像上这个点对应的激光散斑在相机的基线方向上会发生偏移，将场景的红外图像和所有参考图像依次进行互相关运算，可以得到由场景中每个像素点的视差组成的视差图像。 由这个视差图像，结合Kinect的数学模型可以计算出每一个像素的深度值。 如图1所示，假设一个物体恰好位于与Kinect距离为的平面上，记录下此距离下的散斑图案。 若物体远离或者靠近参考平面，会在轴上产生一个视差d，根据三角相似原理即可算出深度值z。 传感器坐标系统的原点在Kinect传感器的彩色相机和红外相机中间，由于Kinect在生产时存在一定的差异性，经过多次实际实验测得，Kinect传感器坐标原点在轴方向和Y轴方向的偏移量分别为一0063mm和一0039mm_4J。 图像像素坐标系是以图像左上角为原点，像素点横坐标和纵坐标i分别为列数和行数，如图2中0。 所示。 图像中的点可以用(i，)表示，其中i、0为像素点的位置，为深度。 图像物理坐标系以图像中心为原点，z轴正方向为垂直于图像朝外，X轴平行于深度图片的上下边缘线且正方向朝右，Y轴平行于深度图片的左右边缘且正方向朝下，如图2中0所示。 坐标系定义好后，就可以从原始的深度图中读取每一个像素点的深度数据，深度数据为像素点到物体的最近距离。 0【rY图2图像坐标系和图像物理坐标系12Kinect误差分析121Z方向分析因为在测量值在传感器坐标系的3个维度方向上都有误差，所以需要分别建立3个误差函数模型来描述误差分布情况。 对于轴方向上的误差，通过平面和激光雷达来测量；对于轴和Y轴方向上的误差，本文通过一种三维棋盘格来测量。 Kinect在采集数据时，由于传感器的测量存在波动，所以实际测量点为A，而传感器的采集的数据的点为4，在3个坐标轴方向上都会产生误差，如图3所示。 图3传感器测量误差122XY方向分析理论上，可以通过式 (2)、 (3)实现像素点从图像坐标系转换到图像物理坐标系中J，z，)Phf一1z， (2)Yl(，)=f一1。 ， (3)其中，、分别为传感器采集图像的X和Y方向上的像素点个数；，为深度值；为像素位置坐标；P和P分别为当所测深度为1mm时，每个像素点的宽和高。 通过式 (4)、 (5)计算获得2tan(孚) (4)P=2tan(孚) (5)其中，0和0。 分别为Kinect传感器的水平视角和垂直视角，分别为575。 和435。 然而，在实际中每个像素点可能会覆盖不同的矩形区域，如图4所示。 这种在方向矢量上的失真，会造Kinect深度传感器误差模型研究3成深度值z产生误差。 因此，在从图像坐标系向图像物理坐标系转换时必须考虑这种误差。 假设误差s在、y、方向的误差分量分别为(i，z，)、(i，z，)和(，z，)，用向量I(，Y，)表示理想中的测量值，用向量G(，Y，z，)表示实际测量值，那么他们之问的关系可以用式 (6)表示为=Gf (6)图4实际情况中每个像素点的大小不一样在实际中，深度值的测量包括随机噪声，而且不管运用何种传感器，都会包含有噪声。 因此用激光雷达的测量值来代替G，那么测量误差可以用式 (7)一 (10)表示2误差测量=MI=，(，)=E(M一，)=Vat(MI) (7) (8) (9) (10)21Z方向误差测量本文使用平面测量法来获取深度方向上的误差，通过Kinect测量正前方的平面，如图5(a)，并且保证垂直于传感器的z轴。 理论上，所述的平面是绝对平整的，而且与传感器z轴垂直，那么这个平面在三维空间坐标系中的方程为=p00 (11)其中，P。 为传感器与平面之间的距离。 实际上，平面与Kinect传感器也可能存在一定的角度偏转，所以实际面的方程为=po0+p】o+po】Y (12)其中，P。 、P。 分别为系数。 而且所测平面不是绝对平整的，如图5(b)所示。 在这种情况下，Kinect采集的数据如图5(c)所示，观察采集的点就可以发现方向上的误差，理论上这些点应该在一条直线上。 为了确定每一个像素点的误差，需要尽可能真实地获取平面的信息。 (a)理论上的平面(b)实际上测量的平面(c)实际上Kinect集的数据图5理想中的平面和实际中的平面理论上不可能获得所狈0平面的真实数据，因为传感器都会有精度方面的局限性。 但是，可以使用高精度传感器来缩小实测数据与真实数据间差距，从而准确地反映实测平面。 本文用激光雷达的数据来创建实测平面方程。 所选用的激光扫描仪为HIKUYO公司生产的UTM一30LX激光扫描仪，最大测量范围为6O m，角度分辨率为025。 ，距离分辨率达到1mm，弥补了Kinect传感器在深度测量方面的局限性。 对激光雷达原始数据进行高斯滤波可以对噪声进行有效地抑制。 通过激光雷达扫描的点最终通过最小二乘估计来拟合出实、?贝0平面在z面上投影的方程，然后在Y方向拉伸得到平面方程。 那么，经过滤波处理之后的Kinect深度图像上每个像素