西南科技大学

第四届全国光电设计大赛理论方案报告参赛题目：复杂表面物体体积的非接触光学测量参赛队伍名称：西科理程所在学院：理学院队长姓名：王欣提交方案时间：2014年3月29号参赛题目：复杂表面物体体积的非接触光学测量研究内容对于本题，本队采用的事基于双目视觉的三维重建来实现对橡皮泥的非接触测量，主要研究的内容如下：1、CCD工业摄像头的标定；2、立体匹配；3、三维重建及后续数据处理；研究方案1、工作分配：王欣负责各部分算法的研究和全局的统配；汪晓聪负责各硬件的组配和对摄像头的处理；刘欢负责工作报告的撰写和器材的管理。2、基本路线的确定：双目视觉三维重建的工作原理-摄像头的选定-最优算法的选取—搭建系统平台—进行实物测试。

技术路线及可行性分析（一）、技术路线图1.系统流程图一个完整的双目视觉系统要测得物体的体积主要包含以下几个关键步骤和其算法：1、摄像机的标定（通过实验和计算来确定）：本项目采用张正友提出的张氏平面标定法。张氏平面定标法主要步骤简述如下：（1） 打印一张黑白棋盘模板贴在一个平面上作为参照物；（2）移动摄像机或者参照平面的位置，从不同的角度（三3个）对模板进行拍摄；（3） 检测所拍图像中的特征点；（4） 求解每幅图像的单应矩阵H；（5） 设镜头的畸变系数为0，计算摄像机的内参数；（6）利用反投影法求精优化。已知摄像机几何模型的基本公式为sp二K[Rt]P，设r为矩阵R的每wi一列，并假设参考模板位于世界坐标系中Z=0平面上，则对于平面上每一点有：—X—r~ -1uv二krrr1|Y二k#rt-lX1Y123012111在通过变换，计算即可以获得摄像机的内参数矩阵K。2、基础矩阵估计：本项目采用鲁棒性算法估计基础矩阵具有良好的性能，同时从两个方面对鲁棒的M-Estimators估计方法进行了改进。（1）一是对矩阵初值的设置进行了改进：首先对原始的匹配点集进行规范化处理，处理方法采用Hartley改进8点法中的规范化方法；然后计算两匹配点偏离各自对应极线的距离，用其平方和di（i=1,,s,s为匹配点对的个数）作为度量误差的标准。d的计算i公式如下：TOC\o"1-5"\h\zd=工( PT±i )2+( P!±i )2'i&Fp)2+(Fp)2 (Ftp')2+(Ftp')2i1 i2 i1 i2将d按从小到大排序，计算最小值到中值之间所有值的均值N,取所ii有均值中最小值N所对应的基础矩阵F,即为本算法中的初始基min min础矩阵。引入最大似然估计构造代价函数，使用基于FNS的估计方法获得F。在保证基础矩阵估计精度的基础上，节省了计算时间。M-Estimator估计法中，将代价函数定义为式，这里，我们用最大似然估计来构造代价函数：J(f;xAML1i=1将FNS算法步骤总结如下：设定基础矩阵向量初值f=f；假设f已知，由式lxf] =0计算得出X；k_1 ff=fAML fk-1计算X的特征空间，将最接近0的特征值所对应的特征向fk-1量作为f；如果f与f足够接近，则算法终止，f即为所求，若相差较k k-1 k大，则返回步骤(2)。3、立体匹配：视觉系统通过匹配在图像对中确定空间同一景物点在不同成像平面上像点的对应关系，只有确定了这个关系，才能进行各种视觉研究的课题，因此立体匹配在计算机视觉中占有至关重要的位置。这也是张正友基于极线约束点匹配方法的基本思想，将其主要算法步骤总结如下：(1)提取图像特征，建立初始匹配。特征提取，使用角点检测(一类是基于边缘提取之后的角点检测，一类是直接基于灰度的角点检测)。(2)松弛法去除模糊匹配和误匹配；估计基础矩阵F,恢复极线几何；(4)由极线约束和灰度相似性优化匹配。4、三维点重建：三维重建是通过由不同角度拍摄的两幅或多幅图像恢复物体空间坐标的方法。在找到匹配点对并已知摄像机内参数的情况下,采用SFM算法进行离散点的重建,主要算法步骤如下：(1)由基础矩阵F进一步求解本质矩阵；(2)计算摄像机运动参数(外参数)(R|t)的候选值；(3)判断(R|t)的符号,并从多组候选值中确定唯一的正确值；(4)得到投影矩阵,计算匹配点的空间三维坐标。(二)可行性分析以上思路是可行的,原因有以下几点：1、 系统制作之前,本队会进行相关资料的收集。并且认真学习MATLAB与OpenGL这两款软件,在编程过程中力求实验处理贴近所想,实现编程的简洁、清晰、高效、易懂以及时间复杂度空间复杂度的降低。2、 该设计过程遵守由简到难的过程，在编程过程中，由于处理物体简单，必将使程序简单有利于二维向三维整体过程的步骤的搭建，减少变成难度，并且也具体处理了一些关键性问题，还是只得到验证，有利益将来进行程序的调节。3、该设计过程时时总结，分析出错原因，不会导致错误的积累。并且设计过程呈现阶梯式，为整个实验的完成奠定良好的基础。4、本队三位成员本身就具有良好的工程实践基础，再加上指导老师的指导要完成本系统是可行的。参考文献：⑴邹凤娇.摄像机标定及相关技术研究[D].成都:四川大学.2005.[2]陈西.摄像机标定与三维重建研究[D].北京:北京化工大学.2007.⑶章毓晋.图像理解[M].北京:清华大学出版社，2007.白明，庄严，王伟.双目立体匹配算法的研究与进展J].控制与决策，2008,23(7):722-723.四、拟解决的关键问题1、双目立体视觉平台的构建立体视觉三维重建的基本原理是从两个视点观察同一景物，以获取在不同视角下的图像，通过三角测量原理计算图像像素间的位置偏差（即视差）来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。最简单的双目视觉模型是理想的平行放置的双目视觉模型。两台摄像机完全相同，按光轴互相平行，X轴互相重合、沿x轴相距b的位置放置。摄像机光轴平行于z轴，图像平面与xy平面平行，如图2所示。平行双目立体视觉获取三维信息采用的是视差测空间直线和空间曲线也是组成空间图形的主要基元。根据空间直线射影变换前后仍是直线的性质，以此来分析空间直线与图像中的直线之间的关系。空间直线在CCD上的成像可以这样认为，空间直线与摄像机光心构成的平面与成像平面的交线，两台摄像机有两个这样的平面，这两个平面的交线就是空间直线。空间二次曲线是空间二次曲面与平面的交线，因此二次曲线的平面曲线，在CCD上的成像可以认为是由空间二次曲线与光心组成的锥面与成像平面的交线。两台摄像机有两个这样的锥面，求这两个空间锥面的交线，就是空间曲线。通过上述算法恢复物体三维坐标后，得到的是一些散乱点，不能直观的显示出来，因此我们借用OpenGL来实现这些散乱数据的三维显示。3、基于OpenGL对三维重建的实现.根据基本图形单元建立景物模型，并且对所建立的模型进行数学描述。.把景物模型放在三维空间中的合适的位置，并且设置视点。•计算模型中所有物体的色彩，其中的色彩根据应用要求来确定，同时确定光照条件、纹理粘贴方式等。把景物模型的数学描述及其色彩信息转换至计算机屏幕上的象素，这个过程也就是光栅化。在这些步骤的执行过程中，OpenGL可能执行其他的一些操作，例如自动消隐处理等,另外，景物光栅化之后被送入帧缓冲器之前还可以根据需要对像素数据进行操作。四.特色与创新点1、采用一种介于传统定标和自定标方法之间的一种定标方法进行摄像机标定。传统的定标技术需要在摄像机前放置特定的标定物，并提供一组已知坐标的特征基元，用摄像机拍摄标定物上的特征基元，然后运用射影几何的理论进行定标。本次大赛采用的方法是从不同角度拍摄几幅模板的图，通过每幅图像的单应性矩阵计算出摄像机内参数，并利用反投影法优化求精。2、采用准稠密匹配方法，对于图像有良好的匹配效果。基于特征的匹配方法主要是提取特征点、特征线、特征边缘等，这些信息往往比较稀疏，不够致密，并且局部化非常严重，以至于达不到三维重建的精度要求，也就很难重建出符合现实的三维模型；基于区域的匹配方法可以获得大量的、丰富的信息，但随之带来的是计算量大，计算效率低，并且很容易产生错误匹配；基于相位的匹配方法主要是根据傅里叶变换计算出图像序列点之间的对应关系，这种匹配方法的精度一般可以达到亚像素级，但是该方法非常复杂，计算量大，也会产生很多错误匹配，并且只能得到物体的粗糙结构，在一些不定的傅里叶相位区域还需要进行其他特殊处理。稠密匹配只适用于短基线图像且相机平面平行的情况，在纹理稀疏的区域匹配会停止增长，在纹理丰富区域可以得到大量的稠密匹配，但是仍存在很多错误匹配，并且稠密匹配对时间和内存的要求相对也比较高。准稠密匹配方法以初始的稀疏匹配点作为种子，并在它们周围扩散出更多的匹配点，最终得到分布均匀，数量足够多的匹配。从匹配数量上来讲，可以满足后续应用的要求，又不至于陷入稠密匹配方法的困境之中。在能够较准确描述三维场景的同时仍可以保持较高的计算效率，且具有较好的稳定性。时间进度安排2014年3月15日—2014年3月30日：完成初步方案；2014年4月：再详细对赛题进行分析，进一步巩固相关知识并优化方案；2014年5月：结合整体方案进行硬件制作和软件调试；2014年6月—7月：对参赛作品进行各个环境下的测试并调试到最优和作出预备方案。经费预算1、 两个CCD摄像头，每个350元，总计700元。2、 系统支架结构600元。3、 线缆、传感器等耗材200元总计：1500元。参赛队伍简介本参赛队由三名12级在校本科生组成，分别来自西南科技大学理学院和信息工程学院。在作品制作中，团队成员凭借良好的技术基础和默契的合作能力克服种种困难。相信通过此次比赛能更好的锻炼我们的合作能力，同时也能让我们为自己的大学生活增添浓墨重彩的一页。下面分别对本组成员进行介绍：王欣，男，现就读于西南科技大学信息工程学院电气1202班，目前在学校光电协会担任学生干部，也在“电子设计大赛”创新实践班进行学习，有较好的工程实践经验。在平时学习生活中也是做事积极、学习较努力，在硬件设计中比较感兴趣并且在上学期学校举行的光电设计大赛中取得第二名。汪晓聪，男，就读于西南科技大学理学院光电信息科学与工程专业2012级卓越工程师班。曾担任班长一职、获得“体育特长奖”和“理学院三好学生”称号，有很强的责任心和团队意识。积极学习专业知识，成绩在专业前列。目前，积极跟着导师学习光电方面的知识，并进入温才老师实验室学习。对光电知识十分感