【优秀硕士博士论文】数字散斑三维变形测量分析关键技术研究

硕士学位论文数字散斑三维变形测量分析关键技术研究RESEARCHONDIGITALIMAGECORRELATIONMETHODFOR3DSURFACEDEFORMATIONMEASUREMENT学科专业机械制造及其自动化2010年01月论文题目数字散斑三维变形测量分析关键技术研究学科专业机械制造及其自动化摘要数字图像相关方法作为一种非接触式光测力学实验方法，可用于测量物体的表面形貌、位移和应变。该方法所具有的优势，可以弥补一些传统变形测量方法中存在的布线复杂费时、不易得到全场数据以及测量环境要求过高等不足。在深入研究国内外已有变形测量理论的基础上，考虑了实验和实际工程测量需要，本文将立体视觉技术和数字图像相关方法相结合，研究并实现了基于数字图像相关法的三维变形测量和分析的方案。主要研究内容和研究成果如下1设计并实现了基于数字图像相关法的三维变形测量系统的方案，深入研究了方案中涉及的相关理论，包括相关运算、立体匹配、像机标定、三维重建、位移重建、应变计算、精度分析等。2研究并实现了数字像机的高精度自标定。分析了像机的畸变规律，采用10参数的数字像机模型，利用光束平差自标定法实现了像机的高精度标定，与传统的标定方法相比，显著地提高了标定精度。3研究并实现了数字散斑图像的自动化处理。基于改进的数字图像相关方法，本研究得到国家自然科学基金（50975219）、江苏省科技支撑计划项目（BE2008058）支持。提出了散斑特征的自动识别、散斑图像相关匹配以及散斑特征的自动跟踪等方案。实验表明，所提出的方案大大减少了图像处理的时间、图像匹配精度较高，达到002像素。4研究并实现了物体表面点的三维形貌、三维位移以及三维应变的重建。这里我们将散斑相关匹配原理和图像的立体匹配外极线约束理论相结合进行三维重建，不但大大降低了误匹配率，而且提高了三维重建的精度和效率。在WINDOWSXP环境下，利用VC60开发出了基于数字图像相关法的三维变形测量分析系统，并对该系统进行了精度验证，与国外同类产品精度相当。该系统已经成功应用于材料拉伸等力学实验中，取得了较好的效果。关键词数字图像相关方法；双目立体视觉；三维变形场测量；自标定；论文类型应用研究TITLERESEARCHONDIGITALIMAGECORRELATIONMETHODFOR3DSURFACEDEFORMATIONMEASUREMENTSPECIALITYMECHANICALENGINEERINGAPPLICANTHAOHUSUPERVISORVICEPROFLIANGJINABSTRACTDIGITALIMAGECORRELATIONMETHODDIC,ASAPHOTOMECHANICALANDNONCONTACTINGMETHOD,CANBEUSEDTOMEASURETHESHAPES/DISPLACEMENTS/STRAINSDICTAKESMANYADVANTAGESTOMEETTHESHORTFALLOFSOMETRADITIONALDEFORMATIONMEASUREMENTS,SUCHASSLOWEFFICIENCY,STRICTENVIRONMENTALREQUIREMENTSANDINCOMPLETEMEASURINGRESULTS,ANDSOONACCORDINGTOTHEONSITEMEASURINGREQUIREMENTSANDTHEINDEPTHSTUDYINTHETHEORYOFDEFORMATIONMEASUREMENTSTHATGIVEDISPLACEMENTORSTRAINFIELDSATHOMEANDABROAD,THEDIGITALIMAGECORRELATIONMETHODANDSTEREOVISIONTECHNIQUEAREDEEPLYRESEARCHEDINTHISPAPERANDASCHEMEFORDEFORMATIONMEASUREMENTANDANALYSISIN3DBASEDONDIC,ISPROPOSEDANDIMPLEMENTEDTHEMAINCONTENTSANDACHIEVEMENTSARELISTEDASFOLLOWS1ASCHEMEFOR3DSURFACEDEFORMATIONMEASURINGSYSTEMBASEDONDIC,ISDESIGNEDANDIMPLEMENTEDTHEORIESRELATEDTOTHESCHEMEAREEXPLAINEDINDETAILSINCLUDINGCORRELATIONALGRITHEM,STEREOMATCHING,CAMERACALIBRATION,3DRECONSTRUCTION,DISPLACEMENTCALCULATION,STRAINCALCULATION,PRECISIONANALYSIS2THECAMERADISTORTIONMODELISRESEARCHEDANDIMPLEMENTEDTHE10PARAMETERSMODELISUSEDTOCOMPENSATETHEDISTORTIONERRORSOFDIGITALCAMERASELFCALIBRATIONMETHODISUSEDTOCALIBRATEACAMERA,ANDITISINDICATEDBYEXPERIMENTRESULTSTHATTHEMETHODISMUCHBETTERTHANTRADITIONALCALIBRATIONMETHODS3APROCESSINGMETHODFORDIGITALSPECKLEIMAGESISRESEARCHEDANDREALIZEDWITHIMPROVEDDIGITALSPECKLECORRELATIONMETHOD,WEIMPLEMENTEDSPECKLEIMAGEPROCESS,SUCHASAUTOMATICIDENTIFICATION,CORRELATIONMATCHING,ASWELLASAUTOMATICTRACKINGOFSPECKLEFEATURESEXPERIMENTALRESULTSSHOWTHATTHEACCURACYOFTHEIMAGEMATCHINGISUPTO002PIXELANDPROCESSINGTIMEISGREATLYDECREASED43DTOPOGRAPHY/DISPLACEMENT/STRAINRECONSTRUCTIONISREALIZEDCOMBININGTHESPECKLEIMAGECORRELATIONPRINCIPLESWITHTHESTEREOMATCHINGCONSTRAINTTHEORY,WEPROPOSEANDIMPLEMENTTHETHREEDIMENSIONALRECONSTRUCTIONWITHLOWERFALSEMATCHINGRATEANDHIGHACCURACYANDEFFICIENCYAPRACTICALDIGITALIMAGECORRELATIONSYSTEMFOR3DSURFACEDEFORMATIONMEASUREMENTSISTHERESEARCHISFUNDEDBYNATIONALNATURALSCIENCEFOUNDATION50975219DIGITALIMAGECORRELATIONMETHODSURFACEDEFORMATIONMESUREMENTIN3DSELFCALIBRATIONTYPEOFTHESISAPPLIEDRESEARCH目录1绪论111引言112数字图像相关技术1121研究意义1122研究背景2123国内外发展现状213课题来源514研究内容和技术路线5141研究内容5142技术路线615本文的结构72数字散斑三维变形测量系统方案821引言822系统方案流程823双目立体视觉基本原理924图像提取10241采集设备10242图像获取方案1125摄像机标定12251标定的数学模型12252摄像机标定方案1326立体匹配18261立体匹配研究内容18262立体匹配基本原理18263实施方案1827三维重建20271实施方案21272三维重建实验2128位移计算2229系统测量精度的主要影响因素23291系统测量精度的主要影响因素23292散斑图像光照不均匀校正24210本章小结263数字图像相关法2731引言2732数字图像相关方法概述2733相关系数2834相关搜索30341整像素相关搜索31342亚像素相关搜索3235相关区域校正3436位移场数据平滑35361B样条曲线35362样条曲线拟合36363样条曲面拟合36364样条平滑方法的验证3637本章小结374应变场计算3841引言3842应变概念38421应变定义38422变形梯度张量3843二维应变计算40431二维XY应变定义40432坐标系和应变方向的定义41433基于变形梯度张量的主应变和次应变计算42434计算变形梯度张量4344三维应变计算44441应变方向的定义44442平面模型45443样条模型4545本章小结465系统的实现和应用4751引言4752系统硬件设计和实现4753系统软件设计和实现48531软件模块48532系统界面4954数字散斑三维变形测量系统的精度实验50541实验方案50542实验结果分析5155材料的拉伸变形实验51551实验器材及实验系统设计51552测量方案51553实验结果及分析5156本章小结516结论与展望5161结论5162展望51致谢51参考文献51攻读学位期间所参加项目及研究成果51附录系统实验数据51声明CONTENTS1PREFACE111FOREWORD112DIGITALIMAGECORRELATIONTECHNOLOGY1121RESEARCHSIGNIFICANCE1122RESEARCHBACKGROUND2123RECENTDEVELOPMENTATHOMEANDABROAD213SUBJECTSOURCE514RESEARCHCONTENTANDTECHNOLOGYROUTE5141RESEARCHCONTENT5142TECHNOLOGYROUTE615PAPERSTRUCTURE72SCHEMEOF3DDIGITALIMAGEDEFORMATIONMEASURINGSYSTEM821FOREWORD822SYSTEMSCHEMEFLOW823PRINCIPLEOFSTEREOSCOPICVISION924IMAGEACQUISITION10241ACQUISITIONEQUIPMENT10242ACQUISITIONSCHEME1125CAMERACALIBRATION12251MATHEMATICALMODELOFTHECALIBRATION12252CALIBRATIONSCHEME1326STEREOMATCHING18261RESEARCHCONTENTOFSTEREOMATCHING18262PRINCIPLEOFSTEREOMATCHING18263MATCHINGSCHEME18273DRECONSTRUCTION20271RECONSTRUCTIONSCHEME21272RECONSTRUCTIONEXPERIMENT2128DISPLACEMENTRECONSTRUCTION2229MAINFACTORSFORTHESYSTEMACCURACY23291MAINFACTORSFORTHESYSTEMACCURACY23292CORRECTIONFORUNEVENILLUMINATIONIMAGES24210BRIEFSUMMARY263DIGITALIMAGECORRELATIONMETHOD2731FOREWORD2732THEORETICALOVERVIEW2733CORRELATION2834CORRELATIONSEARCH30341SEARCHININTEGERPIXEL31342SEARCHINSUBPIXEL3235CORRECTIONFORCORRELATIONAREA3436DISPLACEMENTDATASMOOTHING35361BSPLINECURVE35362SPLINECURVEFITTING36363SPLINESURFACEFITTING36364EXPERIMENTALVERIFICATION3637BRIEFSUMMARY374CALCULATIONOFTHESTRAIN3841FOREWORD3842CONCEPTOFSTRAIN38421DEFINITIONOFTHESTRAIN38422DERFORMATIONGRADIENTTENSOR3843CALCULATIONOFTHESTRAINVALUESIN2D40431DEFINITIONOFTHEXYSTRAINVALUESIN2D40432DEFINITIONOFTHE2DCOORDINATESYSTEMANDSTRAINDIRECTIONS41433MAJORANDMINORSTRAINDERIVEDFROMTHEDEFORMATIONGRADIENTTENSOR42434CALCULATIONOFTHEDEFORMATIONGRADIENTTENSOR4344CALCULATIONOFTHESTRAINVALUESIN3D44441DEFINITIONOFSTRAINDIRECTIONSIN3D44442THEPLANEMODEL45443THESPLINEMODEL4545BRIEFSUMMARY465SYSTEMIMPLEMENTATIONANDAPPLICATION4751FOREWORD4752HARDWAREDESIGNANDIMPLEMENTATION4753SOFTWAREDESIGNANDIMPLEMENTATION48531SOFTWAREMODULE48532SYSTEMINTERFACE4954ACCURACYEXPERIMENT50541EXPERIMENTALSCHEME50542RESULTSANDANALYSIS5155TENSILEDEFORMATIONEXPERIMENTS51551EXPERIMENTALEQUIPMENTANDDESIGN51552EXPERIMENTALSCHEME52553RESULTSANDANALYSIS5356BRIEFSUMMARY566CONCLUSIONSANDSUGGESTIONS5761CONCLUSIONS5762SUGGESTIONS57ACKNOWLEDGEMENTS58REFERENCES59RESEARCHPROJECTSANDFRUITSINMASTERPERIOD62APPENDIX63DECLARATION1绪论11引言在现代科学研究和生产实际中，除了需要对试件、零件的表面轮廓和几何尺寸等静态特性进行测量外，还需要测量试件、零件在各种载荷作用下表面的变形、位移和动态特性，以用于分析材料的变形特性，找出材料的变形原因和规律，预测材料的变形趋势等。对物体进行变形测量具有两方面1的意义1科学方面的意义了解物体或材料的变形机理，验证已有的假说和理论，通过实测建立有关理论或经验公式。2应用方面的意义掌握被测量对象的安全状况，及时发现问题，预防事故。传统的变形测量方法，包括电阻应变片测量法、传感器测量法以及一些光测方法（包括激光扫描法、全息干涉法等），存在着布线复杂费时、不易得到全场数据、测量环境要求较高等问题。而数字图像相关方法，作为一种测量物体运动和变形信息的新型光测方法，可以弥补这些传统的变形测量方法的不足。因此，对于数字图像相关方法的研究具有重要的实际意义，将是本文的研究重点。本章首先介绍了数字图像相关方法的研究背景、研究意义和国内外研究状况。接着，介绍了本课题的来源。然后，介绍了本文的主要研究内容和技术路线。最后，介绍了本文的结构。12数字图像相关技术121研究意义数字图像相关方法是一种通过比较试件变形前后表面散斑图像的变化，来获得位移和应变场等力学信息的新型光测方法。传统的光测方法，包括光弹贴片法、全息干涉法、电子散斑干涉法、密栅云纹法等，一般都要求使用激光作为光源，光路复杂，测量结果易受外界影响，因而在实际应用时有很大的限制，与这些方法相比，数字图像相关方法光路简单，可用白光作为光源，受环境影响小，测量自动化程度高。另外，数字图像相关方法本质上是一种数字图像分析方法，此类方法的测量分辨率以成像系统的物面分辨率（指数字图像上1个像素代表的实际长度）表征，物面分辨率高则本身测量分辨率高，测量范围直接取决于采集设备的拍摄范围。因此，数字图像相关方法的测量精度和测量范围可以根据需要进行调整。并且随着科技的进步，数字化图像采集设备的分辨率和清晰度会不断提高，从而直接提高了数字图像相关方法的测量精度，使其可应用于更多新的领域。电阻应变片测量方法，作为一种常用的测量应变的方法，具有精度高，测量结果稳定等优点，但是，该方法属于接触测量、对被测试件要求一定的刚度，只能点测量，不易得到全场数据，而且测量范围有限，不能用于测量大变形。而数字图像相关方法作为一种非接触全场测量方法，可从整体上对物体变形规律进行分析，并且可以测量大变形，与电阻应变片测量方法相比，优势明显。总之，对于数字图像相关方法的研究，一方面可以克服一些传统的变形测量方法的不足，另一方面，随着计算机和图像采集技术的发展，该方法还可用于其它新的领域，这将具有重要的理论和实际意义。122研究背景随着图像处理技术、计算机视觉技术以及图像采集设备的发展，数字图像相关方法在变形测量领域得到很好的应用。作为一种非接触式光测力学实验方法2，经过多年的发展，数字图像相关方法在二维变形测量方面的研究和应用已经比较成熟，测量精度较高，国内外都有大量的文献可查。与此同时，CHAO,SUTTON3等人曾将双目立体视觉技术和数字图像相关方法相结合，实现了对曲面的三维位移测量，推动了数字图像相关方法在三维变形测量中的发展，但其中涉及到的摄像机标定等问题没有很好解决。双目立体视觉技术，基本原理是利用两个摄像机记录下空间同一场景的图像，然后寻找这两幅二维图像中对应于同一空间点的像点，再根据标定得到的两摄像机内外参数，计算对应像点相对于空间某一坐标系的三维空间坐标。作为图像处理与计算机视觉领域的前沿研究方向，双目立体视觉技术可在多种条件下灵活获得景物的立体信息，相对于单目视觉而言有着不可比拟的优势。另外，高速图像采集设备的发展为高速、实时测量提供了很好硬件基础，而这方面的研究工作还刚起步，因此，如何利用先进的图像采集设备和双目立体视觉技术，实现基于数字图像相关方法的三维变形测量将是本文的研究重点。123国内外发展现状数字图像相关方法（DIGITALIMAGECORRELATION,DIC），又称为数字散斑相关方法（DIGITALSPECKLECORRELATIONMETHOD,DSCM），最早是在80年代初由日本的YAMAGUCHI4和美国SOUTHCAROLINA大学的WHPETERS和WFRANSON5等人同时提出的。自数字图像相关方法提出以来，国内外许多学者在这一方法上做了大量的研究工作。1983年PETERS首先应用数字图像相关方法进行了刚体位移测量方而的研究6，同年MASUTTO又对相关搜索的方法进行了改进，利用粗相关与细相关相结合的方法提高了计算的速度，但这时的计算结果只有位移分量7。TCCHU和RANSON等对数字图像相关方法的精度进行了研究，完善了这种测试方法的理论8。1988年MASUTTON等人又从理论上分析了亚象素恢复过程所带来的测量误差，提出了亚象素恢复等合理方法9,10。1989年RUSSELL等把数字图像相关方法用在复合材料的应变测试上，测出裂纹的二维应变11。同年，BRUCK等采用基于二元三次样条插值亚象素重构的NEWTONRAPHSON迭代算法求解数字相关问题，使数字图像相关方法有了重大改进，提高了搜索速度和精度，使数字图像相关方法的理论更加完善12。1993年加拿大RYERSON大学的陆华教授从统计学原理出发，对数字图像相关方法的随机误差进行了分析，提出了减少误差的措施13,14。1998年VENDROUX、SMITH等分别对影响相关精度的月种因素及改讲方法讲行了研究15,16。2001年，GORGEFORS提出分级搜索的方法，将要匹配的两幅图像分解成尺寸逐渐减小、分辨率逐渐降低的一系列图像，图像的匹配从分辨率最低的一级开始，然后将结果逐渐回溯，这样提高了计算的速度和方法的使用性17。2003年SYONEYAMA和YMORIMOTO将数字散斑相关方法中所采用的灰度散斑图换作彩色散斑图，提高了位移和应变的精度18。由于，最初的数字图像相关方法只能测量物体表面的面内位移，一些学者结合特殊的设备将其扩展到三维测量。1988年SVIRAMP提出一种投影散斑法，它利用散斑在面内的移动来反映物体在离面方向的运动，从而可以得到物体表面的离面位移19。1990年TCCHU等提出用视差来测量物体的三维位移20。1989年MASUTTON3等人将计算机视觉理论与二维数字图像相关方法相结合，实现了对曲而的三维位移测量，推进了DIC在三维测量中的发展，但是该方法对于摄像机的标定过程相当繁琐，不利于在实际测量中的应用。为此，1996年MASUTTON等21又提出了新的摄像机标定方法，简化了标定过程。近年来，随着计算机硬件和软件技术的飞速发展以及一些更为有效的算法的提出，数字图像相关方法有了进一步的发展，并在实际应用中取得了很好的效果。1989年，AGRAWAL等将DIC应用于木材的力学性质研究22。1995年CHAN利用该技术实现了陶瓷电容器的无损探测23。1997年ZINK等用DIC研究了复合材料的力学性质24。1998年，YJCHAO等人利用这种方法结合高速图像采集设备测试了冲击载荷下裂纹扩展情况25。同年，LUO等人用三维数字图像相关方法测量了圆柱体的形貌和拉伸载荷下的三维变形26。RANDJAMESL等27研究了聚合物薄膜的双轴拉伸力学行为，首先在聚合物薄膜上喷漆作斑点，然后在一定载荷下对聚合物薄膜进行双轴拉伸实验，运用数字图像相关方法分析散斑斑点的运动，并从图像中获得的位移量来确定薄膜的应变，得到了应力一应变曲线，得到材料的弹性模量、屈服应力等各项拉伸性能指标。2001年，CHEVALIER等28利用数字图像相关方法对橡胶材料的单轴和双轴拉伸力学行为进行了研究，建立了一种超弹性模型模拟了橡胶材料的力学行为，得到一个近似的应力一应变关系。2004年，YAMAGUCHI将DIC应用于物体表而粗糙度的测量中29。XINGDAI等利用小波包抑制DSP中的背景噪音，大大提高了测量精度，使得该技术能用来测量多层电容脱层等微观结构30。BWATTRISE等用该技术对压力作用下的薄平铁片的应变进行测量31。HONGJUNDAI等用数字图像时间序列相关方法实现物体的三维形貌测量32；MIKALSJODAHL等利用这种方法来测量纸张的微结构变形33。JINGUANGCHANG等用这种方法对变形场进行了测量34。MASHAOPENG等用遗传算法对数字图像相关法作了改进，减少了相关搜索的时间，提高了相关搜索效率35。TOMASFRIKEBEGEMANN用该方法来实现三维变形场的测量36。CANLINZHOU等用混合（HYBRID）方法对数字图像相关法做了改进以提高相关搜索效率37。数字图像相关方法在国内也有较为广泛的研究和应用。1989年，高建新等38,39首先在我国开始了DIC的研究工作，从理论上对数字相关方法进行了系统分析，提出了相关搜索法并把它应用到刚体位移测量，流场流速测量和电镜照片分析等领域，但当时的实验精度和灵敏度都较低。1993年，刘宝深教授对韧性金属裂纹尖端损伤区内应变场进行了测量，开始用此方法进行细观测量研究，使这一方法在细观测量中得到了满意结果40。1994年丙嘉白、金观昌等对相关搜索方法进行了改进，提出了更一般形式的相关过程及十字搜索方法，大大地节约了计算时间，提高了处理速度，并从方法本身保证了测量的精度41。1995年，高建新等总结了相关搜索方法，并提出了多用途数字图像相关测量系统，并在生物力学研究中开始应用42。1996年，金观昌等将数字图像相关方法成功的应用于火箭发动剂固体燃料43。1998年，姜锦虎等44,45对数字图像相关测量系统抗干扰能力进行了研究。同年杨国彪等人对投影散斑图像相关法在物体三维形状测量中的原理及应用进行了研究46。2001年王志、李鸿琦等提出了最速下降法，并将该方法应用于铝试件的断裂测试47。2002年邢冬梅、李鸿琦等提出了十二变量梯度迭代法，在求解量中考虑了应变梯度的影响，并成功地将这种方法应用于梯度功能材料温度场热应力的测试48。杨楠、修景伟等将DIC应用于各向异性核功能材料的测试49。计宏伟、秦玉文等进一步发展了相关迭代法，提高了应变测量的灵敏度，并将DIC用于电子分装、复合材料以及高聚物的力学行为检测中50。王怀文、亢一澜等数字图像相关方法应用于薄膜材料断裂问题的研究51。2004年，樊雪松、李鸿琦等将DIC应用于正交各向异性材料木材的裂纹尖端应力应变的研究52。代红军等曾提出了时间序列的数字图像相关法减少了测量误差，提高了测量精度53，2005年李善祥等用时间序列动态散斑图像的跟踪测量方法扩大了散斑相关法的应用范围54。马少鹏5557等将该数字图像相关方法运用于岩石的观察测量中并取得了很好的分析结果。上述数字图像相关运算都是在空间域用模板匹配法进行相关运算，利用相关系数来获取物体变形位移信息。当然也有在频域中用傅立叶变换来实现变形测量。最简单的一种是由FJIN58提出的对样本子区和目标子区的复相关进行一次傅立叶变换再反变换来求得相关系数。2000年，山东师范大学的开东平等59在利用空域模板匹配进行相关运算时发现1匹配搜索中模板大小、光学噪声、硬件噪声直接影响相关运算结果，即是说在空间域进行匹配搜索时，无法避免图像噪声对相关波峰的影响。2在空间域匹配搜索中，在最佳匹配位置邻域内选择目标子区并逐渐趋近于最佳匹配位置时，相关性逐渐增大，因此相关峰平滑，给精确定位带来困难。3在空间域进行匹配搜索时，每选定一个样本子区都要在整个位移后的散斑图像中搜索一遍目标子区，搜索重复，运算量大，耗时长。为此，他们提出了了一种利用二维快速傅立叶变换经频率域滤波以实现相关运算的方法，称为频率域数字图像相关方法60,61。周灿林62将该方法与显微放大技术相结合，对铜、钢双材料界面裂纹试件进行研究。在这种方法的基础上，2005年，赵玮等提出用数字散斑联合变换相关法测量微小位移，并进一步提出了用分数傅立叶变换来锐化相关峰，提高测量精度63,64。另外，在固体实验力学观测中最需要测量的往往不是位移而是应变，DIC中应变一般由位移场数值微分得到。由于DIC得到的位移场均含有噪声（测量误差），如果直接计算应变会带来较大的误差。目前已有研究采用小波分析方法来降低位移场降噪信号。此外，采用最小二乘法拟合数据是一种行之有效的降噪方法，但该数据平滑方法不能很好地适应非均匀变形场测量。为了从受噪声污染数据中恢复良好数据，SUTTON等65发展了一种基于有限元和广义交互验证GENERALIZEDCROSSVALIDATION，GCV方法的数据光滑技术，该方法可有效降低位移数据中的噪声，改善位移场的分布规律。孟利波66基于有限元技术提出了光滑参数的求解方法。总上所述，数字数字图像相关方法虽然具有许多优势，会有更加广阔的应用前景，但由于一些原因，在测量速度，位移场平滑质量，特别是三维应变测量精度等方面人不能满足实际工程和现场测量需求，很有必要开展进一步研究。13课题来源本课题直接来源于国家自然科学基金项目“大型飞机风洞试验的三维视频动态变形测量方法和实验研究”（50975219）以及江苏省工业扶持项目“三维光学快速质量检测系统”（BE2008058）。随着科技的进步，在现代科学研究和生产实际中，除了需要对试件、零件的表面轮廓和几何尺寸等静态特性进行测量外，还需要测量试件、零件在各种载荷作用下表面的变形、位移和动态特性，以用于分析材料的变形特性，找出材料的变形原因和规律，预测材料的变形趋势等。而本课题的研究就是针对物体表面的变形测量和分析而提出的，对之进行研究具有重要意义1目前，光学变形测量技术在国外已经得到了深入研究和广泛的应用，反观国内，光学变形测量技术的研究和应用情况不容乐观。2本课题的研究成果可应用于材料的拉伸、剪切、弯曲、撕裂等力学性能实验，实现材料变形过程中表面形状、位移、应变的实时计算和分析。3本课题的研究成果可以弥补当前一些变形测量方法的不足，并且随着计算机视觉技术、数字信号处理技术以及图像采集设备的发展，研究成果可用于新的领域。14研究内容和技术路线141研究内容本文针对光学三维变形测量技术，进行了大量的研究和实验，主要内容如下1数字图像相关方法关键技术研究主要在散斑图像的获取、相关系数的选择、相关搜索方法的改进等方面展开研究。2双目立体视觉技术研究主要利用散斑图像相关方法和项目已有的研究成果，研究并实现精度更高、更稳定的像机标定方法和散斑图像匹配算法。3三维变形测量技术研究将数字图像相关方法、双目立体视觉技术相结合，借助先进的高速图像采集设备，提出基于数字图像相关法的三维变形测量方案。4应变计算方法研究从应变计算的定义出发，研究并实现用于被测物体表面二维、三维应变计算的方法。5研究并实现基于数字图像相关法的三维变形测量分析系统。142技术路线本文首先对光学三维变形测量系统在国内的应用前景进行市场调研。接着，提出了基于数字图像相关法的三维变形测量方案。然后，深入研究了方案中涉及的相关理论，包括散斑特征相关、立体匹配、像机标定、三维重建、位移重建、应变计算和精度分析等。最后在WINDOWSXP环境下，利用VC60开发数字散斑三维变形测量分析系统，并对该系统进行了严格的精度验证。详细的研究技术路线如图11所示。三维变形测量需求分析三维变形测量系统设计方案立体视觉技术研究材料变形测量需求分析数字图像相关法关键技术研究图像获取图像匹配立体匹配三维重建实验验证和结果分析与ARAMIS系统对比系统完善和功能扩展总结与展望特征跟踪形成散斑特征图像采集方案设计表面形貌重建计算位移、应变场计算位移场数据计算应变场数据测量系统软硬件设计方案像机标定求解坐标信息自标定方法研究和实现标定方案设计国家自然科学基金项目图11研究工作的技术路线图15本文的结构论文第一章首先介绍了本课题的研究意义、研究背景和国内外发展现状，接着，介绍了本课题的来源，然后，提出了本文的研究内容和技术路线，最后介绍了本论文的结构。论文第二章阐述了本课题要实现的基于数字图像相关法的三维变形测量分析系统的方案流程，并介绍了方案中主要用到的立体视觉基本原理、立体匹配、像机标定、三维重建、位移重建、应变计算以及精度评价等理论基础。论文第三章详细介绍了数字图像相关方法的技术基础和应用，包括该方法的关键技术以及本文对该方法的改进和应用。论文第四章详细阐述了应变计算的理论，包括二维平面应变计算和表面三维应变计算理论。论文第五章首先介绍了所开发的三维变形测量系统的软硬件实现，然后，对本文所开发的测量系统进行详细的实验验证，实验表明本文所提出的测量方案是可行的，最后，利用所开发系统进行了材料的拉伸等力学性能实验。论文第六章总结了本文的研究内容和研究成果，并提出进一步研究的方向。方程段2部分12数字散斑三维变形测量系统方案21引言本文的最终目的是开发出一套可用于材料力学性能实验和实际工程检测的三维变形测量分析系统。总的方案是基于数字图像相关方法，结合双目立体视觉技术，采用两个高速摄像机实时采集物体各个变形阶段的散斑图像，利用改进的数字散斑相关算法进行物体表面变形点的匹配，重建出匹配点的三维空间坐标，然后进行位移场数据的计算处理和变形信息的可视化分析，从而开发出能用于全场变形量测量的数字散斑三维应变测量分析系统。所开发系统包含两个关键技术立体视觉技术和数字图像相关方法。其中，立体视觉技术又包括两个关键步骤立体匹配和像机标定，而数字图像相关方法我们将在第3章做详细介绍。本章首先提出了数字散斑三维变形测量系统方案。然后，根据这个方案，详细阐述了相关的基本原理和技术基础，包括方案中主要用到的立体视觉、散斑图像相关匹配、双目立体匹配、摄像机标定、三维重建以及位移计算等技术的基本原理和实施方案。最后，分析了影响系统测量的主要因素。22系统方案流程图21是本文设计采用的数字散斑三维变形测量系统方案流程图。首先，要对系统进行标定，以得到组成系统的两个摄像机的相对方位以及每个像机的内部参数，为散斑图像处理和三维重建做准备。其次，对获取的图像，根据测量要求，手工标记图像上感兴趣的区域作为计算区域，也即确定变形计算和分析的初始状态。接着，根据数字图像相关方法，引入立体视觉理论，结合摄像机标定的结果进行图像相关匹配运算，包括同一变形状态两像机所同时采集的图像间的匹配运算以及同一像机在不同变形状态所采集的图像间的匹配运算。然后，利用同一变形状态两像机所同时采集的图像间的匹配计算结果，结合像机标定结果，重建出所标记的散斑特征区域的三维坐标；同时，利用同一像机在不同变形状态所采集的图像间的匹配运算结果跟踪散斑特征区域，使不同状态的匹配运算结果关联起来，以用于变形量的计算。最后，根据三维重建的结果进行位移、应变场的计算和分析。下面将详细阐述系统方案流程中所涉及的几个步骤的技术原理和实施方案，其中应变计算将在第4章详细介绍。获取图像标记计算区域同一状态两像机所采集图像匹配结果散斑图像匹配不同状态同一像机采集图像匹配结果摄像机标定散斑特征跟踪三维重建位移计算应变计算结果输出图21系统方案流程图23双目立体视觉基本原理双目立体视觉理论建立在对人类视觉系统研究的基础上，通过双目立体图像的处理，获取场景的三维信息。基本原理是利用两个摄像机记录下空间同一场景的图像，然后寻找这两幅二维图像中的对应点，如果已知两个摄像机之间的位置关系，就可以确定两摄像机公共视场内物体的三维尺寸及物体空间特征点的三维坐标67。如图22所示，P1，P2分别为空间一点P在两摄像机像平面上的成像。如果已知摄像机1、2之间的位置关系，那么也就建立了一个基于摄像机模型的空间世界坐标系XYZ和两个摄像机坐标系，这样，就可以根据点P1、P2可以确定P点在世界坐标系的坐标。图22双目立体视觉原理图双目立体视觉技术的实现可分为图像获取、像机标定、立体匹配、三维重建等步骤。其中，标定和匹配是立体视觉测量两个关键性的步骤。标定就是求解摄像机的内外参数的过程，而匹配就是在两个摄像机采集的图像中寻找对应点。下面将依次介绍各个步骤的技术基础和具体实施方案。24图像提取计算机视觉是由摄像机、图像采集卡和计算机三部分构成的。图像输入、数字化和预处理工作由摄像机和图像采集卡完成，一般地，摄像机能将所感受的光信号转换为相应的电信号，将这种电信号送到荧光屏上，便可以呈现摄入的图像，这种图像称为视频图像。当摄像机作为计算机的“眼睛”，要把摄入的图像送入计算机进行处理时，首先要解决的问题是如何将视频图像变为计算机能够处理的数字图像。这一过程是由图像采集卡完成的。241采集设备目前工业上普遍采用的图像采集传感器是CCD（电荷耦合器件）固态图像传感器，其优点是自扫描、高分辨率、易于与计算机连接等。固体图像传感器最早出现于20世纪70年代初，它是通过将光信号转换成电信号形成晕影像，而不是在传统的感光乳剂上发生化学变化或者电子撞击现实屏幕来成像。到了80年代，固体图像传感器已超过电子摄像管摄像机，在各行业尤其是广播电视系统广泛应用。固体图像传感器根据光敏元件可分为电荷耦合器件CCD、电荷注入器件CID和互补金属氧化物半导体CMOS等。其中，CCD传感器凭借其低价、低噪声、高动态性和杰出的可靠性等优势在市场上占统治地位。CCD图像传感器有线阵结构和面阵结构两类，其中以面阵CCD在数字近景摄影测量中使用最为广泛。CCD图像传感器与摄影镜头以及相关电子电路等附件组合就构成数字像机DIGITALCAMERA68。其典型结构如图23所示。图23数字像机的结构本课题研究采用的相机是MVVS120FM数字像机，如图24所示，其主要参数为分辨率1280960PIXEL；CCD尺寸6448MM。采用的采集卡为微视PCIE1394图像采集卡。图24MVVS120FM数字像机242图像获取方案根据立体视觉原理，要实现物体表面的三维重建，首先要对像机采集的同一场景的两幅图像进行处理。另外，根据数字图像相关方法原理，本文所要开发的基于数字图像相关法的变形测量系统，需要对被测物表面进行处理，以形成随机特征，即所谓的散斑，那么像机采集的图像即散斑图像。散斑图像是指一类含随机斑点分布结构的图像，散斑就是指图像中的随机斑点结构。散斑可以由激光照在漫反射表面干涉产生，称为激光散斑；也可由特殊涂料（如玻璃微珠漆或喷漆等）喷涂在试件表面形成，称为人工散斑；某些材料表面的花纹（如花岗岩等）也能直接构成散斑，称为天然散斑。此外，为了验证和评价数字散斑相关算法的性能，利用计算机数值模拟的方法生成模拟散斑图，这种方法不但可以精确控制散斑图的位移、应变信息和散斑的特征，而且能够排除实际实验图片可能受到的各种噪声的干扰。这四种不同类型的散斑图像（散斑场）如图25所示。本课题我们将重点对喷漆制作的人工散斑以及模拟散斑进行研究和实验。A激光散斑B人工散斑C天然散斑D模拟散斑图25三种不同的散斑25摄像机标定251标定的数学模型计算机立体视觉系统之所以能够从摄像机获取的图像信息出发，计算三维环境中物体的位置、形状等几何信息，是因为三维空间每一点在图像上的位置与空间物体表面相应点的几何位置有关。而这些位置相互关系是由摄像机成像几何模型决定的，该几何模型的参数称为摄像机参数，分为内参数和外参数，这些参数必须由实验与计算来确定，实验与计算的过程即为摄像机的标定。而摄像机标定的精确，直接影响了双目立体视觉测量的精度，进而影响本文所要实现系统的精度69。OFXYS投影中心PX,Y像点PX,Y,Z物方点ZCXCYC相机坐标系像平面物方坐标系OZYX图26针孔成像模型理想的数字摄像机的几何成像关系是针孔成像模型，如图26所示，物方点、镜头中心和像点三点是共线的。但在实际中由于各种因素的干扰，使得像点在像平面上相对其理论位置存在一定的偏差，如图27所示。引起偏差的因素主要有摄像机镜头的径向畸变、偏心畸变、像平面不平畸变以及像平面内比例和正交畸变。XYX0Y0XY实际像点理论像点主点镜头中心物点图27实际成像模型实际上，由于像平面不平畸变以及像平面内比例和正交畸变一般很小，可以忽略，因此，标定时可以只考虑摄像机镜头的径向畸变和偏心畸变引起的偏差，标定要计算的参数包括,（其中，为摄像机编号，为0IUVIIFRT112KPI0,IUV图像坐标系原点在像素坐标系中的像素坐标，镜头焦距长度，旋转矩阵，IFIR平移向量，径向畸变误差系数，偏心畸变误差系数）。摄像机的IT12,K12,内、外参数矩阵表示为，00/0/11XYFDXUAUAFYVV，12233ABCR。SSTXYZ252摄像机标定方案本文摄像机标定的具体实施方案是借助于标定板或标定十字架等标定工具，首先利用摄像机采集标定工具图像，然后，对采集的图像进行处理，并根据设计的标定算法求解摄像机的所有内外参数。标定工具如图28所示，其中，标定板上粘贴有环形的编码标志点和圆形的非编码标志点，标定板上所有的标志点坐标均为未知，只有斜对角线两对编码标志点的距离为已知。A标定板B标定十字架图28标定工具让两个摄像机分别从8个不同方位对标定板进行拍摄（如图29），共获得8幅图像，通过图像检测算法得到标志点的图标坐标和编码标志点的编号之后，基于10参数模型，利用自标定算法，对摄像机进行标定计算，标定算法流程如图210所示。图29标定采集的8个方位图像检测标志点所有图像定向完毕图像点坐标获取图像结果输出三维重建编码点三维坐标初始值基于共面方程的相对定向利用控制点进行单幅图像的定向外方位元素外方位元素光束法平差定向未定向图像整体光束平差加入比例尺和温度补偿图210标定算法流程图标定算法的主要计算步骤为1）计算图像点坐标空间任一点经摄像机拍摄后成像在像平面上。像素坐标为（单位像素），,UV图像坐标为（单位MM），为图像坐标系原点在像素坐标系中的像素坐标，,XY0,UV为CCD每毫米像素数，由CCD厂家提供。,D0XDUYVMERGEFORMAT212）确定初始值根据立体视觉原理，标定工具上标志点的图像坐标和它对应的空间坐标的转换关系用齐次方程表示为（其中，M为摄像机投影矩阵，为控制点空间坐标）,XYZ0121342311FUXXDXUAARTYYZVVMYZMERGEFORMAT22对于某一控制点，令，由式22可得关于线性方程,IIXY34A,IJA131213142322IIIIIIIAUUZUVVVVMERGEFORMAT23式23中，除了外共有11个独立的未知量。1个控制点可以列出2个独立方4程，则至少需要6个标志点才能解算出一幅图像的投影矩阵，实际中，标定工具上有10个以上的控制点，方程个数大于未知数的个数，因此，利用最小二乘法求解，可以得到除外投影矩阵M的其它元素。34A摄像机投影矩阵M矩阵与摄像机内外参数的关系为114023423TTSXYSTRXMAUVMERGEFORMAT24其中，是求得的M矩阵的第I行的前三个元素组成的行向量，1,3TI为M矩阵第I行的第四列元素，为旋转矩阵的第I行向量，,4,IM1,23TIR为平移向量的三个分量。SSXYZ由式24可得，1410303422TTXXZYYZARUATVVMTMERGEFORMAT25比较等式两边可得，由于是单位正交向量，所以，则34MR3341M。求出了，就可以求解摄像机投影矩阵的元素，至此，就求得了投3431M34M34A影矩阵的所有元素。求得M矩阵后，根据下式求解摄像机内外参数3432010413234132343410213410322/TTXTXYZXZXYYTTXYRUAUVMTTUTAMVRRAVMERGEFORMAT263）利用光束平差法进行标定根据立体视觉像点、投影中心和目标物点三点的共线特性，有下面求解的基本方程共线方程。由于摄像机一般存在畸变，引入畸变的共线方程为11103332220333SSSSSSAXBYCZXFYFMERGEFORMAT27其中，42201210010XKRPRXPXYYYMERGEFORMAT28式中，；称为径向畸变误差，称为偏心畸变误200RXY12,K12,差。用泰勒级数将引入畸变的共线方程线性化，得，001212XSSXYSS