机器视觉三维测量技术学习教案

1、会计学1机器视觉机器视觉(shju)三维测量技术三维测量技术第一页，共64页。第1页/共63页第二页，共64页。测量测量(cling) 检测检测(jin c)识别识别 引导引导光源传感器光学镜组传感单元信号处理单元控制单元 采用光学成像技术（通常使用摄像机）获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行产品检验、分类与分组，装配线上的机械手运动引导、零部件的识别与定位，生产过程中质量监控与过程控制反馈等等任务。第2页/共63页第三页，共64页。第3页/共63页第四页，共64页。照明(zhomng)光源(g

2、ungyun) 图像传感器成像内部三维表面表面轮廓表面轮廓粗糙度粗糙度缺陷缺陷纹理纹理内部结构内部结构应力应力变形变形缺陷缺陷被测场景方位方位三维形貌三维形貌尺寸尺寸坐标坐标第4页/共63页第五页，共64页。型第5页/共63页第六页，共64页。xyzxyz不变量不变量(binling): Distance and angle不变量不变量(binling): Cross ratiobacdbdadbcacd , c;b ,aR第6页/共63页第七页，共64页。fzYyXx101000000001zyxffYXzyxffzYX00001zyfYzxfX第7页/共63页第八页，共64页。xyz110

3、001333231232221131211wwwzyxzyxtrrrtrrrtrrrzyxwxwywzzyxwwwtttzyxrrrrrrrrrzyx333231232221131211第8页/共63页第九页，共64页。像平面(pngmin)物体(wt)透镜fImage planeobjectlens第9页/共63页第十页，共64页。Image planeobjectlensfzYyXxxyXYzImage planeFocus planefz , y, x第10页/共63页第十一页，共64页。fzYyXxfzYyXxxyXYzImage planefY,Xz ,y,xxXYzImage pl

4、aneFocus planefz ,y, xy101000000001zyxffYX第11页/共63页第十二页，共64页。110000)(10101YXvdudsvuyxxxyXYzImage planefY,Xz ,y,xuvO00,vuv ,uComputer framexdyd)( )(00uudYuudsXyxx第12页/共63页第十三页，共64页。1010000000010000)(10101zyxffvdudsvuyxxxyXYzImage planefY,Xz ,y,xuvO00,vuv ,uComputer frame第13页/共63页第十四页，共64页。xyXYzImage

5、planefY,Xz ,y,xuvO00,vuv ,uComputer framewywxwz110001333231232221131211wwwzyxzyxtrrrtrrrtrrrzyx11000010000000010000)(13332312322211312110101wwwzyxyxxzyxtrrrtrrrtrrrffvdudsvu第14页/共63页第十五页，共64页。110000)(13332312322211312110101wwwzyxyxxzyxtrrrtrrrtrrrvfdufdsvuMtRAm| 未知参数(cnsh)：00,vusddfxyx(1) Intrinsic

6、parameters:(2) Extrinsic parameters333231232221131211r ,r ,r ,r ,r ,r ,r ,r ,rOrientation: Translation:zyxt ,t ,t69, independent 33第15页/共63页第十六页，共64页。xyXYzImage planefddY,Xz,y,x(1)Radial distortion(2)Tangential distortion(3)Decentering distortion(4)Thin prism distortion第16页/共63页第十七页，共64页。5231rkrkr22

7、ddYXrsinrYcosrXdd 22222212222221ddddddyrddddddxrYXYkYXYkYXXkYXXk第17页/共63页第十八页，共64页。0012011cossinjpjp偏心(pinxn)畸变既含有径向畸变又有切向畸变04221042213cosrjrjsinrjrjtdrdtdrdydxdcossinsincos最大切向畸变(jbin)与 x 轴的夹角, 设在直角坐标系下22212221223ddddydddddxdYXpYXpYXpYXp第18页/共63页第十九页，共64页。1422114221cosririsinriritprp11211cosissinis

8、薄棱镜畸变是由镜头与摄像机面有小的倾角(qngjio)造成的1最大切向畸变(jbin)与 x 轴的夹角, 设221221ddypddxpYXsYXs第19页/共63页第二十页，共64页。ypydyrdxpxdxrdYYXX,s ,p,p,k ,k ,Y ,XYY,s ,p,p,k ,k ,Y ,XXXddydddxd121211212111ydxdYYXX11)()(2)1 ()(2)3 ()1 (2222221422122122214221dddddddyddddddddxdYXsYXpYXprkrkYYXsYXpYXprkrkX若考虑(kol)分项的前两项化简第20页/共63页第二十一页，

9、共64页。101000000001)1 ()1 (zyxffYXydxd1010000)1/(0000)1/(1zyxffYXyxdd1001/001/)(A0101vfdufdsyyxxx,1212100sppkkvusddfxyx Intrinsic parameters7第21页/共63页第二十二页，共64页。计算机屏幕uvO00,vuv ,uwywxwzm11001/001/)(13332312322211312110101wwwzyxyyxxxzyxtrrrtrrrtrrrvfdufdsvuxyXYzImage planefddY,Xz,y,x第22页/共63页第二十三页，共64页。

10、)1 ()1 ()()(98765498732100ydzwwwywwwxdzwwwxwwwydxxdYtzryrxrtzryrxrfXtzryrxrtzryrxrfvvdYuudsX计算机屏幕uvO00,vuv ,uwywxwzmdydddxXprkXYXprk12121212/3一般情况(qngkung)下，取径向与切向畸变的的第一项就可以达到满意的效果xyXYzImage planefddY,Xz,y,x第23页/共63页第二十四页，共64页。1000A00vfusfvuMtRAm| 1vum1wwwzyxM333231232221131211rrrrrrrrrRzyxttttxyXYz

11、像平面(pngmin)fY,Xz ,y,x计算机屏幕uvO00,vuv ,uwywxwzMm第24页/共63页第二十五页，共64页。第25页/共63页第二十六页，共64页。激光器镜头CCD 镜头xCCD 激光器镜头镜头第26页/共63页第二十七页，共64页。zwxwywTyTxTzxw0yw0 xsyszsosPointOXYOzxyLaserImage planeOrigin Sensor coordinate system (SCS)Global Coordinate system (GCS)Camera coordinate system (CCS)第27页/共63页第二十八页，共64页

12、。Image planesssz ,y,xPscyyscxxscooY ,XPXYfMeasured plane(CCS)SCSsczz第28页/共63页第二十九页，共64页。syszsxcocxcyXYZpqPQOCCSSCSLaser第29页/共63页第三十页，共64页。Laser Light planepPXYcxcyImage planesxsyszCCSSCScz第30页/共63页第三十一页，共64页。The k-th light stripe planeImage planeProjector patternkxzyxzywFvuCFoknkF3第31页/共63页第三十二页，共64

13、页。XYcxcyImage planesyszCCSSCScz00110010011001sxProjector第32页/共63页第三十三页，共64页。cXcYcxcyspyypXpYczspxxprojectorcameraCCSSCSobjectspzz第33页/共63页第三十四页，共64页。syy11X2Ysxx1lamp2X2Y2x2y1zcamera 2CCS 2(CCS1) SCSobjectcamera 12z第34页/共63页第三十五页，共64页。syy11X2Ysxx1projector2X2Y2x2yszz1camera 2CCS 2(CCS 1) SCSobjectcam

14、era 12z第35页/共63页第三十六页，共64页。第36页/共63页第三十七页，共64页。图像图像(t xin)采集卡采集卡计算机计算机多路视频切换多路视频切换(qi hun)开关开关CAN 接口卡接口卡CAN 网络控制总线网络控制总线传感器控制单元传感器控制单元传感器传感器视频信号数据总线视频信号数据总线 第37页/共63页第三十八页，共64页。传感器控制传感器控制(kngzh)单元单元传感器传感器计算机计算机接口卡接口卡数据数据(shj)与控制总线与控制总线 第38页/共63页第三十九页，共64页。PC控制器运动驱动机构可编程光源可编程光源多PC并行处理器HUB生产与管理系统主机办公电

15、脑远端大型资料库视觉系统主控计算机PC三轴控制器摄像机第39页/共63页第四十页，共64页。第40页/共63页第四十一页，共64页。总线(zn xin)接口PC多路视频(shpn)切换器视觉传感器1视觉传感器N视觉传感器2控制总线视频图像图像采集处理平台数据总线第41页/共63页第四十二页，共64页。计算机总线(zn xin)接口视觉(shju)传感器 1总线总线视觉传感器 2视觉传感器 N 传感器控制、图像采集与并行处理模块 传感器控制、图像采集与并行处理模块 传感器控制、图像采集与并行处理模块第42页/共63页第四十三页，共64页。第43页/共63页第四十四页，共64页。第44页/共63页

16、第四十五页，共64页。标定(bio dn)靶标的控制点类型几何中心与投影(tuyng)中心的偏移第45页/共63页第四十六页，共64页。11343332312423222114131211wiwiwiiiizyxaaaaaaaaaaaavuw2 从上式中解出DLT矩阵(j zhn)参数3411aa0La nnwnnwnnwnwnwnwnnnwnnwnnwnwnwnwniiwiiwiiwiwiwiwiiiwiiwiiwiwiwiwiwwwwwwwwwwwwvvzvyvxzyxuuzuyuxzyxvvzvyvxzyxuuzuyuxzyxvvzvyvxzyxuuzuyuxzyxLaaaaaaaaa1

17、000000001100000000110000000010,11111111111111111111333231232221131211a第46页/共63页第四十七页，共64页。在最小二乘意义下可求出参数 ，为了避免解很小的 ，必须使用合适的正则化方法，一种方法是令 然后用伪逆法求解，但当 ， 这种正则化可能产生奇异性，为了克服这个缺点，可以令3411aa3411aa034a134a1234232231aaa3 矩阵(j zhn)参数分解：RQ 方法FMTBVA11100100100vuV10001011221bbbbB1000000ffF矩阵M和T分别表示靶标世界坐标系相对于摄像机坐标系的

18、旋转矢量(shling)与平移矢量(shling)（b1 b2) 为仿射失真系数第47页/共63页第四十八页，共64页。径向准直约束：1）径向畸变不影响矢量 的方向2）有效焦距不影响矢量 的方向3）光轴沿Z轴平移不影响矢量 的方向uOPuOPuOP该方法第一步采用(ciyng)最小二乘方法求解超定方程组求出外部参数，第二步求解内部参数 , 91rrxyx, s ,tt1k , f , z第48页/共63页第四十九页，共64页。0PPOP0d0yxYXddyxYXddywwwxwwwtzryrxrytzryrxrx654321)()(00vvdYYuudXsXyddxdxddndidyyyyxx

19、yxyxyxdnwndnwndnwndndnwndnwndnwndiwidiwidiwididiwidiwidwidwdwdwddwdwdwXXXtrtrtrttstrstrstrsYzYyYxYYzYyYxYzYyYxYYzYyYxYzYyYxYYzYyYx165432111111111111111/, 91rrxyx, s ,tt（1）（2）yddwdwdwxddwdwdwTXrYzrYyrYxtYrYzrYyrYx654321（3）令把（2）代入（1）第49页/共63页第五十页，共64页。Laser Light planepPXYcxcyImage planesxsyszCCSSCScz

20、uizwwwywwwuizwwwxwwwydxxdYtzryrxrtzryrxrfXtzryrxrtzryrxrfuudYuudsX98765498732100)()()1 ()1 ()()(00yduixduiiydixxdiYYXXvvdYuudsX000111986532976431875421292623282522272421rrrrrrrrrrrrrrrrrrrrrrrrrrr第50页/共63页第五十一页，共64页。第51页/共63页第五十二页，共64页。TargetTCSTheodolitesGCSMeasured object S CSVisual sensor第52页/共63页第五十三页，共64页。TargetTCSLaser TrackerGCSMeasured object S CSVisual sensor第53页/共63页第五十四页，共64页。abRulerTCSABSensor 2Sensor 1Sensor 4Sensor 3Sensor 6Sensor 5SCS (WCS)targetlight planeGCS第54页/共63页第五十五页，共64页。sgssggTPRP987654321rrrrrrrrrsgR321tttsgTSCSGCSPtheodolitestargetgPsPsgsgsgTRH PSCSC