机器视觉三维测量技术课件.ppt

合肥工业大学仪器科学与光电工程学院光机电工程研究所,卢荣胜,Tel2905872Email:rslu,机器视觉三维测量技术3DMachineVisionMeasurementTechniques,大纲,机器视觉的概念摄像机模型三维视觉传感器的类型多视觉传感器测量系统的组成摄像机与视觉传感器的标定测量系统的全局标定应用举例,机器视觉技术的概念,测量,检测,识别,引导,光源,传感器,光学镜组,传感单元,信号处理单元,控制单元,采用光学成像技术（通常使用摄像机）获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行产品检验、分类与分组，装配线上的机械手运动引导、零部件的识别与定位，生产过程中质量监控与过程控制反馈等等任务。,应用领域举例,IC及一般电子业：PCB、BGA、LCD屏幕、被动组件形状脚位及定位、生产插件、晶元(Wafer)镜面研磨、生产组装、被动组件辨识MEMS组件：微小器件的尺寸、形貌、表面缺陷的检测，组件动态特性的测量等。机械工具/自动化机械：零件尺寸、外形、瑕疵检测、零件分类比对、装配定位、加工定位、熔焊检测电机工业：控制器红外线热像仪检测、电线瑕疵、裂缝检测、缆线配置检测金属钢铁业：钢板尺寸检测、表面瑕疵检测、铸件瑕疵检测、材料金像检测橡胶/塑料制品：保特瓶口尺寸检测、制品颜色分类检测食品加工/包装业：瓶内液位高度、异物或灰尘检测、包装印刷辨识、打印字形及零件编号检测与识别纺织皮革工业：表面针织纹路检测、色差检测、皮革表面特性检测汽车工业：陶轴裁切定位、零件涂黄油检测、白车身检验家电/办公：产品外壳印刷检测、1维/2维条形码辨识保全/监视系统：人像特征辨识、指纹辨识等,机器视觉在精密测量中的应用,照明,光源,图像传感器,成像,三维,表面轮廓,粗糙度,缺陷,纹理,内部结构,应力,变形,缺陷,被测场景,方位,三维形貌,尺寸,坐标,二、摄像机的建模,影射几何与坐标变换摄像机建模镜头畸变摄像机内部参数的修正摄像机的精确模型摄像机的简化模型,欧式几何与影射几何的概念,不变量:Distanceandangle,不变量:Crossratio,齐次矩阵,坐标变换,眼睛的光学模型,像平面,物体,透镜,Imageplane,object,lens,摄像机的光学投影变换,Imageplane,object,lens,Imageplane,Focusplane,摄像机的光学投影变换（续）,像平面与帧存体的对应关系,Imageplane,Computerframe,帧存体与摄像机坐标的关系,Imageplane,Computerframe,2.4摄像机建模,Imageplane,Computerframe,摄像机建模（续）,未知参数：,(1)Intrinsicparameters:,(2)Extrinsicparameters,Orientation:,Translation:,9,independent3,3,镜头畸变的概念,RadialdistortionTangentialdistortionDecenteringdistortionThinprismdistortion,径向畸变,偏心畸变,偏心畸变既含有径向畸变又有切向畸变,最大切向畸变与x轴的夹角,设,在直角坐标系下,薄棱镜畸变,薄棱镜畸变是由镜头与摄像机面有小的倾角造成的,最大切向畸变与x轴的夹角,设,镜头总畸变,若考虑分项的前两项,化简,摄像机内部参数的修正,Intrinsicparameters,摄像机的精确模型,计算机屏幕,Imageplane,摄像机的精确模型（续）,计算机屏幕,一般情况下，取径向与切向畸变的的第一项就可以达到满意的效果,Imageplane,6摄像机的简化模型,像平面,计算机屏幕,三、视觉传感器的类型,主动与被动单目与双目点、线、面结构光编码结构光,三角法测量原理,CCD,视觉传感器的坐标系统,zw,xw,yw,Ty,Tx,Tz,xw0,yw0,xs,ys,zs,os,Point,O,X,Y,O,z,x,y,Laser,Imageplane,Origin,Sensorcoordinatesystem(SCS),GlobalCoordinatesystem(GCS),Cameracoordinatesystem(CCS),单一摄像机二维传感器,点结构光视觉传感器,线结构光视觉传感器,Laser,Lightplane,Imageplane,CCS,SCS,条纹结构光视觉传感器,2019/12/16,33,可编辑,条纹编码三维视觉传感器,彩色编码视觉传感器,被动双目视觉传感器,lamp,camera2,CCS2,(CCS1)SCS,object,camera1,编码照明双目视觉传感器,projector,camera2,CCS2,(CCS1)SCS,object,camera1,多视觉传感器测量系统的组成,CAN总线网络控制视觉测量系统,图像采集卡,计算机,多路视频切换开关,CAN接口卡,CAN网络控制总线,传感器控制单元,传感器,视频信号数据总线,1394总线并行图像处理系统,传感器控制单元,传感器,计算机,接口卡,数据与控制总线,基于工控PC机的多计算机分布式并行图像处理架构,常用总线的比较,RS232小于15m传输速率25kb/sRS485最大传输速度10Mb/sCAN小于40m传输速率1Mb/sUSB最高速率480Mb/s，可挂接127个外设CameraLink最高4.8Gbps，最远可传输10米。Gigabitethernet带宽可达到1000Mbps，最远可传输100米。Firewire，最远可传输100米，带宽3.2G,双总线架构,总线接口,PC,多路视频切换器,视觉传感器1,视觉传感器N,视觉传感器2,控制总线,视频图像,图像采集处理平台,数据总线,单总线架构,计算机,总线接口,视觉传感器1,总线,视觉传感器2,视觉传感器N,传感器控制、图像采集与并行处理模块,传感器控制、图像采集与并行处理模块,传感器控制、图像采集与并行处理模块,摄像机内部参数的标定,1摄像机摄标定靶标,标定靶标的控制点类型,标定靶标的控制点类型,几何中心与投影中心的偏移,2直接线性变换法(DLT),1用一个齐次矩阵建立场景与控制点的对应关系,2从上式中解出DLT矩阵参数,直接线性变换法(DLT),在最小二乘意义下可求出参数，为了避免解很小的，必须使用合适的正则化方法，一种方法是令然后用伪逆法求解，但当，这种正则化可能产生奇异性，为了克服这个缺点，可以令,3矩阵参数分解：RQ方法,矩阵M和T分别表示靶标世界坐标系相对于摄像机坐标系的旋转矢量与平移矢量,（b1b2)为仿射失真系数,3RAC两步法,径向准直约束：1）径向畸变不影响矢量的方向2）有效焦距不影响矢量的方向3）光轴沿Z轴平移不影响矢量的方向,该方法第一步采用最小二乘方法求解超定方程组求出外部参数，第二步求解内部参数,计算：,（1）,（2）,（3）令,把（2）代入（1）,传感器坐标系与摄像机外部参数的标定,Laser,Lightplane,Imageplane,CCS,SCS,测量系统的全局标定,1标定的基本原理,标定的基本原理,TCS,LaserTracker,经纬仪的标定,直接变换标定法,间接变换标定法,应用举例,钢管直线度视觉在线检测技术,Moveleftorright,Positioningswitch,Guidance,Optoelectronicdetector,Fluiddriver,Fivelaservisualsensors,机器视觉汽车轮胎安装定位技术,ThrustAngle,GeometricCenterLine,FrontToe(+),RearToe(-),Front