机器视觉三维测量技术

机器视觉三维测量技术第1页，共60页，2023年，2月20日，星期五大纲机器视觉的概念摄像机模型三维视觉传感器的类型多视觉传感器测量系统的组成摄像机与视觉传感器的标定测量系统的全局标定应用举例第2页，共60页，2023年，2月20日，星期五机器视觉技术的概念测量检测识别

引导光源传感器光学镜组传感单元信号处理单元控制单元

采用光学成像技术（通常使用摄像机）获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行产品检验、分类与分组，装配线上的机械手运动引导、零部件的识别与定位，生产过程中质量监控与过程控制反馈等等任务。第3页，共60页，2023年，2月20日，星期五应用领域举例

IC及一般电子业：PCB、BGA、LCD屏幕、被动组件形状脚位及定位、生产插件、晶元(Wafer)镜面研磨、生产组装、被动组件辨识

MEMS组件：微小器件的尺寸、形貌、表面缺陷的检测，组件动态特性的测量等。

机械工具/自动化机械：零件尺寸、外形、瑕疵检测、零件分类比对、装配定位、加工定位、熔焊检测

电机工业：控制器红外线热像仪检测、电线瑕疵、裂缝检测、缆线配置检测

金属钢铁业：钢板尺寸检测、表面瑕疵检测、铸件瑕疵检测、材料金像检测

橡胶/塑料制品：保特瓶口尺寸检测、制品颜色分类检测

食品加工/包装业：瓶内液位高度、异物或灰尘检测、包装印刷辨识、打印字形及零件编号检测与识别

纺织皮革工业：表面针织纹路检测、色差检测、皮革表面特性检测

汽车工业：陶轴裁切定位、零件涂黄油检测、白车身检验

家电/办公：产品外壳印刷检测、1维/2维条形码辨识

保全/监视系统：人像特征辨识、指纹辨识等第4页，共60页，2023年，2月20日，星期五机器视觉在精密测量中的应用照明光源图像传感器成像内部三维表面表面轮廓粗糙度缺陷纹理内部结构应力变形缺陷被测场景方位三维形貌尺寸坐标第5页，共60页，2023年，2月20日，星期五二、摄像机的建模影射几何与坐标变换摄像机建模镜头畸变摄像机内部参数的修正摄像机的精确模型摄像机的简化模型第6页，共60页，2023年，2月20日，星期五欧式几何与影射几何的概念不变量:Distanceandangle不变量:Crossratio第7页，共60页，2023年，2月20日，星期五齐次矩阵第8页，共60页，2023年，2月20日，星期五坐标变换第9页，共60页，2023年，2月20日，星期五眼睛的光学模型像平面物体透镜Imageplaneobjectlens第10页，共60页，2023年，2月20日，星期五摄像机的光学投影变换ImageplaneobjectlensImageplaneFocusplane第11页，共60页，2023年，2月20日，星期五摄像机的光学投影变换（续）ImageplaneImageplaneFocusplane第12页，共60页，2023年，2月20日，星期五像平面与帧存体的对应关系ImageplaneComputerframe第13页，共60页，2023年，2月20日，星期五帧存体与摄像机坐标的关系ImageplaneComputerframe第14页，共60页，2023年，2月20日，星期五2.4摄像机建模ImageplaneComputerframe第15页，共60页，2023年，2月20日，星期五摄像机建模（续）未知参数：(1)Intrinsicparameters:(2)ExtrinsicparametersOrientation:Translation:9,independent33第16页，共60页，2023年，2月20日，星期五镜头畸变的概念ImageplaneRadialdistortionTangentialdistortionDecenteringdistortionThinprismdistortion第17页，共60页，2023年，2月20日，星期五径向畸变第18页，共60页，2023年，2月20日，星期五偏心畸变偏心畸变既含有径向畸变又有切向畸变最大切向畸变与x轴的夹角,设在直角坐标系下第19页，共60页，2023年，2月20日，星期五薄棱镜畸变薄棱镜畸变是由镜头与摄像机面有小的倾角造成的最大切向畸变与x轴的夹角,设第20页，共60页，2023年，2月20日，星期五镜头总畸变若考虑分项的前两项化简第21页，共60页，2023年，2月20日，星期五摄像机内部参数的修正Intrinsicparameters第22页，共60页，2023年，2月20日，星期五摄像机的精确模型计算机屏幕Imageplane第23页，共60页，2023年，2月20日，星期五摄像机的精确模型（续）计算机屏幕一般情况下，取径向与切向畸变的的第一项就可以达到满意的效果Imageplane第24页，共60页，2023年，2月20日，星期五6摄像机的简化模型像平面计算机屏幕第25页，共60页，2023年，2月20日，星期五三、视觉传感器的类型主动与被动单目与双目点、线、面结构光编码结构光第26页，共60页，2023年，2月20日，星期五三角法测量原理激光器镜头CCD镜头CCD激光器镜头镜头第27页，共60页，2023年，2月20日，星期五视觉传感器的坐标系统zwxwywTyTxTzxw0yw0xsyszsosPointωφκOXYOzxyLaserImageplaneOriginSensorcoordinatesystem(SCS)GlobalCoordinatesystem(GCS)Cameracoordinatesystem(CCS)第28页，共60页，2023年，2月20日，星期五单一摄像机二维传感器ImageplaneMeasuredplane(CCS)SCS第29页，共60页，2023年，2月20日，星期五点结构光视觉传感器CCSSCSLaser第30页，共60页，2023年，2月20日，星期五线结构光视觉传感器LaserLightplaneImageplaneCCSSCS第31页，共60页，2023年，2月20日，星期五条纹结构光视觉传感器Thek-thlightstripeplaneImageplaneProjectorpattern第32页，共60页，2023年，2月20日，星期五ImageplaneCCSSCS00110010011001Projector条纹编码三维视觉传感器第33页，共60页，2023年，2月20日，星期五彩色编码视觉传感器projectorcameraCCSSCSobject第34页，共60页，2023年，2月20日，星期五被动双目视觉传感器lampcamera2CCS2(CCS1)SCSobjectcamera1第35页，共60页，2023年，2月20日，星期五编码照明双目视觉传感器projectorcamera2CCS2(CCS1)SCSobjectcamera1第36页，共60页，2023年，2月20日，星期五多视觉传感器测量系统的组成第37页，共60页，2023年，2月20日，星期五CAN总线网络控制视觉测量系统图像采集卡计算机多路视频切换开关CAN接口卡CAN网络控制总线传感器控制单元传感器视频信号数据总线第38页，共60页，2023年，2月20日，星期五1394总线并行图像处理系统传感器控制单元传感器计算机接口卡数据与控制总线

第39页，共60页，2023年，2月20日，星期五基于工控PC机的多计算机分布式并行图像处理架构PC控制器运动驱动机构可编程光源可编程光源多PC并行处理器HUB生产与管理系统主机办公电脑远端大型资料库视觉系统主控计算机PC三轴控制器摄像机第40页，共60页，2023年，2月20日，星期五常用总线的比较RS232小于15m传输速率25kb/sRS485最大传输速度10Mb/sCAN小于40m传输速率1Mb/sUSB最高速率480Mb/s，可挂接127个外设CameraLink最高4.8Gbps，最远可传输10米。Gigabitethernet带宽可达到1000Mbps，最远可传输100米。

Firewire，最远可传输100米，带宽3.2G第41页，共60页，2023年，2月20日，星期五双总线架构总线接口PC多路视频切换器视觉传感器1视觉传感器N视觉传感器2控制总线…………视频图像图像采集处理平台数据总线第42页，共60页，2023年，2月20日，星期五单总线架构计算机总线接口视觉传感器1总线 视觉传感器2视觉传感器N

传感器控制、图像采集与并行处理模块

传感器控制、图像采集与并行处理模块

传感器控制、图像采集与并行处理模块第43页，共60页，2023年，2月20日，星期五摄像机内部参数的标定第44页，共60页，2023年，2月20日，星期五1摄像机摄标定靶标第45页，共60页，2023年，2月20日，星期五标定靶标的控制点类型标定靶标的控制点类型几何中心与投影中心的偏移第46页，共60页，2023年，2月20日，星期五2直接线性变换法(DLT)1用一个齐次矩阵建立场景与控制点的对应关系2从上式中解出DLT矩阵参数第47页，共60页，2023年，2月20日，星期五直接线性变换法(DLT)在最小二乘意义下可求出参数，为了避免解很小的，必须使用合适的正则化方法，一种方法是令然后用伪逆法求解，但当，这种正则化可能产生奇异性，为了克服这个缺点，可以令3矩阵参数分解：RQ方法矩阵M和T分别表示靶标世界坐标系相对于摄像机坐标系的旋转矢量与平移矢量（b1b2)为仿射失真系数第48页，共60页，2023年，2月20日，星期五3RAC两步法径向准直约束：1）径向畸变不影响矢量的方向2）有效焦距不影响矢量的方向3）光轴沿Z轴平移不影响矢量的方向该方法第一步采用最小二乘方法求解超定方程组求出外部参数，第二步求解内部参数第49页，共60页，2023年，2月20日，星期五

计算：（1）（2）（3）令把（2）代入（1）第50页，共60页，2023年，2月20日，星期五传感器坐标系与摄像机外部参数的标定LaserLightplaneImageplaneCCSSCS第51页，共60页，2023年，2月20日，星期五

测量系统的全局标定第52页，共60页，2023年，2月20日，星期五Target1标定的基本原理TCSTheodolitesGCSMeasuredobjectSCSVisualsensor第53页，共60页，2023年，2月20日，星期五Target标定的基本原理TCSLaserTrackerGCSMeasuredobjectSCSVisualsensor第54页，共60页，2023年，2月20日，星期五经纬仪的标定abRulerTCSABSensor2Sensor1Sensor4Sensor3Sensor6Sensor5SCS(WCS)targetlightplaneGCS第55页，共60页，2023年，2月20日，星期五直接变换标定