视觉测量技术(一)_视觉系统构成

1、视觉测量技术 （一）（一） 视觉系统组成视觉系统组成 丁雅斌丁雅斌 、什麽是机器视觉？、什麽是机器视觉？ 人类的眼睛人类的眼睛 机器视觉传感器机器视觉传感器 以以光电传感器和计算机光电传感器和计算机为核心组成的能够为核心组成的能够 模拟模拟人类视觉人类视觉而完成某项工作的方法及装备而完成某项工作的方法及装备 通过两维图像建立三维或高维真实世界的模型通过两维图像建立三维或高维真实世界的模型 2、机器视觉应用、机器视觉应用 目标目标识别与定位识别与定位 2、机器视觉应用、机器视觉应用 质量检测质量检测 2、机器视觉应用、机器视觉应用 几何量测量几何量测量 高速检测连续冲孔的高速检测连续冲孔的 冲压

2、零部件。冲压零部件。 滚轴的外观检测滚轴的外观检测 可使用可使用2 2台线型相机台线型相机 高精度检测长尺的高精度检测长尺的 金属滚轴表面缺陷金属滚轴表面缺陷 零件外观检测零件外观检测轴承的外观检测轴承的外观检测 曲面外观检测曲面外观检测 Rocky 7 火星车 2、机器视觉应用、机器视觉应用 导航导航 Rocky7视觉系统获取的立体图象对视觉系统获取的立体图象对 (a) 深度图象深度图象 (b)障碍物探测示意图障碍物探测示意图 Rocky7 视觉系统对场景的深度恢复视觉系统对场景的深度恢复 2、机器视觉应用、机器视觉应用 导航导航 2、机器视觉应用、机器视觉应用 其他应用其他应用 智能交通监

3、控 三维重建 遥感图像分析（植被分析、考古发掘）遥感图像分析（植被分析、考古发掘） 医学图像分析（骨骼定位）医学图像分析（骨骼定位） 安全鉴别、监视与跟踪（门禁系统、视频监控）安全鉴别、监视与跟踪（门禁系统、视频监控） 国防系统（目标自动识别与目标跟踪）国防系统（目标自动识别与目标跟踪） 文物保护（数字博物馆）文物保护（数字博物馆） 其他（游戏、动画、体育、人机交互）其他（游戏、动画、体育、人机交互） 机器视觉的一些基本概念机器视觉的一些基本概念 1.1.平面视觉（平面视觉（Planar VisionPlanar Vision）：被测对象处在平面内，只对目标：被测对象处在平面内，只对目标 在平

4、面的信息进行测量的视觉测量与控制。在平面的信息进行测量的视觉测量与控制。 2.2.立体视觉（立体视觉（Stereo VisionStereo Vision）：对目标在三维笛卡尔空间内的信：对目标在三维笛卡尔空间内的信 息进行测量的视觉测量与控制。息进行测量的视觉测量与控制。 3.3.结构光视觉（结构光视觉（Structured Light VisionStructured Light Vision）：利用特定光源照射：利用特定光源照射 目标，形成人工特性，由摄像机采集这些特征进行测量。结构光视目标，形成人工特性，由摄像机采集这些特征进行测量。结构光视 觉可简化图像处理中的特征提取，大幅度提高图

5、像处理速度。觉可简化图像处理中的特征提取，大幅度提高图像处理速度。 4.4.主动视觉（主动视觉（Active VisionActive Vision）：对目标主动照明或者主动改变摄：对目标主动照明或者主动改变摄 像机参数的视觉系统。像机参数的视觉系统。 5.5.被动视觉（被动视觉（Passive VisionPassive Vision）：如双目视觉。：如双目视觉。 机器视觉的一些基本概念机器视觉的一些基本概念 6.6.视觉测量（视觉测量（Vision Measure/Visual MeasureVision Measure/Visual Measure）：根据摄像机获：根据摄像机获 得的视觉

6、信息对目标的位置和姿态进行的测量。得的视觉信息对目标的位置和姿态进行的测量。 7.7.手眼系统（手眼系统（Hand-Eye SystemHand-Eye System）：摄像机和机械手构成的机器人：摄像机和机械手构成的机器人 视觉系统。视觉系统。 . .Eye-in-HandEye-in-Hand：摄像机安装在机械手末端并随机械手一起运动：摄像机安装在机械手末端并随机械手一起运动 的视觉系统。的视觉系统。 Eye-to-HandEye-to-Hand：摄像机不安装在机械手末端，不随机械手运动：摄像机不安装在机械手末端，不随机械手运动 的视觉系统。的视觉系统。 8.8.视觉控制（视觉控制（Vis

7、ion Control/Visual ControlVision Control/Visual Control）：根据视觉测量：根据视觉测量 获得目标的位置和姿态，将其作为给定或者反馈对机器人的位置和获得目标的位置和姿态，将其作为给定或者反馈对机器人的位置和 姿态进行的控制。姿态进行的控制。 9.9.视觉伺服（视觉伺服（Visual Servo/Visual ServoingVisual Servo/Visual Servoing）：利用视觉信息对：利用视觉信息对 机器人进行的伺服控制，是视觉控制的一种。机器人进行的伺服控制，是视觉控制的一种。 3、 机器视觉检测系统的构成机器视觉检测系统的构

8、成 1 被测物体被测物体 4 光照系统光照系统 2 摄像机摄像机 5 摄像机摄像机-计算机接口计算机接口 3 计算机计算机 6 控制机构控制机构 3.1 摄像机摄像机 镜头 Lens（工业）摄像机 Camera 聚焦光线生成图像 摄像摄像 机机 照照 明明接接 口口 3.1 摄像机摄像机- Sensor 摄像机的作用：将通过镜头聚焦于像平面的光将通过镜头聚焦于像平面的光 线生产图像。线生产图像。 摄像机最重要的部件：数字传感器数字传感器 CCD CCD （charge-coupled devicecharge-coupled device）电荷耦合元件 CMOSCMOS（complementa

9、ry metal-oxide semiconductorcomplementary metal-oxide semiconductor） 互补金属氧化物半导体 摄像摄像 机机 照照 明明接接 口口 CCD CCD （charge-coupled devicecharge-coupled device）电荷耦合元件 也称为CCD图像传感器。CCD是一种半导体器 件，能够把光学影像转化为数字信号。 CCD上 植入的微小光敏物质称作像素（Pixel）。一块 CCD上包含的像素数越多，其提供的图像分辨 率也就越高。 摄像摄像 机机 照照 明明接接 口口 面阵 线阵 3.1 摄像机摄像机- Sensor

10、 摄像摄像 机机 照照 明明接接 口口 CMOSCMOS（complementary metal-oxide semiconductorcomplementary metal-oxide semiconductor） 互补金属氧化物半导体 3.1 摄像机摄像机- Sensor 摄像摄像 机机 照照 明明接接 口口 CCD Vs CMOS CCD Vs CMOS CCD CMOS 灵敏度灵敏度 高低 成本成本高低 分辨率分辨率高低 抗噪声抗噪声好一般 功耗功耗高低 速度速度低高 3.1 摄像机摄像机- Sensor 摄像摄像 机机 照照 明明接接 口口 3.1 摄像机摄像机-CCD 传感器传感器

11、-尺尺 寸寸 CCD的尺寸，是说感光器件的的尺寸，是说感光器件的 面积大小。面积大小。 主要有主要有2/3英寸、英寸、1/2英寸、英寸、1/3英寸、英寸、1/4英寸等。英寸等。 面积越大，捕获的光子越多，感光性能越好，信噪比越低。面积越大，捕获的光子越多，感光性能越好，信噪比越低。 2/3英寸的英寸的300万像素相机效果通常好于万像素相机效果通常好于1/2英寸的英寸的400万像素万像素 相机相机(后者的感光面积只有前者的后者的感光面积只有前者的53%)。 而相同尺寸的而相同尺寸的CCD，像素越多，图像质量越好。价格越高。，像素越多，图像质量越好。价格越高。 摄像摄像 机机 照照 明明接接 口口

12、 3.1 摄像机摄像机-CCD 传感器传感器-尺尺 寸寸 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 - Lens 镜头是一种光学设备，用于聚焦光线在镜头是一种光学设备，用于聚焦光线在 摄像机内部成像。镜头的作用是收集光摄像机内部成像。镜头的作用是收集光 线，产生锐利的图像，以得到被测物体线，产生锐利的图像，以得到被测物体 的细节。的细节。 通常由一块或者多块光学玻璃或通常由一块或者多块光学玻璃或 塑料组成的透镜组，基本单元为塑料组成的透镜组，基本单元为 凹透镜、凸透镜，或其组合凹透镜、凸透镜，或其组合 摄像摄像 机机 照照 明明接接 口口 瞳孔瞳孔 视网膜视网膜

13、晶状体晶状体 虹膜虹膜 虹膜调节瞳孔的大小，对光线大小虹膜调节瞳孔的大小，对光线大小 进行控制。进行控制。 光线通过焦距光线通过焦距20的晶状体，在视网的晶状体，在视网 膜上成像。膜上成像。 3.1 摄像机摄像机 - 镜头镜头 Vs. 人眼人眼 摄像摄像 机机 照照 明明接接 口口 保证通光量保证通光量 Lens尺寸尺寸 Sensor尺寸尺寸 3.1 摄像机摄像机 - 镜头镜头 型号型号 摄像摄像 机机 照照 明明接接 口口 控制进光量控制进光量 F2.2、F2.8、F4. 光圈光圈F值愈小，在同一值愈小，在同一 单位时间内的进光量便单位时间内的进光量便 愈多愈多 由于光学原理和制造由于光学原

14、理和制造 成本的限制，摄影镜头成本的限制，摄影镜头 在全开光圈时的像质并在全开光圈时的像质并 不是最佳的，通常在收不是最佳的，通常在收 缩光圈后，像质有明显缩光圈后，像质有明显 的改善。的改善。 每个摄影镜头都有每个摄影镜头都有 一个或者多个最佳光圈，一个或者多个最佳光圈， 在这些最佳光圈下，画在这些最佳光圈下，画 面的质量达到最好，分面的质量达到最好，分 辨率高、反差均衡等。辨率高、反差均衡等。 3.1 摄像机摄像机 - 镜头镜头 型号型号 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 型号型号 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头

15、 型号型号 薄透镜原理薄透镜原理 f: 透镜焦距长度透镜焦距长度 F: 透镜焦点透镜焦点 z: 摄像机常数摄像机常数 1 z - 1 z = 1 f 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 焦距焦距 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 - 镜头镜头 焦距焦距 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 几种专业术语几种专业术语 分辨率分辨率 Resolution: 被检测物体的最小特征被检测物体的最小特征 尺寸尺寸 像素像素 Pixel 像素分辨率像素分辨率 Pixel resolution: 图像上需要表达被测物图像上需要表

16、达被测物 体所需的最小像素个数体所需的最小像素个数 视野视野 Field of view 物体可被检测到的区域，物体可被检测到的区域， 换言之换言之,它是物体填满传它是物体填满传 感器图象的区域感器图象的区域 工作距离工作距离 Working distance 从镜头前端到被检测物从镜头前端到被检测物 体表面的距离体表面的距离 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 几种专业术语几种专业术语 景深景深 Depth of field: 在整个聚焦范围内，能在整个聚焦范围内，能 够维持清楚成像对应的够维持清楚成像对应的 最大物体的深度；最大物体的深度； 也可定义为在允许聚焦也可定

17、义为在允许聚焦 的范围内，允许物体移的范围内，允许物体移 动的范围。动的范围。 图像图像 Image 传感器尺寸传感器尺寸 Sensor size 传感器的有效面积传感器的有效面积,典型典型 的指标是水平尺寸的指标是水平尺寸 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤 1 1 明确被测物体的测量精明确被测物体的测量精 度要求，选择适合的度要求，选择适合的CCDCCD 尺寸和像素数目尺寸和像素数目 关注的要素：关注的要素： 视野视野 CCDCCD尺寸尺寸 像素分辨率像素分辨率 基本要求：被测物体基本要求：被测物体 在某一方向上尽量充在某一方向上尽量充 满摄像机的视

18、野满摄像机的视野 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤 基本要求：被测物体在某一方向上尽量充满摄像机的视野基本要求：被测物体在某一方向上尽量充满摄像机的视野 w wfovfov是摄像机视野在是摄像机视野在X X方向的尺寸，方向的尺寸，h hfovfov是是Y Y方向的尺寸方向的尺寸 w w是物体是物体X X方向上的最小特征，方向上的最小特征，h h是是Y Y方向上的最小特征方向上的最小特征 则所需最小像素分辨率为则所需最小像素分辨率为 2,2max h h w w fovfov 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤 根

19、据被测物体尺寸确定视野大小，根据被测物体尺寸确定视野大小， 进而确定所需进而确定所需CCD CCD 的尺寸的尺寸 CCDCCD上的像素数目上的像素数目最小像素分辨率最小像素分辨率 数目数目 摄像摄像 机机 照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤 1 1 明确被测物体的测量精明确被测物体的测量精 度要求，选择适合的度要求，选择适合的CCDCCD 尺寸和像素数目尺寸和像素数目 2 2 确定相机的接口类型确定相机的接口类型 3 3 确定镜头的焦距确定镜头的焦距 关注的要素：关注的要素： 工作距离工作距离 CCDCCD尺寸尺寸 视野视野 景深景深 C or CS or F 摄像摄像

20、 机机 照照 明明接接 口口3.1 摄像机摄像机 选型步骤选型步骤 焦距焦距=（CCD尺寸尺寸工作距离）工作距离）/ 视野视野 如果工作距离不变，可选择定焦镜头如果工作距离不变，可选择定焦镜头 如果工作距离时变，可选择变焦镜头如果工作距离时变，可选择变焦镜头 如果被测物体本身高度变化大，即需要测量如果被测物体本身高度变化大，即需要测量 的景深大，根据最大、最小距离都可清晰成的景深大，根据最大、最小距离都可清晰成 像选择焦距范围像选择焦距范围 3.2 照明照明 摄像摄像 机机 照照 明明接接 口口 1 1 光源类型光源类型 2 2 光照技术光照技术 目的：使被测物体的目的：使被测物体的 重要特征

21、显现，抑制重要特征显现，抑制 不重要的特征不重要的特征 名称名称成本成本亮度亮度稳定性稳定性寿命寿命温度温度 荧光灯荧光灯低低低低低低一般一般一般一般 卤素灯卤素灯高高高高一般一般低低高高 LEDLED光源光源一般一般一般一般高高高高低低 光源类型光源类型 摄像摄像 机机 照照 明明接接 口口 光照技术光照技术 摄像摄像 机机 照照 明明接接 口口 利用有效照明使被测特征对比度最大化利用有效照明使被测特征对比度最大化 用环型光照皱折物体失败用环型光照皱折物体失败用连续漫射光照皱折物体成功用连续漫射光照皱折物体成功 光照技术光照技术-反射类型反射类型 摄像摄像 机机 照照 明明接接 口口 镜面反

22、射镜面反射 对角直接反射光线对角直接反射光线 漫射反射漫射反射 所有方向漫射光线所有方向漫射光线 光照技术光照技术-照明的方向照明的方向 摄像摄像 机机 照照 明明接接 口口 背光照射背光照射入射光照射入射光照射 光源在摄像机对面光源在摄像机对面 光源在摄像机一方光源在摄像机一方 光照技术光照技术-背光照射背光照射 摄像摄像 机机 照照 明明接接 口口 形状测量形状测量 半透明物体测量半透明物体测量 增强被测工件的边缘轮廓增强被测工件的边缘轮廓 看到半透明物体的透光性看到半透明物体的透光性（相对障碍物光的通（相对障碍物光的通 过特性）过特性） 观察出物体表面的光洁度、颜色、发射光观察出物体表面

23、的光洁度、颜色、发射光 和不明显的高度变化和不明显的高度变化 光照技术光照技术-背光照射背光照射的效的效 果果 摄像摄像 机机 照照 明明接接 口口 用环型光照的灯丝用环型光照的灯丝 Lamp filament with ring light 用背光光照的灯丝用背光光照的灯丝 Lamp filament with backlight 光照技术光照技术-背光照射图像比较背光照射图像比较 摄像摄像 机机 照照 明明接接 口口 通过塑料连接器的金属针通过塑料连接器的金属针 Metal pins through plastic connector 光照技术光照技术-背光照射图像比较背光照射图像比较 摄

24、像摄像 机机 照照 明明接接 口口 光照技术光照技术-入射光照入射光照 摄像摄像 机机 照照 明明接接 口口 入射光照射入射光照射 光源在摄像机一方光源在摄像机一方 1 1、普通用途的光照、普通用途的光照( (明场或暗场明场或暗场 ) ) General Purpose - Bright or Dark FieldGeneral Purpose - Bright or Dark Field 2 2、关于光轴的漫射光照（区域照射）、关于光轴的漫射光照（区域照射） DOAL - Diffused On-Axis LightDOAL - Diffused On-Axis Light 3 3、均匀光的

25、漫（散）射、均匀光的漫（散）射 （同轴照射）（同轴照射） DOMEDOME 入射光照入射光照-明场、暗场明场、暗场 摄像摄像 机机 照照 明明接接 口口 了解了解 “ “ W W ” 反射光与光源角度相同。反射光与光源角度相同。 明场：光线反射后进入摄像机。明场：光线反射后进入摄像机。 暗场：光线反射后未进入摄像机。暗场：光线反射后未进入摄像机。 入射光照入射光照-明场、暗场明场、暗场 摄像摄像 机机 照照 明明接接 口口 对形成高对比度有益，但反光表对形成高对比度有益，但反光表 面会生成镜面反射面会生成镜面反射 光源范围应在照相机透镜视野的光源范围应在照相机透镜视野的 两倍处两倍处 漫射光被

26、反射进入照相机但镜面漫射光被反射进入照相机但镜面 反射光线被反射离开反射光线被反射离开 光源在光源在“W”W”之外之外 除有纹理的表面和凸高变化的表除有纹理的表面和凸高变化的表 面之外，光线被反射而不进入照面之外，光线被反射而不进入照 相机相机 入射光照入射光照-明场、暗场明场、暗场 摄像摄像 机机 照照 明明接接 口口 入射光照入射光照-明场、暗场明场、暗场 摄像摄像 机机 照照 明明接接 口口 摄像摄像 机机 照照 明明接接 口口 入射光照入射光照-明场、暗场明场、暗场 摄像摄像 机机 照照 明明接接 口口 入射光照入射光照-明场、暗场明场、暗场 入射光照入射光照-明场、暗场明场、暗场 摄

27、像摄像 机机 照照 明明接接 口口 入射光照入射光照-均匀光的漫（散）均匀光的漫（散）射射 摄像摄像 机机 照照 明明接接 口口 Object Light source (off-axis) 入射光照入射光照-均匀光的漫（散）均匀光的漫（散）射射 摄像摄像 机机 照照 明明接接 口口 用区域光照的加工表面用区域光照的加工表面用用DOME光照的加工表面光照的加工表面 入射光照入射光照-均匀光的漫（散）均匀光的漫（散）射射 摄像摄像 机机 照照 明明接接 口口 入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像 机机 照照 明明接接 口口 光源Light source 物体 Obje

28、ct 漫散射器 Diffuser 光分束器 Beam Splitter 入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像 机机 照照 明明接接 口口 Courtesy of RVSI/NER突出光洁表面与纹理表面反射光的不同突出光洁表面与纹理表面反射光的不同 Emphasize Finish/Texture (reflection) Differences 纹理表面光照纹理表面光照 入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像 机机 照照 明明接接 口口 缺针的连接器缺针的连接器 入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像 机机 照照

29、明明接接 口口 Courtesy of RVSI/NER 金属轴上的激光码金属轴上的激光码 入射光照入射光照-关于关于光轴的漫射光照光轴的漫射光照 摄像摄像 机机 照照 明明接接 口口 倾角光照倾角光照 突出倾角的变化突出倾角的变化 90% 机器视觉应用的成功案例来机器视觉应用的成功案例来 自于恰当的照明自于恰当的照明. 摄像机并不能看到物体；只能看摄像机并不能看到物体；只能看 到从物体表面反射过来的光。到从物体表面反射过来的光。 如果摄像机无法看到部件和标记，如果摄像机无法看到部件和标记， 也就无法读取和检测。也就无法读取和检测。 你应该知道：你应该知道： 摄像摄像 机机 照照 明明接接 口

30、口 摄像机摄像机-计算机接口计算机接口 摄像摄像 机机 照照 明明接接 口口 图像采集卡是将模拟摄像图像采集卡是将模拟摄像 机的图像信号经过机的图像信号经过A/DA/D转换，转换， 或将数字摄像机的输出信或将数字摄像机的输出信 号，通过计算机总线传输号，通过计算机总线传输 到计算机内存或显存，使到计算机内存或显存，使 计算机能对摄像机拍摄到计算机能对摄像机拍摄到 的现场图像进行实时处理、的现场图像进行实时处理、 存储和显示的硬件设备。存储和显示的硬件设备。 摄像机摄像机-计算机接口计算机接口 摄像摄像 机机 照照 明明接接 口口 模拟信号经A/D转换，传输至内存的图像 相机“看”到的 图像 摄

31、像机摄像机-计算机接口计算机接口 摄像摄像 机机 照照 明明接接 口口 v传统数字信号（传统数字信号（RS-422, LVDS) vCamera Link vIEEE1394(Firewire) vUSB vGigabit Ethernet 数字接口数字接口-LVDS 摄像摄像 机机 照照 明明接接 口口 优点：高速，可靠性高，传输距离远，支持多相机连接。 缺点：管脚定义不统一，兼容性差，电缆成本高。 v LVDS 是一个低波动、差分I/O技术的高速接口。 v 每线对最大传输率为655Mb/s。 数字接口数字接口-Camera Link 摄像摄像 机机 照照 明明接接 口口 v 13对线（其中有 6线对数据线），使得接插件的尺寸更 加的小巧。允许相机设计的体积更小。 v 更高的传输速率。采用Channel Link芯片组( 支持速率达 2.3Gb/s )满足对数据传输速率越来越高的要求。 v 集成有串口通讯协议。 数字接口数字接口-USB 摄像摄像 机机 照照 明明接接 口口 v 接口是4芯，其中2根为电源线、2根为信号线，接口体 积小，可热拔插，可真正实现即插即用，适合传送多 媒体数据的传送模式，连接方便。 v USB 2.0向下兼容USB 1.1、USB 1.0，数据的传 输率可 以达