视觉传感技术幻灯片.ppt

第7章视觉传感技术 7 1概述7 1 1生物视觉与机器视觉7 1 2Marr计算机视觉理论7 1 3视觉传感技术的发展 7 1 1生物视觉与机器视觉 所谓视觉 直观理解就是通过对环境场景 组成成分 空间关系 质地质感等 成像 一次性得到包含大量场景信息的 图 像 经过分层次处理 最终达到理解和表达的目的 生物视觉功能建立在生物组织 器官的基础上 环境场景通过成像器官 眼睛 成像 视觉神经感受到亮度信号 形成神经脉动 进而传输至中枢神经系统 大脑 上述路径构成视觉通路 生物视觉系统是一个结构复杂 功能强大 高度智能的信息系统 7 1 1生物视觉与机器视觉 借助于信息处理理论 电子器件和计算机技术的进步 人们试图用摄像机获取环境场景图像 转化为计算机处理的数字信号 由计算机平台进行视觉信息处理 由此诞生一门新兴学科 计算机视觉 7 1 1生物视觉与机器视觉 出于工程应用的考虑 在计算机视觉中可以将视觉传感 信息获取 视觉信息处理 理解和认知等环节分开考虑 一方面简化了类生物视觉系统复杂的相互作用体系结构 同时便于现有计算机平台的实现 将计算机视觉用于工程应用 产生了一门新的学科 机器视觉 7 1 2Marr计算机视觉理论 20世纪70年代中后期 D Marr教授从信息处理的角度 综合了当时图像处理 心理物理学 神经生理学及临床精神病学等方面的研究成果 提出了一个较为完善的人工视觉系统架构 Marr的计算视觉理论把视觉过程看作信息处理过程 对该过程的研究分为三个不同的层次 计算理论层次 计算理论层次要回答的是计算目的与策略问题表达与算法层次 表达与算法层次则进一步回答如何实现上述计算理论的问题硬件实现层次 硬件实现层次是回答如何物理 硬件 上实现上述表示表达和算法的问题 7 1 2Marr计算机视觉理论 Marr将视觉过程区分为三个阶段 图像 要素图 2 5维图 三维表示第一阶段 称为早期视觉 由输入二维图像获得要素图 第二阶段 称为中期视觉 由要素图获取2 5维图 第三阶段 称为后期视觉 由输入图像 要素图和2 5维图获得环境场景的三维表示 缺陷 1 物理成像过程在数学上是一个透视投影过程 深度和被视线遮挡的信息被丢弃了 使得相同场景在不同视角下得到的二维图像是完全不同的 2 二维图像是依靠图像灰度 亮度 来反映视觉信息的 在成像过程中很多无关因素都会和有用信息综合在一起生成二维图像 7 1 3视觉传感技术的发展 由图像信息恢复三维场景问题Marr的视觉计算理论是通过三维场景映射到的二维图像来研究和感知场景三维物理结构的理论 强调的是识别和理解功能 侧重于基本理论研究 而视觉传感则是从工程应用的角度出发 研究定量提取三维空间内有用信息的理论和方法 精度问题传统的计算机视觉研究 侧重于定性的三维场景识别和理解 定量的精度分析很少涉及或不涉及 视觉传感测量则是以计算机视觉为理论基础 结合精密测量 测试理论 解决工程应用领域内的测量问题 要求在满足一定的精度前提下 实现被测对象的可靠测量 视觉传感与计算机视觉的区别 7 1 3视觉传感技术的发展 视觉传感应用于测量是多方面的 一个主要的研究领域就是基于视觉传感的几何量测量 视觉测量 尤其是3D坐标尺寸测量 在现代工业制造领域内有着广泛的应用背景 视觉像机是视觉测量的基础 视觉像机技术一直在迅速发展 成本不断降低 为高性能视觉测量系统的开发和普及应用奠定了坚实的基础 7 1 3视觉传感技术的发展 视觉测量的分析方法发生显著变化采用多参数的非线性模型和误差补偿措施 将精密测量领域内的标定方法 设备和技术引入到计算机视觉中 结合近景摄影测量理论和计算机视觉 视觉测量的应用范围不断扩大早期主要用于特定的 有非接触要求的场合 现今可以满足绝大多数工业测量需求 7 2图像传感器 7 2 1摄像管工作原理7 2 2电荷耦合摄像器件工作原理7 2 3CMOS图像传感器7 2 4CCD图像传感器 典型的光电摄像管包含三个基本部分 镶嵌板 集电环和电子枪 当光线照在光电管上 电子被打出 投影在镶嵌板上的图像将变成一幅正电荷的分布图 集电环收集光电管所放出的电子 移出光电发像管电子枪发射电子形成电子束 电子束逐个扫描镶嵌板上的个光电管时 便形成一系列电脉冲 7 2 1摄像管工作原理 7 2 2电荷耦合摄像器件工作原理 电荷耦合器件CCD ChargeCoupledDevice 传感器使用一种高感光度的半导体材料制成 能把光信号转变成电荷信号 当CCD表面受到光线照射时 每个感光单位会将电荷反映在组件上 所有的感光单位所产生的信号加在一起 就构成了一幅完整的画面 CCD的突出特点就是以电荷作为信号 CCD的基本功能是信号电荷的产生 存储 传输和检测 即输出 7 2 2电荷耦合摄像器件工作原理 当光入射到CCD的光敏面时 便产生了光电荷 CCD在某一时刻所获得的光电荷与前期所产生的光电荷进行累加 称为电荷积分 入射光越强 通过电荷积分所得到的光电荷量越大 基本功能一光电荷的产生 构成CCD的基本单元是MOS结构 如图7 1所示 UG 0时 P型半导体中的空穴 多数载流子 的分布是均匀的 UGUth时 表面势 s变得很高 形成反型层 反型层电荷的存在表明了MOS结构存储电荷的功能 基本功能二电荷的存储 7 2 2电荷耦合摄像器件工作原理 如图7 2 a 空势阱的情况 在没有反型层时 势阱的深度和UG成正比例关系 如图7 2 b 当反型层电荷填充势阱时 表面势收缩 如图7 2 c 所示 反型层电荷浓度继续增加 势阱被填充更多 此时表面不再束缚多余的电子 电子将产生 溢出 现象 7 2 2电荷耦合摄像器件工作原理 通过按一定的时序在电极上施加高低电平 可以实现光电荷在相邻势阱间的转移 如图7 3来示意CCD中势阱中电荷的转移 a 初始状态 b 电荷由 1 电极向 2 电极转移 c 电荷在 1 2 电极下均匀分布 d 电荷继续由 1 电极向 2 电极转移 e 电荷完全转移到 2 电极 f 三相转移脉冲转移 基本功能三电荷的转移 7 2 2电荷耦合摄像器件工作原理 光电荷的输出是指在光电荷转移通道的末端 将电荷信号转换为电压或电流信号输出 也称为光电荷的检测 CCD电荷的检出方式还有浮置扩散输出 浮置栅放大器输出等 其结构示意如图7 6 图7 7所示 基本功能四光电荷的输出 7 2 3CCD图像传感器 CCD图像传感器 线阵CCD传感器 面阵CCD传感器 单沟道线阵CCD 双沟道线阵CCD 帧转移型面阵CCD电荷耦合器件 行间转移型面阵CCD电荷耦合器件 帧 行转移型面阵CCD电荷耦合器件 7 2 3CCD图像传感器 图7 8所示是三相单沟道线阵CCD的结构图 光敏元阵列与转移区 移位寄存器是分开的 移位寄存器被遮挡 这种结构的CCD转移次数多 效率低 只适用于像敏元较少的摄像器件 图7 9为双沟道线阵CCD的结构图 它具有两列移位寄存器A和B 分别位于像敏阵列的两边 当转移栅为高电平时 光积分阵列的信号电荷包同时按箭头所示方向转移到对应的移位寄存器中 然后在驱动脉冲的作用下分别向右转移 最后以视频信号输出 7 2 3CCD图像传感器 帧转移型面阵CCD电荷耦合器件 FT CCD 由成像区 存储区和读出寄存器3个基本区域组成 由三相脉冲驱动 又称三相驱动式面阵CCD电荷耦合器件 优点 电极结构简单 较高的分辨率和灵敏度 缺点 尺寸较大 易形成光 污染 严重时形成垂直拖尾现象 7 2 3CCD图像传感器 行间转移型面阵CCD电荷耦合器件 IT CDD 的感光行与垂直位移寄存器相间排列 由转移栅极控制电荷的转移和输出 优点 结构简单 面积小 较高的空间频率 垂直拖尾减轻 缺点 防止漏光 总的感光面积减小 灵敏度降低 有部分入射光到达垂直位移寄存器 形成光污染 7 2 3CCD图像传感器 帧 行转移型面阵CCD电荷耦合器件 FIT CCD 是在行间转移型的基础上加上场存储区而构成的 其结构如图7 17所示 优点 垂直转移速度极映 可有效消除光污染 使垂直拖尾消失 缺点 尺寸较大 材料利用率较低 7 2 4CMOS图像传感器 CMOS图像传感器 CIS 由许多光敏单元组成 根据光敏像元结构的不同 可分为光栅型和光电二极管型 根据敏感单元内是否具有放大功能 可分为无源像素图像传感器 PPS 和有源像素图像传感器 APS 7 2 4CMOS图像传感器 1 无源像素结构 无源像素传感器的像元结构简单 没有信号放大作用 是由一个反向偏置的光敏二极管 MOS管或p n结二极管 和一个行选择开关管Tx构成 优点 在给定的单元尺寸下 可设计出最高的填充系数 在给定的设计填充系数下 单元尺寸可设计得最小 可获得较高的 量子效率 有利于提高器件的灵敏度不足 存在较大的固有图形噪声 列线不宜过长以减小其分布参数的影响 7 2 4CMOS图像传感器 2 有源像素结构 1 光敏二极管型有源像素结构 光敏二极管型有源像素结构如图7 11 每个像元包括三个晶体管和一个光敏二极管 光敏面没有多晶硅层叠 光敏二极管型APS量子效率较高 难以设计在片相关双取样电路 读出噪声出复位噪声限制 典型值为75 100个均方根电子 CMOS光敏二极管型APS适宜于大多数中低性能的应用 7 2 4CMOS图像传感器 2 有源像素结构 2 光栅型有源像素结构 光栅型有源像素传感器结合了CCD和X Y寻址的优点 其结构如图7 12所示 每个像元采用了五个晶体管 采用0 25um工艺将允许达到5um的像元间距 由于可以设置CDS电路和双 取样DDS 电路 其读出噪声小 一般为10 20个均方根电子 可接近高档CCD水平 目前已有读出噪声为5个均方根电子的报道 CMOS光栅型APS适用于高性能科学成像和低光照成像 7 2 5CCD与CMOS图像传感器比较 与CCD图像传感器相比 CMOS图像传感器具有明显的优势 CCD存储的电荷转移和读取电路较为复杂 速度较慢 CMOS信号读取十分简单 能同时处理各单元的图像信息 速度比CCD快得多 CCD器件的成像点为X Y纵横矩阵排列且仅能输出模拟电信号 CMOS器件的集成度高 体积小 重量轻 具有高度系统整合的条件 从功耗和兼容性来看 CCD功耗大 而CMOS APS具有功耗低 兼容性好的特点 CCD传感器成本高 CMOS传感器成品率高 制造成本低 CMOS APS比CCD图像质量高 高速性是CMOS电路的固有特性 CMOS图像传感器具有更强的灵活性 7 2 5CCD与CMOS图像传感器比较 7 33D视觉传感技术 7 3 13D视觉传感原理7 3 2摄像机模型及结构参数标定技术7 3 3结构光视觉传感器7 3 4双目视觉传感器7 3 5组合视觉测量系统 7 3 13D视觉传感原理 3D视觉传感是指采用一个或多个图象传感器 摄像机等 作为传感元件 在特定的结构设计的支持下 综合利用其它辅助信息 实现对被测物体的尺寸及空间位姿的三维非接触测量 基于三角法的主动和被动视觉测量原理具有抗干扰能力强 效率高 精度合适 组成简洁等优点 非常适合制造现场的在线 非接触测量 是实际应用的主流 7 3 13D视觉传感原理 基于三角法的3D视觉测量方法 结构光方法通过构造结构光 使得结构光平面和摄像机之间配置成三角测量关系 依靠被测点成像光束和结构光平面的交汇约束 求解3D信息 立体视觉方法采用两个以上的摄像机在空间构成三角配置 利用被测点在多个摄像机中成像位置的不同 所谓 视差 由多个摄像机的成像光束在空间交汇 由此得到被测点3D信息 3D视觉测量模型包括三个层次 摄像机成像模型 3D传感器测量模型 3D测量系统模型 与此对应 标定问题也分为三个层次 7 3 2摄像机模型及结构参数标定技术 摄像机模型 基于像机成像过程和自身物理参数的成像模型 基于投影变换关系的模型 针孔成像模型 直接线性变换模型 摄影测量模型 7 3 2摄像机模型及结构参数标定技术 针孔成像模型 P为物点 Q为像点 像机针孔模型的数学表示 式中 q x y 为像点Q在摄像机像平面上的坐标 p xw yw zw 为P在摄像机坐标系中的三维坐标 F 透视变换矩阵 M 旋转矩阵 T 平移矩阵 7 1 式中 表示刻度因子 F M T三个矩阵 它们与针孔模型中具有相同的含义 V B两个矩阵是补偿矩阵 7 3 2摄像机模型及结构参数标定技术 直接线性变换模型 7 2 DLT模型由下式表述 式中 p q与 7 1 中相同 A为矩阵 可分解为 7 3 7 3 2摄像机模型及结构参数标定技术 摄影测量模型 假设 xu yu 为空间物点P在像平面上理想像点坐标实际像点位置为 xd yd 则 7 4 其中 Cx Cy为像面中心 x y为成像综合畸变 修正因子 可采用下列模型 7 5 式中 7 3 2摄像机模型及结构参数标定技术 直接标定及技术 直接标定模型参数可以通过建立已知空间点 控制点 三维坐标 Xw Yw Zw 及其对应成像点的二维像面坐标 xd yd 之间的对应关系 对于较小视场的成像 可以通过精确的共面或非共面的靶标建立控制点的三维物点和二维特征像点的对应 对于较大视场的成像 可以通过大型CMM构造较大空间的三维控制点 7 3 2摄像机模型及结构参数标定技术 以摄影测量模型为例 由成像模型得到 直接标定技术 式中 Xw Yw Zw 为控制点空间坐标 已知量 xd yd 为控制点对应象点的象素坐标 已知量 f Cx Cy k1 k2 k3 b1 b2 P1 P2为模型参数 未知量 为像机坐标系OXYZ到世界坐标系OwXwYwZw之间的变换关系 即像机姿态外参数 未知量 解算上述非线性方程组 可以得到模型参数 7 3 2摄像机模型及结构参数标定技术 自标定技术 基本思路 在空间简单设置标定控制点 控制点的空间坐标未知 像机在不同的姿态 条件下 获取视场中控制点的图像 处理得到控制点的象面坐标 7 3 2摄像机模型及结构参数标定技术 自标定技术 本质 将像机的姿态 控制点的空间坐标以及模型参数均作为未知量 以控制点的成像光束在空间交汇作为已知条件 建立高度非线性的大规模方程组 从中解算像机模型参数 原理上消除了直接标定方法中要求控制点三维坐标已知的局限性 优点 对工作环境要求不高 易于实现标定结果不受控制点坐标精度影响 标定精度高标定过程可以和测量过程有机结合适合大尺寸视觉测量 7 3 3结构光视觉传感器 设摄象机坐标系为OXYZ 光平面和被测物体相交形成光条l 记光条上一特征点P在OXYZ中的坐标为 X Y Z 光平面在OXYZ中的方程已知 特征点P在摄象机象素坐标系中的坐标为 xm ym 由摄象机数学模型知 7 6 又 P点在光平面内 7 7 其中 fx fy是摄象机的模型函数 可以通过精确的摄象机标定过程得到 fp为光平面在OXYZ坐标系中的方程 在标定传感器时精确求得 联立 7 6 7 7 可解出被测物体上特征点P在坐标系OXYZ中的三维坐标 测量原理 7 3 3结构光视觉传感器 标定 标定借助一个细丝靶标进行 细丝靶标上固定n个 相互近似平行 细直钢丝l1 ln 将细丝靶标固定在传感器的工作空间 取细丝方向和光平面的法向一致 光平面入射到靶标细丝上时产生n个散射亮点Pi i 1 n Pi对应像点的象素坐标由计算机处理得到 相应地 Pi的空间三维坐标 xw yw zw 可用另外的空间坐标测量设备测量 设Pi在OXwYwZw坐标系中的坐标为 xwi ywi zwi Pi对应像点的象素坐标为 xdi ydi 在光平面F内 取P0点为原点 P0P1为X方向 光平面法线方向为Z方向 由X Z方向按右手法则 在F上建立坐标系OXfYfZf 由空间坐标转换关系 容易将Pi在OXwYwZw坐标系中的三维坐标转换到坐标系OXfYfZf中 设经转换后Pi在OXfYfZf坐标系中的坐标为 xfi yfi zfi 因为Pi在OXfYfZf的xy平面内 所以zfi 0 7 3 3结构光视觉传感器 假设坐标系OXfYfZf到摄像机坐标系OXYZ的旋转矩阵为R 平移矩阵为T 则 7 8 且 7 9 展开 7 8 利用矩阵元素之间的对应关系 得到 式中 r1 r9为Rt矩阵中的元素 txtytz为T矩阵中的元素 R为旋转矩阵 存在正交约束 由 7 9 7 10 采用一般的非线性方程组解法 可以解出R矩阵中的元素r1 r9 T矩阵中的元素txtytz 7 10 7 3 3结构光视觉传感器 光平面F在摄像机坐标系中的位姿可理解为 经过OXfYfZf坐标系原点 平面法线矢量为OXfYfZf的Z轴方向 令F0 tx ty tz n0 r1 r4 r7 r2 r5 r8 于是 光平面F在OXYZ坐标系中的点法式平面方程为 7 11 式中 X x y z 为光平面F上的点在OXYZ坐标系中的坐标 方程 7 11 表明了光平面在摄像机坐标系中的位姿 是光条结构光传感器的结构参数 7 3 4双目视觉传感器 左摄象机坐标系为O1X1Y1Z1 右摄象机坐标系为O2X2Y2Z2 空间被测点P在左 右摄象机坐标系中的坐标分别为 x1 y1 z1 x2 y2 z2 P点在左 右摄象机象素坐标系中的象素坐标分别为 x1m y1m x2m y2m 由摄象机模型知 7 12 7 13 测量原理 式中 f1x f1y和f2x f2y分别为左 右摄象机的模型函数 通过标定摄象机准确得到 设左 右摄象机坐标系O1X1Y1Z1 O2X2Y2Z2之间的关系可表示为 7 14 式中 R为3X3阶坐标系间旋转变换矩阵 T为3X1阶坐标系间平移变换矩阵 R T在立体视觉传感器中是已知的 可通过传感器标定严格求出 由 7 12 7 13 7 14 解出被测空间点P在左摄象机坐标系O1X1Y1Z1中的三维坐标 7 3 4双目视觉传感器 左摄像机坐标系为OX1Y1Z1 右摄像机坐标系为OX2Y2Z2 靶标坐标系为OXYZ 设OXYZ到OX1Y1Z1的旋转矩阵为R1 平移矩阵为T1 OXYZ到OX2Y2Z2的旋转矩阵为R2 平移矩阵为T2 有 7 15 7 16 式中 X1 x1 y1 z1 为点在OX1Y1Z1坐标系中的坐标 X2 x2 y2 z2 为点在OX2Y2Z2坐标系中的坐标 X x y z 为点在OXYZ坐标系中的坐标 标定原理 由 7 15 7 16 式得 7 17 即 OX2Y2Z2坐标系到OX1Y1Z1坐标系之间的旋转矩阵 平移矩阵分别为 7 3 4双目视觉传感器 7 18 7 19 7 18 和 7 19 式是双目特征传感器的结构参数 其中R1 R2 T1 T2 矩阵分别为采用同一靶标标定传感器中两个摄像机同时得到的摄像机外部参数 标定原理 以上分析知道 双目特征传感器中两个摄像机的标定 以及摄像机之间关系的结构参数标定可以同时进行 标定工作量可明显减少 光束定向交汇约束在双摄像机的重合视场中任意设置控制点 点的空间坐标无需已知 Pi 控制点在两个摄像机中的成像光束必定在空间交汇 以此为约束可以精确求解摄像机之间的空间变换关系 对于较小视场 测量空间 的传感器 也可以采用固定靶标产生控制点 7 3 5组合视觉测量系统 多个传感器安装在刚性支架上形成统一的视觉检测系统 每个传感器实现对大型被测物体一个局部区域的测量 所有传感器组合实现对物体多个不同区域的测量 从而实现对被测物体的整体测量 7 3 5组合视觉测量系统 令传感器 测头 坐标系为OsXsYsZs 外部测量坐标系为OoXoYoZo 靶标坐标系为OTXTYTZT 系统测量坐标系为ObXbYbZb 标定时 首先 测头和外部测量装置同时测量靶标 分别建立测头坐标系OsXsYsZs和靶标坐标系OTXTYTZT 靶标坐标系OTXTYTZT和外部测量坐标系OoXoYoZo之间的关系 此外 用外部测量装置测量系统测量坐标系 基准点位置 建立外部测量坐标系OoXoYoZo和系统坐标系ObXbYbZb之间的关系 经过坐标变换链 可以得到每一个测头坐标系到系统测量坐标系的变换关系 即系统标定 OsXsYsZs OTXTYTZT OoXoYoZo ObXbYbZb 7 4智能视觉传感技术 7 4 1智能视觉传感器及其结构组7 4 2智能视觉传感器的特点及其发展趋势7 4 3几种典型的智能视觉传感器 7 4 1智能视觉传感器及其结构组成 智能视觉传感器 IntelligentVisionSensor 通常也称为智能相机 SmartCamera 是一种集图像采集 分析处理和信息传输于一体的微小型视觉检测系统 是一种嵌入式视觉传感器 7 4 2智能视觉传感器的特点及其发展趋势 7 4 2智能视觉传感器的特点及其发展趋势 进一步优化系统的体系结构 提高硬件系统的效率和可靠性开发性能更好 可靠性更高的嵌入式图像处理软件建立智能视觉传感器相关产品标准 智能视觉传感器的发展趋势 7 4 3几种典型的智能视觉传感器 7 4 3几种典型的智能视觉传感器 7 4 3几种典型的智能视觉传感器 7 4 3几种典型的智能视觉传感器 7 4 3几种典型的智能视觉传感器 7 5视觉传感应用技术 7 5 1汽车车身视觉检测系统7 5 2钢管直线度 截面尺寸在线视觉测量系统7 5 3三维形貌视觉测量7 5 4光学数码三维坐标测量 7 5 1汽车车身视觉检测系统 汽车车身视觉检测系统组成原理 汽车车身视觉检测系统的主体是多个视觉传感器 包括机械运送机构 机械定位机构 电气控制设备 计算机等相关组成部分 7 5 1汽车车身视觉检测系统 汽车车身视觉检测系统的优点 测量效率高测量工作全部自动完成车身视觉测量系统的组成灵活 基于机器人的柔性视觉测量装置 多传感器车身视觉测量应用系统 7 5 2钢管直线度 截面尺寸在线视觉测量系统 测量原理 测量系统由多个结构光传感器组成 传感器上结构光投射器投射的光平面和被测钢管相交 得到钢管截面圆周上的部分圆弧 传感器测量部分圆弧在