机器视觉应用实例课件第一章.ppt

视觉测量 主讲人 全燕鸣教授博士生导师 本章要点 1 1计算机视觉的发展与系统构成1 2生物视觉简介1 3Marr视觉理论框架1 4计算机视觉应用领域及面临问题1 5视觉测量系统与关键技术 第一章引论 什么是计算机视觉呢 让我们先来了解一些基础概念 做好本课程学习的准备工作 2 计算机视觉的研究目标计算机视觉的研究目标是使计算机具有通过一幅或多幅图像认知环境信息的能力 它不仅在于模拟人眼能完成的功能 更重要的是它能完成人眼所不能胜任的 1 什么是计算机视觉随着信号处理理论和计算机技术的发展 人们试图用摄像机获取环境图像并将其转换成数字信号 用计算机实现对视觉信息处理的全过程 这样就形成了一门新兴的学科 计算机视觉 视觉测量广泛应用于产品在线质量监控 微电子器件的自动检测 各种磨具三维形状的测量及生产线线中机械手的定位与瞄准 在检测领域有重要地位哦 3 视觉测量概念的提出从计算机视觉概念和方法出发 将计算机视觉应用于空间几何尺寸的精确测量和定位 从而产生了一种新的计算机视觉应用概念 视觉测量 视觉测量作为当今高新技术之一 在电子学 光学探测 图像处理和计算机技术不断成熟和完善的基础上得到了突飞猛进的发展 看一些实例吧 美国Perceptron公司研制的用于轿车车身生产的Perceptron1000型多传感器视觉测量系统 美国Faro公司产品 ATOS便携式三维扫描仪 英国3DScanners公司的产品 很多大公司都给予视觉测量领域足够的重视和资金支持 以上是一些世界知名企业的视觉测量产品 通过本课程的学习 我们会学习视觉测量的理论基础 当今视觉测量领域的发展现状 以及对视觉测量产品的运用 1 1计算机视觉的发展与系统构成 计算机视觉系统构成 计算机视觉系统一般以计算机为中心 主要有视觉传感器 高速图像采集系统及专用图像处理系统等模块构成 如图所示 1 视觉传感器 视觉传感器是整个计算机视觉系统信息的直接来源 主要由一个或两个图像传感器组成 有时还要配以光投射器及其它辅助设备 主要功能是获取足够的计算机视觉系统要处理的最原始图像 常用的图像传感器 激光传感器 线阵和面阵CCD摄像机或TV摄像机 数字摄相机 选择合适的光源对于获取清晰图像非常重要 让我们认识一些常用的光源 2 高速图像采集系统 由专用视频解码器 图像缓冲器以及控制接口电路组成 主要功能是适时地将视觉传感器获取的模拟视频信号转换为数字图像信号 并将图像直接传送给计算机进行显示和处理 或者将数字图像传送给专用图像处理系统进行视觉信号的实施前段处理 随着逻辑门阵列FPGA芯片的出现 使得大多数高速图像采集系统只需由几个芯片就可以完成 图像采集系统与计算机的接口采用工业标准总线 如ISA VME PCI等 3 专用图像处理系统 是计算机的辅助处理器 主要采用专用集成芯 ASIC 数字信号处理器 DSP 或者FPGA等设计的全硬件处理器 可以实时高速完成各种低级图像的处理算法 减轻后端计算机的处理负荷 提高整个视觉系统的速度 它与计算机之间的通信可以采用标准总线接口 串行通信总线接口或者网络通信等方式 4 计算机 计算机是整个计算机视觉系统的核心 它除了控制整个系统的各个模块的正常运行外 还承担着视觉系统的最后结果运算和输出 由图像采集系统输出的数字图像可以直接传送到计算机 有计算机采用纯软件方式完成所有的图像处理和其他运算 如果纯软件处理能够满足视觉系统的要求 就不需专用硬件处理系统出现在计算机视觉系统 小结随着计算机视觉的飞速发展 二维视觉处理已从二值视觉系统发展为灰度视觉系统 并达到实用 在三维视觉信息获取上 也取得了巨大的进步 并且由于实现思想和条件的不同 产生了相应的诸多方法 从一定程度上克服了自然环境的限制 进一步扩大了计算机视觉的应用领域 1 2生物视觉简介 生物视觉通路如下图所示 1 2 1生物视觉通路 视觉第一通路 神经节细胞轴突在外膝体患神经元后 由外膝体神经元直接经到视放线到视皮层 这是视束的大部分纤维去向 称为第一视觉通路 神经信号主要是通过视觉第一视通路到达视皮层 在视觉过程中起着主要作用视觉第二通路 视束的一小部分纤维走向内方 经上丘臂到达上丘和顶盖前区 上丘浅层神经元投射到丘脑枕换元后 再投射到视皮层 上丘还有纤维直接透射到视皮层 由于这条通路不经过外膝体 故称为视觉第二通路 第二视觉视通路的作用极其微小 由视觉视通路可以看到 眼 外膝体与视皮层构成了对视觉信息处理的三个基本层次 进一步分析表明 外膝体与视皮层有着更为复杂的分块结构 尤其是视皮层 分块表明了视觉信息处理的并行性 不同区域的是神经细胞具有不同的功能 分层表明了视觉信息处理的串行性 因此 生物视觉系统是一个串行并行处理相结合的复杂系统 1 2 2感受野的分层等级假设 视觉通路上各层次的神经细胞 由简单到复杂 它们所处理的信息 分别对应于视网膜上的一个局部区域 层次越深入 该区域就越大 这就是著名的感受野与感受野等级假设 感受野是支持视觉信息分层串行处理的最重要的生理学证据 以信息处理的第一级为例 视网膜上的神经节细胞将感光细胞上接收到的光信号转换成电信号再由它的轴突传出 但每一个GC细胞只能接收视网膜上一个局部区域的信号 该区域就是GC的感受野 GC感受野及其对光信号的转换作用分为 1 对空间亮度变化敏感的感受野 2 对时间变化敏感的Y型细胞 1 2 3视觉信息的并行处理 感受野的等级假设与局部性质主要支持视觉信息处理的自下而上的分层次串行处理 然而视觉系统的任务不是单一的 它要识别物体的形状和颜色 要得到三维物体的深度信息 要检测物体的方位和运动参数等等 因此 视觉通路的各个层次上存在着基本互相独立的并行通道 分别完成不同的视觉任务 视觉信息的处理是一个串行与并行相结合的复杂信息处理过程 但目前被人们认知的仅仅是一小部分 从信息处理角度看 迄今对大多数的处理单元的知识还非常有限 只知道这个单元对某种信息 敏感 而信息是如何表征的 如何变换的 则仍不清楚 尤其是较高层信息的处理 1 3Marr视觉理论框架 1 3 1视觉系统研究的三个层次 1 3 2视觉信息处理的三个阶段 Marr视觉理论的不足之处 1 框架中输入是被动的 给什么图像 系统就处理什么图像 2 框架中加工目的不变 总是恢复场景中物体的位置和形状等 3 框架缺乏或者说为足够重视高层知识的指导作用 4 整个框架中信息加工过程基本自下而上 单向流动 没有反馈 改进的Marr框架 1 4计算机视觉应用领域及面临问题 1 工业自动化生产线应用 产品检测 工业探伤 自动焊接等 2 各类检验和监视应用 标签文字标记检查 邮政自动化 显微医学操作等 3 视觉导航应用 巡航导弹制导 无人驾驶飞机飞行 自动行驶车辆等 4 图像自动解释应用 对放射图 显微图像 医学图像 遥感多波段图1像等进行自动判读理解 5 人机交互应用 人脸识别 智能代理等 6 虚拟现实应用 飞机驾驶员训练 医学手术模拟 场景建模等 1 4 1计算机视觉应用领域 建立人类视觉的计算理论 并进而建成可与人类视觉系统相比拟的通用视觉系统是计算机视觉研究的最终目标 1 4 2计算机视觉面临的问题 1 如何准确 高速 实时 地识别出目标 2 如何有效的增大存储容量 以便容纳下足够细节的目标图像 3 如何有效的构造和组