机器视觉与应用

1、2009-11-2612009-11-26曹其新 机器人研究所qxcao- hans/node/98机器视觉与应用第一章引论视觉是人类观察世界和认知世界的重要手段给计算机、机器人或其他智能机器赋予人类 视觉功能机器视觉能象人类或生物那样高效、灵活和活和 通用的视觉是我们的目标计算机技术使得视觉理论得到了实现和发展 当今世界上机器视觉最新发展现状Varied Robots(2)22009-11-2632009-11-26Varied Robots(3)服务机器人音乐指挥机器人清洗巨人雕刻机器人X险测机器人腔修复机器人口爬缆索机器人匸导游机器人中国科技馆中的机器人二脑外科机器人机器人家族的新成员康

2、复机器人汽车加油机器人球罐焊接、十、水下机器人42009-11-2652009-11-26为农民而造采摘水果机器人机器一自动挤牛奶系统机器人牧羊犬伐根机器人嫁接机器人移栽机器人喷农药机器人林木球果采集机器人十二、农林业机器人Varied Robots (5)Varied Robots(6)Honda ASIMOIn tellige nt RobotI Visual sense1 %1 3/20 %I Olfaction11 %3 17/20 %Tactile senseGustatory senseofsense organs contribution to thacquirement of

3、surroundings62009-11-2672009-11-26What is Computer Visio n?二?Defin iti on二Aims to duplicate the effect of humanvision by electronically perceiving and-Zunderstanding an imageComputatio nal Visio n-Attempts to understand visual perceptionand understandingMachi ne Visio n-Attempts to create practical

4、application forXcomputer vision第一章引论1.1机器视觉概念1.2视觉计算理论1.3机器视觉的应用1.4机器视觉研究的内容1.5研究面临的困难1.6与其他领域的关系1.7成像几何基础1.1机器视觉概念0概念为计算机和机器人开发具有与人类水平相当的视觉 能力。机器视觉需要图象信号，纹理和颜色建模，几何 处理和推理，以及物体建模 。发展历史?50年 代：统计模式识别?60年 代:三维机器视觉?70年 代:计算视觉(computational vision)理论?80年代至今：蓬勃发展1.2视觉计算理论视觉信息处理中的主要矛盾聚类过程与因素分解过程的关系马尔(Marr)

5、的视觉计算理论基于重构的视觉处理方法视觉是信息处理过程描述是由不同层次的表象(epresentation) 组成三个层次的表象格式塔(Gestalt)视觉理论基于对理的视觉处理方法吉 ftMH*觉表示的框架2.511*中：阳地梅$中,鼻育电蜃 宵的FFL舐奥E和/證嶽此思*忘氐着弹农中星和压中用III库护荃元 协韭富K空可筑!R張式.田厦甲4叩.內孫堂萌艮禺會,住热fl型总卵富Z汝.1鹿厲綠F三打取S誓巾-丼用里默可町*邛上勺氏曲.号円堪元乱云讯曙欢命刃占乩哺此上 1-1 由tMllWMtniWH82009-11-2692009-11-261.2.3关于Marr的视觉计算理论的讨论关于Marr

6、的视觉计算理论的特点：z完全不考虑视觉中的选择性和整体性(holistic)z把低层视觉研究的目标确定为按照各种物理模型和附加约束 条件，根据图象中各点的亮度或其它测量结果恢复景物中表面 的各种有关特性，如表面方向、距离、反射率等，即重构景物 的三维结构z在低层视觉信息处理中不需要关于图象中包含内容的先验知识面临的困难z图象中某点的测量值与相应表面点性质之间的关系是不确定 和多义性的。若要根据图象数据确定表面点的特性值必须增加 附加的约束条件z是以逐点计算方式进行处理带来的巨大计算量安全鉴别、监视与跟踪国防系统其他：影视制作、远程教育等1.3 机器视；觉的应用零件识别和定位产品检验移动机器人导

7、航遥感图像分析医学图像分析自动控制 电子工业 电力生产 机械制造 医药行业 玻璃/陶瓷 包装行业 印刷行业 交通/运输机器视觉工业?纺织工业?机器人技术其它方面?自然产品 其它不是工业方面?安全方面PrlmAfytw mdhin* Titian応1&-.ilsGltlzfe机器视觉任务测量方面长度,宽度,高度?角度,定位 ?缺口，位置 ?面积，中心 ?直线?外形,轮廓?颜色非测量方面?属性?集成度?曲率?字符?代码识别?物体辩识?结构，构造?位置识别102009-11-26112009-11-26自动控制工业Part Inspection=4sl-slslfiMsls 13ISI自动控制:焊接

8、检测自动控制:相机引导的焊接机器人自动控制:相机引导的装配自动控制:相机引导的装配纺织工业122009-11-26132009-11-26PCB检测（定位，焊接等） ? ? ic的几何识别?半导体的识别（OCV）电子工业/半导体行业焊球表面缺陷检测?结构光照明焊球表面缺陷检测结构光自然光良好焊球缺陷焊球灯泡检测灯泡检测对于药品生产线的检测-污染-缺少产品医药行业142009-11-26152009-11-26温度计的校准印刷工业特殊的要求：?非常高的速度能够达到?非常短的快门时间10-20m/Sec标签识别用于成批量的标签检测 条码，二维条码的印刷检测例如：?印刷位置的调整?印刷质量检测? P

9、ictor Robot Eye Vision & Control, Suhl相机引导装配hotograph ? Vision & Control, Suhl?二维码读取? OCR （字符的识别）? OCV （字符校验）?条形码读取?点码读取代码识别162009-11-26172009-11-26二维码识别部件检测/分类?快速光学测量?零件的分类?机器工具的检测?联网检测部件长度检测刀具的检测Photographs ? Industrial ResearchLtd. , Auckland, New Zealand182009-11-26192009-11-26焊球面积，重心检测焊球面积，重心检测

10、二值化处理灰度变换原始图片去噪? Vision Experts GmbH, KarlsruheImages ? Vision Experts, Karlsruhe冲压机的部件检测AIT G?hner GmbH, Stuttgart完全的检测系统添加高度的控制202009-11-26212009-11-26自然产品处理?重量测量（3D测量），食品工业?木板的测量大马哈鱼重量的测量u ro Neumann GmbH, Mu hlheimPhotographs ? IBN IngenieurDIBN Ingenieurbu ro Neumann GmbH, M u hlheim木板的测量222009

11、-11-26232009-11-26木板的测量木板的测量测量时的软件布局板Camera software1 I| APC software1 Image1 processing1 finding edge1 coordinates of1 boards1.Coordi-TransformationSorting of measure-Filtering of board width measuremen tsUser Interface / Beam width display (current boards and history)?在相机中进行图象 二 处理| * ?协调在PC机上的传La

12、4输和结果的演示? 4个相机传输边缘 数据?并行实时图象处理? 30次扫描每秒其它的非工业应用游戏方面-交互式视频游戏-游戏卡的读取 安全领域-指纹识别-虹膜识别-脸孔识别交通控制-交通控制-车牌识别(OCR)-马路上车辆多少的识别242009-11-26252009-11-26Microsoft Natal比Wii更进一步，不再需要手柄，直接 做人体跟踪点此播放视频Ninten do Wii?用红外摄像头跟踪红外LED条，计算手 柄相对位姿人脸识别?检测笑脸指数头发、 定位眉毛、眼睛、鼻子、嘴巴识别与肖像绘制车辆检测262009-11-26272009-11-26*X.4机器视觉的研究内容输

13、入设备：成像设备和数字化设备低层视觉：对输入的原始图像进行处理中层视觉：恢复场景的深度、表面法线方向、轮廓等2.5维信息高层视觉：恢复物体的三维图，建立三维描述, 识别物体并确定其位置和方向体系结构：在高度抽象的层次上，根据系统模型来研究系统的结构研究面临的困难图像的多义性：三维投影到二维的信息丢失环境因素:光源、物体形状、颜色、摄像机位置知识引导:不同的知识引导产生不同的识别结果 :大量数据：巨大的数据量促使新的途径和手段，保证系 统自动运算计算机图形学人工神经网络模式识别机器视觉神经物理学1.6与其他领域的关系图像处理认知科学从功能上来看，典型的机器视觉系统可以分为：图像采集部 分图像处理

14、部分和运动控制部分。机器视觉技术是计算机学科的一个重要分支，它综合了光学、 机械、电子、计算机软硬件等方面的技术，涉及到计算机、 图像处理、模式识别、人工智能、信号处理、光机电一体化 等多个领域。自起步发展至今，已经有20多年的历史，其功能以及应用范围随着工业自动化的发展逐渐完善和推广，其中特别是目 前的数字图像传感器、CMOS CCD摄像机、DSP、FPGA、 ARM等嵌入式技术、图像处理和模式识别等技术的 快速发展，大大地推动了机器视觉的发展。机器视觉就是利用机器代替人眼来作各种测量和判断。在生 产线上，人来做此类测量和判断会因疲劳、个人之间的差异 等产生误差和错误，但是机器却会不知疲倦地

15、、稳定地进行 下去。机器视觉系统包括了照明系统、镜头、摄像系统和图像处理 系统。对于每一个应用，我们都需要考虑系统的运行速度和 图像的处理速度、使用彩色还是黑白摄像机、检测目标的尺 寸还是检测目标有无缺陷、视场需要多大、分辨率需要多高、 对比度需要多大等。#2009-11-26282009-11-26?处理结果控制流水线的动作、进行定位、纠正运动的误差等。?从上述的工作流程可以看出，机器视觉是一种比较复杂的系统。因为大 多数系统监控对象都是运动物体，系统与运动物体的匹配和协调动作尤 为重要，所以给系统各部分的动作时间和处理速度带来了严格的要求。r在某些应用领域，例如机器人、飞行物体导制等，对整

16、个系统或者系统 的一部分的重量、体积和功耗都会有严格的要求。?工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图 像采集部分发送触发脉冲。? *图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发 出启动脉冲。?匚:摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在启动脉二冲来到之前处于等待状态，启动脉冲到来后启动一帧扫描。?；摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定。?另一个启动脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时 间匹配。?二摄像机曝光后，正式开始始帧图帧图像扫描和输出输出?三图像采集部分接收模拟视频信号通过A/D将其数字化，或者是直接接收摄像机数字化后的数字视频数据。图像采集部分将数字图像存放在处理器或计算机的内存中。?.匚处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值。机器视觉系统的优点有：非接触测量，对于观测者与被观测者都不会产生任 何损伤，从而提高系统的可靠性。t：?具有较宽的光谱响应范围，例如使用人眼看不见的红 外测量，扩展了人眼的视觉范围。长时间稳定工作，人类难以长时间对同一对象进行 观察，而机器视觉则可以长时间地作测量、分析和识 别任务。机器视觉系统的应用领域越来越广泛。在工业、 农业、国防、交通、医疗、金融甚至体育、娱乐等等 行业都获得了广泛的应用，可以说已经深入到