机器视觉.ppt.ppt

机器视觉,基本概念简介,课程内容简介,概述marr视觉理论二维图像分析概述成像几何基础摄像机模型与摄像机标定立体视觉与三维重建,第一部分概述,机器视觉也称为计算机视觉，包括单目视觉、双目（立体）视觉和多目视觉研究用计算机来模拟生物外部显示器或宏观视觉功能的科学和技术首要目标是用图像创建或恢复现实视觉模型，然后认知现实世界,计算机视觉的传统应用领域,工业生产自动化（零部件定位，抓放，识别，质量检测）；移动机器人导航；生物医学图像分析；遥感图像解读：航空摄影图像、气象卫星图像、资源卫星图像,计算机视觉的现代应用,现代应用以人为中心，或以人为观察目标（上世纪90年代中期），主要观察人类的行为、动作、表情等，属于复杂任务。当今的计算机已经具有了性价比较高的，能够满足需求的计算能力,以人为中心的计算机视觉应用,视觉监视（visualsurveilance）多幅图像或视频中场景的分割和解释（segmentationandinterpretationofscenesinimagesorvideos）人机接口（human-computerinterfaces）先进感知（enhancedperception）安全识别（secureidentification）,观察人类方面（lookingatpeople）,场景中人的存在与定位（precenceandlocation）身体各部分（bodyparts）检测：面部（face）、四肢（limbs）、手（hands）等人的动作（actions)、行为（behavior）、姿态（gesture）、情绪（emotion）、步态（gait）、指纹（fingerprint）、虹膜（iris）检测,机器视觉的应用,各种球类运动分析矿业、森林业、农业、自然资源和生态环境检测三维物体重构城市规划设计远程教育、多媒体教育远程手术,机器视觉的主要研究内容,输入设备低层视觉中层视觉高层视觉体系结构,与机器视觉有关的会议,国际计算机视觉会议（iccv）国际模式识别会议（icpr）国际计算机视觉与模式识别会议（cvpr）欧洲计算机视觉会议（eccv）亚洲计算机视觉会议（accv）,与机器视觉有关的刊物,internationaljournalofcomputervisionieeetrans.onpamiieeetrans.onroboticsandautomationieeetrans.onimageprocessingcvgip(computervision,graphicsandimageprocessing)visualimagecomputingijprai(internationaljournalofpatternrecognitionandartificialintelligence)patternrecognition,本课程主要参考书,马颂德，张正友：计算机视觉计算理论与算法基础，科学出版社，北京，1998第一版贾云得：机器视觉，科学出版社，北京，2004年4月第一版计算机视觉中的多视图几何davida.forsyth,jeanponce:computervision:amodernapproach(清华大学出版影印版,电子工业出版社出版翻译版),场景图像通常是灰度图像，即三维场景在二维平面上的投影。场景信息通过灰度图像或灰度图像序列恢复处理需要进行多点对一点的映射逆变换，信息恢复过程中还需要有关的场景知识和投影几何知识。,机器视觉信息表示,机器视觉的输入装置,包括：成像设备景物探测成像数字化设备将成像设备输出的模拟信号转换为二维/三维数字化图像常用的成像设备：ccd彩色/黑白摄像机、数字扫描仪、超声成像探测仪、ct成像设备、红外成像系统、激光成像系统、计算成像系统等观测系统使用的光波段：根据探测对象不同的物理介质、材料和状态可以从可见光、红外、x射线、微波、超声到射线。观测对象：静止的、运动的、平面的、立体的。,机器视觉的输入装置应用举例,产品内部缺陷（内部裂纹和气孔等）检验：x射线照相或超声探测航空图像：普通的视频摄像机卫星图像：气象卫星红外成像传感系统获取不同云层的图像（云图）；海洋卫星合成孔径雷达获取海洋、浅滩等图像以重构海洋波浪及海滩的三维表面图；资源卫星多光谱探测器（multiplespectralsensor,mss）获取地表相应点的多个光谱段的反射特性（红外、可见光、紫外等），用于找矿、森林和农作物调查、自然灾害测报、资源和生态环境监测等,机器视觉的输入装置应用举例,医学图像分析：x射线成像、计算机层析（computerdtomography,ct）、核磁共振成像（magneticresonanceimaging,mri）、超声成像等。可以对图像进行增强、标记、染色等以帮助医生诊断疾病，协助医生对感兴趣的区域进行定量测量和比较；利用专家知识系统对图像（图像系列）进行自动分析和解释，给出诊断结果,第二部分：marr的视觉计算理论,marr理论把视觉过程看作一个信息处理的过程，并提出对于信息处理过程的研究应分为计算理论、表示（数据结构）与算法、硬件实现三个层次,计算理论层次,回答作为信息处理过程的视觉过程，它的输入是什么？输出是什么？为什么由这个输入可以求得输出（输入输出之间存在的内在约束）等问题。或者说“计算的目的是什么？为什么这一计算是合适的？执行这一计算的策略是什么？,表示和算法层次与硬件实现层次,表示和算法层次回答如何实现计算理论，特别是输入输出的表示（数据结构）是什么，为实现表示之间的变换应当采用什么算法硬件实现层次解决在物理上如何实现这种表示和算法,视觉过程的三个阶段,marr理论规定视觉过程为从二维的图像信息中定量地恢复出图像所反映的场景中的三维物体的形状和空间位置视觉过程所要完成的任务分成三个阶段：图像要素图2.5维图三维表示,视觉过程的第一阶段,早期视觉或低层视觉（lowlevel）：由输入图像获得要素图。借用了大量图像处理技术和算法，如滤波、增强、边缘检测等，以便从图像中抽取如“零交叉”、斑点、端点、焦点、边缘、线条、有效线段、线段组、曲线组织、边界以及色彩等关于场景的基本特征（要素图）。即图像中强度变化剧烈处的位置及其几何分布和组织结构，边界等。还包括各种图像变换（如校正）、纹理检测、图像运动检测等方法。目的：更清楚地表示原始二维图中像的重要信息,视觉过程的第二阶段,中期视觉或中层视觉（middlelevel）：由输入图像和要素图恢复各点离观察者的距离（场景深度）、可见表面上各点的法线方向、轮廓、深度上的不连续点、表面法向上的不连续点等有关场景的2.5维图。实现的途径：立体视觉（stereovision)、测距成像（rangefingder)、运动估计(motionestimation)、明暗特征、纹理特征等所谓从x恢复形状的估计方法。系统标定、系统成像模型等研究一般也在这个层次上进行。,视觉过程的第三阶段,后期视觉或高层视觉（highlevel）：在以物体为中心的坐标系中，在输入图像、要素图、2.5维图，恢复物体的完整三维图，建立物体三维描述、识别三维物体并确定物体的位置和方向，给出各物体之间的空间关系的描述。,一些困难问题,1图像的多义性：三维场景投影为二维图像，深度和不可见部分的信息被丢失了。不同视角下的图像有极大不同，遮挡丢失信息、不同形状的物体投影在图像平面上产生相同图像。2环境因素影响：如照明、物体形状、表面颜色、摄像机以及空间位置变化。3成像过程存在畸变和噪声4不同的知识引导可能产生不同的空间关系，从而产生不同的识别结果。5数据量大，需要大存储空间，不易提高处理速度。,解决问题的可能途径,主动视觉（activevision）面向任务的视觉（task-orientedvision）基于知识、基于模型的视觉（knowledge-based,model-basedvision）多传感器信息融合集成视觉,机器视觉和其他学科领域的关系（1）图像处理,图像处理通常是把一幅图像变换成另外一幅图像，信息恢复任务留给人来完成，包括图像增强、图像压缩、模糊校正与非聚焦图像等内容，输入和输出都是图像机器视觉的输入是图像，输出为另一种形式（如物体轮廓表示等），重点是在人的最小干预下，由计算机自动恢复和识别场景信息。,机器视觉和其他学科领域的关系（2）计算机图形学,计算机图形学通过几何基元（线、圆、自由曲面等）生成图像，在可视化（visualization）和虚拟现实（virtualreality）中起着很重要的作用。属于图像综合机器视觉解决计算机图形学的相反问题，从图像中估计几何基元和其他特征，属于图像分析。随着技术的发展，两个领域开始互相借鉴，后者使用了前者的曲线和曲面表示方法等技术，前者采用后者的技术，在计算机中建立逼真的图像模型。,机器视觉和其他学科领域的关系（3）模式识别,模式识别主要用于识别各种符号、图画等平面图形，一般指一类事物区别于其他事物所具有的共同特征，主要方法有统计方法和句法方法两种。模式识别是机器视觉识别物体的重要基础之一，同时还经常需要其它的技术。,机器视觉和其他学科领域的关系（4）人工智能,人工智能（artificialintelligent,ai）的许多技术在机器视觉的各个方面起着重要作用，被认为是人工智能的一个分支，涉及智能系统的设计和智能计算的研究。在图像处理和特征提取后，用仍哦能够智能方法对场景特征进行表示、分析和理解。其三个过程是：感知（将外界信息转换成信号并表示为符号）、认知（对符号进行操作）和行动（将符号转成影响外界的信号）。,机器视觉和其他学科领域的关系（5）人工神经网络,人工神经网络（artificailneuralnetworks,anns）是一种信息处理系统。可以作为一种方法和机制解决机器视觉中的许多问题。由大量简单的处理单元（神经元）通过具有强度的连接相互联系起来，实现并行分布式处理（paralleldistributionprocessing,pdp），