第7章_机器人的视觉

1、第七章 机器人的视觉,多传感器在移动机器人中的应用,7.1 概述,有研究结果表明，视觉获得的感知信息占人对外界感知信息的80%。 人类视觉细胞数量的数量级大约为108，是听觉细胞的300多倍，是皮肤感觉细胞的100多倍。,一、视觉的本质： 视觉感知过程是一个由客观空间的物理存在到主观概念确定的不断概括抽象的过程，是一个从具体的多彩繁复的空间景物到简练的语言形式概念描述的过程。 二、人类视觉系统的特点 轮廓特征的抽取能力； 模式或模型的表达能力； 描述与理解能力,三、人类视觉系统的三个层次 低层处理： 基于图象特征抽取与分割阶段； 中层模型表达： 基于物体的几何模型与图象特征表达； 高层理解及描

2、述：基于景物知识的描述与理解。,四、机器人视觉的目标与任务 1、定义：研究用机器人来模拟人和生物的视觉系统功能。 2、目标：使机器人具有感知周围视觉世界的能力。让机器人具有对周围世界的空间物体进行传感、抽象、判断的能力，从而达到识别、理解的目的。 3、任务：图象的获取、预处理、图象分割与表示与描述、识别与分类、三维信息理解、景物描述、图象解释。红色部分就构成了图像分析的研究内容。,视觉理解的任务：发现景物中有什么物体，它们的形状和材料是什么，它在什么地方，他在干什么,计算机视觉的任务与工作流程,预处理,表示与描述,图象获取,识别分类,关系描述,理解,解 释,图像分析,一、机器人视觉系统的硬件系

3、统 硬件组成： 软件组成： 二、CCD原理,7.2 机器人的视觉系统的组成及其工作原理,CCD （电荷耦合器件）的基本结构是一个间隙很小的光敏电极阵列，即无数个CCD单元组成，也称为像素点（如448380）。它可以是一维的线阵，也可以是二维的面阵。,优点：体积小、质量轻、寿命长、抗冲击、耗电极少，一般只需几十毫瓦就可以启动。,CCD（电荷耦合器件：charge coupled devices）,计算机视觉的任务与工作流程,7.3 视觉信息的处理（图像分析）,一、视觉处理过程及方法 预处理、分割、特征抽取、识别,a)分辨率变化对图像的影响,共256级灰度，从图（a）到（f）分辨率依次为51251

4、2， 256256，128128，6464，3232，1616。,从图（a）到（f）分辨率依次为512512，灰度级依次为256 ，64，16，8，4，2。,b) 灰度变化对图像的影响,从图（a）到（f）依次为：256256，128级灰度；181 181，64级灰度；128 128，32级灰度；90 90，16级灰度；64 64，8级灰度；45 45，4级灰度。,c)分辨率和灰度同时变化对图像的影响,按照图像识别从易到难，可分为三类问题。 第一类识别问题: 图像中的像素表达了某一物体的某种特定信息。如遥感图像中的某一像素代表地面某一位置地物的一定光谱波段的反射特性，通过它即可判别出该地物的种类

5、。,第二类问题: 待识别物是有形的整体，二维图像信息已经足够识别该物体，如文字识别、某些具有稳定可视表面的三维体识别等。但这类问题不像第一类问题容易表示成特征矢量，在识别过程中，应先将待识别物体正确地从图像的背景中分割出来，再设法将建立起来的图像中物体的属性图与假定模型库的属性图之间匹配。 第三类问题: 是由输入的二维图、要素图、25维图等，得出被测物体的三维表示。这里存着如何将隐含的三维信息提取出来的问题，当是今研究的热点。,二、图像分析的关键技术 1、低层处理的图象分割算法不稳定，很难把物体在图象中相应位置截然分割开来； 2、从平面图象出发发现立体信息（病态问题）； 3、大规模并行图象处理

6、； 三、图像分析的相关学科 属于计算机学科，但它的基础知识来自神经生理学、认知心理学、物理学、数学等经典学科，它又与计算机学科中的图象处理、模式识别、人工智能等学科有着不可分离的关系。图像分析是一门多学科的交叉。,四、图像分析的发展历程 1、图像分析的兴起(1964年1970年) 以改善图像质量为目标的计算机图像处理得到蓬勃发展。 2、图像分析的发展(1970年1980年） 围绕着纹理分析、图像编码、图像分割和滤波等问题的实验研究，也取得重大突破。 3、图像分析的困惑(1980年至现在) 即着眼于对图像的识别和理解。对图像的分析与处理，也由静止转向运动，由二维转向三维。 图像分析处理所面临的根

7、本性困难有： 所处理的信息量大得惊人； 图像都是非常模糊和歧义的； 由于人脑的视觉功能同样是有许多关键的规律有待于揭示； 人与机器的组织结构、工作机理不同。,多个摄像头图象融合,多模态生物特征融合 音视频特征关联模型 多模态生物特征数据库 多层级融合策略与框架 生物特征鉴别平台,当前图像分析研究的热点,服务于人机交互(Human Computer Interaction) 人脸，手势识别与合成，虚拟人(Avatar) 与通信和信息检索结合 基于内容的图象和视频检索 与多媒体技术的结合 视频和图象的压缩(mpeg4, mpeg 7) 多种媒体媒体信息的结合 与计算机图形学的结合 基于图形的绘制,

8、机器人的听觉,特定人的语音识别系统,听觉系统的粗略框图,特定人语音识别方法是将事先指定的人的声音中的每一个字音的特征矩阵存储起来，形成一个标准模板（或叫模板），然后再进行匹配。它首先要记忆一个或几个语音特征，而且被指定人讲话的内容也必须是事先规定好的有限的几句话。特定人语音识别系统可以识别讲话的人是否是事先指定的人，讲的是哪一句话。,非特定人的语音识别方法则需要对一组有代表性的人的语音进行训练，找出同一词音的共性，这种训练往往是开放式的，能对系统进行不断的修正。在系统工作时，将接收到的声音信号用同样的办法求出它们的特征矩阵，再与标准模式相比较。看它与哪个模板相同或相近，从而识别该信号的含义。,非特定人的语音识别系统大致可以分为语言识别系统，单词识别系统，及数字音（09）识别系统。,非特定人的语音识别系统,7. 多传感器信息融合,多传感器信息融合技术是通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在时间和空间上的冗余或互补信息依据某种准则进行组合，以获取被观测对象的一致性解释或描述。,多传感器融合系统主要特点是：（1）提供了冗余、互补信息。（2）信息分层的结构特性。（3）实时性。（4）低代价性。,多传感与单传感的比较：多传感器数据融合系统可更大程度获取被探测目标和环境的信息量。单传感