（机械设计及理论专业论文）基于机器视觉的智能控制与图像识别问题研究.pdf

硕十学何论文 摘要 本文基于机器视觉理论，应用计算机、嵌入式控制系统、图像识别等相关技 术，对智能车的运动状态控制、障碍物的图像实时匹配与识别、空间坐标的确定 等理论与技术进行了的研究。主要研究内容与结果包括以下几个方面： ( 1 ) 综述了国内外机器视觉、嵌入式智能控制系统等相关技术的研究发展现 状，对嵌入式控制系统的硬件和软件进行分类研究，并阐述了本文的研究意义； ( 2 ) 基于运动学理论，建立了智能车运动的数学模型；以a t m a g e l 6 作为控 制单元，设计最优的运动控制平台并实现了硬件部分的系统测试； ( 3 ) 实现肛c o s i i 实时操作系统在a t m a g e l 6 平台上的完全移植，编写p w m 、 s p i 、u a i 盯的底层驱动程序和电机控制、信号采集、通讯等应用程序；并进行了 软件和硬件系统的综合性能测试： ( 4 ) 采用2 d 平面靶标定法，实现摄像机的标定；通过低通滤波、s o b e l 卷积 核对图像滤波和卷积，实现图像特征点的检测； ( 5 ) 应用已知极线的方法对特征点进行特征匹配，基于视差原理确定特征点 的空间坐标和空间尺寸。 本文研究内容属智能控制、图像识别等多学科交叉基础研究的前沿领域，研 究结果具有潜在的工程应用前景。 关键词：机器视觉；嵌入式：智能控制；边缘检测；视差；匹配。 本课题得到甘肃省自然基金项目( 3 z s 0 4 2 - b 2 5 0 1 9 ) 和甘肃省教育厅研究生导 师项目( 0 6 0 3 0 5 ) 的部分资助。 基丁机器视觉的智能摔制j 罔像识别问题研究 a b s t r a c t b a s e do nt h et h e o 巧o fm a c h i n ev i s i o n ，t h em o v e m e n tc o n t r o lo f i n t e l l i g e n tc a r ，a n d t h e r e a l t i m ec h a r a c t e r i s t i c si d e n t i f i c a t i o n a n ds p a t i a lc o o r d i n a t e sd e t e r m i n a t i o no f o b s t a c l e si m a g e sd e e p l yi n v e s t i g a t e db yt h e o r e t i c a l l ya n d t e c h n i c a l l yw i t ht h ec o m p u t e r ， e m b e d d e dc o n t r o ls y s t e ma n di m a g e r e c o g n i t i o nt e c h n o l o g i e si nt h i st h e s i s t h em a i n w o r k a n da c h i e v e m e n t sa r e ( 1 ) t h ed e v e l o p m e n to fm a c h i n ev i s i o n ，t h eh a r d w a r ea n ds o f h a r eo f e n l b e d d e d c o n t r o l l i n gs y s t e m sa r es u m m 撕z e d ，r e s p e c t i v e l y t h ei m p o r t a n ts c i e n t i f i c s i g n i f i c a n c ea n dp r a c t i c a lv a l u eo ft l l e s i sa r ei n t r o d u c e dt o o ( 2 ) o n em a t h e m a t i c a lm o d e lo fi n t e l l i g e n tc a u ri sp r o p o s e db a s e do nt h ek i n e m a t i c t h e o 阱t h e n ，u s i n ga t 撇g e 16u i l i t ，t h eo p t i m i z e dm o t i o nc o r l t r o l l i n gh a r d w a r ep l a t f o mi s d e v e l o p e da n dt e s e d ( 3 ) a r e rt h er e a l - t i m eo p e r a t i n gs y s t e mp c 0 s i ii sc o m p l e t e dt r a n s p l a n t a t e dt 0 a r m a g e l6c o n t f o lp l a t f o 肺，a l lo fh a r d w a r e ss u c ha sp w m ，s p i ，a n du a r ta r ed f i v e db v o u rc o d e dp r o g r a m e ，t h ea p p l i c a t i o n sp r o g r a m eo ft l l e m o t o rc o n t r o l ，s i g n a ls a m p l ea n d c o m m u n i c a t i o n sa r ec o d e dt o o ，f i n a l l y t h es y e t e m sc h a r a c t e r i s t i c so fs o f t w a u r ea r et e s t e d ( 4 ) c a l i b r a t i o no ft h ec a m e r ai sr e a l i z e db y2 dp l a n et a 喀e tm e t h o d ，t h el o w - p a s sa n d s o b e lc o n v o l u t i o nc o r ea r ea d o p t e dt od e t e c tt h ef e a t u r ep o i mo fi m a g e sb yt h el o w p a s s a n dc o n v o l u t i o n ，r e s p e c t i v e l y ( 5 ) u s i n gt l l e k n o w ne p i p o l a rf e a t u r et o m a t c h i n gf e a t u i ep o i n t s ，t h es p a t i a l c o o r d i n a t e sa r ed e t e r m i n e db a s e do nt h ep r i n c i p l eo f p a r a l l a x t h et h e s i sb e l o n g st ot h eb a s i ca n df r o n t i e rr e s e a r c h sf o ri n t e f 。d i s c i p l i n ei n t e l l i g e n t c o n t r o la n di m a g ei d e n t i 黟，t h er e s u l t sh a v ei m p o t m e n t p r a e t i c a lv a l u e k e yw o r d s ：m a c h i n e s i o n ；e m b e d d e d ；i n t e l l i g e mc o n t r o l ；e d g ed e t e c t i o n ；p a r a l l a x ； m a t c h ，n l i st h e s i si s p 引l ys u p p o n e db yg a n s un s f c ( 3 z s 0 4 2 b 2 5 019 ) a n dg a n s u d e p a r t h l e n to fe d u c a t i o np r o j e c t ( 0 6 0 3 0 5 ) 1 1 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：孑玖豸仍日期：劈7 年月矿日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同 时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据 库，并通过网络向社会公众提供信息服务。 作者签名： 导师签名： ；秋自匕 畴胗祝 月口日 月，6 日 硕十学何论文 第1 章绪论 在人类的感觉器官中，视觉是最重要的。据不完全统计，人的视觉细胞数比 听觉细胞多二三千倍，是皮肤触觉细胞的一百多倍。因而可以说，人类从外界获 取的信息有8 0 是依靠眼睛得到的【1 1 。而在现代化工业大生产中，传统的人工视 觉检测方法己经不能适应生产自动化和高外观质量的要求，因而人们开始考虑把 计算机的快速性、可靠性、结果的一致性，与人类视觉的高度智能化和抽象能力 相结合，由此产生了一种新的检测技术“机器视觉技术”【2 j 。 1 1 课题研究背景及意义 机器视觉是指用计算机实现人的视觉功能对客观世界的三维场景的感知、识 别和理解【2 1 。这里主要有两类方法：仿生学的方法是参照人类视觉系统的结构原 理，建立相应的处理模块完成类似的功能和工作；工程的方法是从分析人类视 觉过程的功能着手，并不去刻意模拟人类视觉系统内部结构，而仅考虑系统的输 入和输出，并采用任何现有的可行的手段实现系统功能【3 。5 】。 机器视觉是交叉学科研究前沿的领域，它与研究人类或动物的视觉不同在于 借助于几何、物理和学习技术来构筑模型，用统计的方法来处理数据。因此从主 观的角度看，在透彻理解摄像机性能与物理成像过程的基础上，视觉对每个像素 进行简单的推理，将在多幅图像中得到的信息综合成一个整体，确定像素集之间 的联系以便将它们彼此分割开，或推断一些形状信息，使用几何信息或概率统计 技术来识别物体1 6 7 j 。 机器视觉成为一门独立的学科，可以从美国麻省理工学院m a r r 教授的一代人 所做的奠基性工作开始。在此期间，由于机器视觉具有的潜在应用前景，所涉及 的学科知识繁多，研究的问题又及富挑战性，因此，它一直是计算机学科中的一 门热门学科，并引起了许多从事心理学、神经科学、生理学、生物物理学、数学 与计算机学科等各学科领域研究人员的关注；同时图像处理、模式识别、人工智 能、数学、认知科学、机器学习、计算机图形学等各方面的研究成果又有力推进 机器视觉技术的发展【8 9 】。 机器视觉作为人工智能的子领域之一，它的目的是让计算机理解图像中的一 个场景或者特征，主要包括以下几个方面的研究与应用： ( 1 ) 为了控制目标而获取所需数据的图像自动获取和分析1 6 】； ( 2 ) 给一个有能力去做事和反应的机器人提供系统导航； ( 3 ) 用视频摄像机、机器人或者其他设备的一个系统，通过计算机进行可视 基丁机器视觉的午7 能控制与图像识别问题研究 化的分析操作或行为指导。典型应用包括自动监测、光学字符识别和其他的非接 触应用【l o j ； ( 4 ) 机器视觉是计算机视觉在工厂自动化的一个典型应用。正如监视员在一 个装配线上工作，可视地监视物件并判断其质量。 机器视觉的优点有：( 1 ) 实现非接触测量；( 2 ) 具有较宽的光谱响应范围；( 3 ) 长时间无人工作【l l 1 2 1 。 因为具备这些优点，机器视觉在质量检测、金属板表面自动探伤系统、汽车 车身检测系统、纸币印刷质量检测系统、智能交通管理系统、金相分析、医疗图 像分析、瓶装啤酒生产流水线检测系统等领域得到了广泛的运用【l 3 1 。 且随着机器视觉技术自身的成熟和发展，机器视觉在各个行业得到了广泛运 用。据不完全统计，目前全球整个视觉市场规模总量大概为7 0 亿美元，并且每年 按l o 左右的速度递增而在我国，由于工业自动化程度还没有达到国外的先进水 平，机器视觉系统的运用也还处于起步阶段。但随着生产自动化程度以及生产质 量和管理水平的不断提高，中国对机器视觉的需求规模也会不断扩大，所以在国 内研制发展机器视觉具有巨大的市场潜力2 ，14 1 。 1 2 课题研究现状 1 2 1 国外研究状况 机器视觉在r o b e r t s 工作之前都是基于二维的研究，而且多数是采用模式识别 的方法完成分类工作的。r o b e r t s 首先用程序成功地对三维积木世界进行解释，在 之后类似的研究中，h u f f m a n 等人对积木世界进行了研究并分别解决了由线段解 释景物和处理阴影等问题【1 ，2 ，5 1 。积木世界的研究反映了视觉早期研究中的一些特 点，即从简化的世界出发进行研究。这些工作对视觉研究的发展起了促进作用， 但对于稍微复杂的景物便难以奏效。 2 0 世纪7 0 年代中期，m a ”等人提出了一整套视觉计算的理论来描述视觉过 程，其核心是从图像恢复物体的三维形状【l ，引。在视觉研究的理论上，以m a r r 的 理论影响最为深远。其理论强调表示的重要性，提出要从不同层次去研究信息处 理的问题；对于计算理论和算法实现，他又特别强调计算理论的重要性3 1 。这一 框架虽然在细节上甚至在主导思想上还存在不完备的方面，许多方面还有很多争 议，但至今仍是目前计算机视觉研究的基本框架i l ，6 】。 进入8 0 年代中后期，随着移动式机器人技术的研究，视觉研究与之密切结合， 大量引入了空间几何的方法以及物理知识，其主要目标是实现对道路和障碍的识 别处理。这一时期引入主动视觉的研究方法，使用了距离传感器，并采用了多传 感器融合等技术。这些技术对信息进行选择性的处理，能更好的通过视觉传感器 2 硕十学位论文 进行道路和障碍的识别i l 川。 机器视觉系统按其发展可分为三代。第一代机器人视觉的功能是按规定流程 对图像进行处理并输出结果。第二代机器人视觉系统由一台计算机，一个图像输 入设备和结果输出硬件构成。第三代机器人视觉系统是目前国际上正在开发使用 的系统，采用高速图像处理芯片和并行算法，具有高度的智能和普通的适应性， 能模拟人的高度视觉功能【l 2 j 。 国外机器视觉系统应用于很多方面，如用于海洋石油开采，海底勘查的水下 机器人；用于医疗外科手术及研究的医用机器人；帮助人类研究了解宇宙的空间机 器人；完成特殊任务的核工业机器人等【l 2 1 。 1 2 2 国内研究状况 在国内机器视觉的研究也相当活跃。浙江大学机械系利用透视成像原理，采 用双目视觉方法实现了对多自由度机械装置的动态精确位姿检测，仅需从两幅对 应图像中抽取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态 情况。与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的 运动先验知识和限制条件，有利于提高检测精度，东南大学电子工程系机器视觉 研究组基于双目立体视觉，提出了一种灰度相关多峰值视差绝对值极小化立体匹 配新方法，可对三维不规则物体偏转线圈的三维空间坐标进行非接触精密测量。 哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航【7 】。将一个固定摄 像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部，可以同时 监视不同方位视点，体现出比人类视觉优越的一面【5 】。通过合理的资源分配及协调 机制，使机器人在视野范围。测距精度及处理速度方面达到最佳匹配。 双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通过数据 融合，也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双 目协调仍然可以实现全自主足球机器人导航。中国科学院自动化研究所研究的三 维重建技术，采用自动关键点匹配、双目重建、表面三角化和三维点拼接技术， 经过图像对提取，图像对关键点匹配，图像关键点的重建，三角化以及数据融合 生成物体完整的三维结构【2 1 。在完成重建后，可以从任意视点观察物体，具有立体 视觉效果，国内也有大量的公司致力于机器视觉的开发研究。他们主要有北京大 恒图像、北京微视凌云、北京微视新纪元、深圳市视觉龙科技、香港盈基科技、 深圳科瑞自动化、深圳步进科技等公司对自主的工业相机和采集卡新产品的不断 推出，并且应用到工业检测、质量检测的方面逐渐增加【1 6 j 。 1 3 研究内容 针对机器视觉研究与系统开发普遍存在问题：( 1 ) 准确、高速实时地识别出 3 基1 = 机器视觉的智能控制与图像识别问题研究 目标。( 2 ) 有效构造和组织出可靠的识别算法，并且顺利地实现。期待着高速的 阵列处理单元，以及算法( 如神经网络法、小波变换等算法) 的新突破，这样就 可以用极少的计算量高度地并行实现功能【1 7 - 2 。( 3 ) 实时性是一个难以解决的重 要问题【2 0 ，2 2 1 。图像采集速度较低以及图像处理需要较长时间给系统带来明显的时 滞，此外视觉信息的引入也明显增大了系统的计算量，例如计算图像雅可比矩阵、 估计深度信息等【_ 。图像处理速度是影响视觉系统实时性的主要瓶颈之一。 臣乎 驱 电 嵌 图 串行 入 动 机 像 总线 式 处控 理 制 系 系 统 统 驱 电 陬一 动 机 图1 1 系统总图 针对以上问题本文拟通过图像处理系统采集两个相机的视频信号，进行前期 的滤波、平滑处理，把两个相机所采集到得图像信息进行特征的提取与判断，对 前方的障碍信息进行三维模型的重构。 图像处理系统根据重构的信息和车体的运动状态来规划车体的下一步运动状 态，并发送指令给车体的嵌入式运动控制系统，智能车的嵌入式运动控制系统负 责底层的控制和计算任务，系统构成如图1 1 所示。主要研究的内容包括： 第1 章绪论首先对国内外机器视觉及基于嵌入式智能控制相关课题的研究 与发展以及机器视觉的发展与现状作了一个初步的概述，然后指出了本文的研究 意义。 第2 章机器视觉及嵌入式系统简要阐述了机器视觉的应用及特点。然后对 嵌入式控制系统的硬件和软件行了分析。 第3 章基于嵌入式系统的智能车控制根据机智能车的结构，结合运动合成 理论建立物理模型。根据物理模型设计控制系统的硬件，然后在硬件上移植 “c o s i i 实时操作系统并针对驱动编写电机控制、信号采集、通讯应用程序。 第4 章路况检测与辨识通过建立机模型对摄像机进行标定，然后对从摄像 机摄取的图像的进行滤波、边缘检测和特征点检测。通过已知极线的方法对检测 到得特征点进行匹配，然后对匹配成功的特征点进行基于视差原理的计算，以确 定特征点的空间坐标。 第5 章结论本文的工作总结。 4 硕十学何论文 第2 章机器视觉及嵌入式系统 机器视觉和嵌入式控制系统在实际生活生产中都有着广泛的应用，本章对机 器视觉的研究内容、发展历史和应用做整体上的介绍并且对嵌入式控制系统的硬 件的发展和种类以及应用于嵌入式控制系统的操作系统进行阐述。 2 1 机器视觉 2 1 1 机器视觉定义及研究内容 ( 1 ) 机器视觉的定义 机器视觉( m a c h i n ev i s i o n ) ，又称计算机视觉或人工视觉，是用计算机模拟 人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体 进行形态和运动识别。机器视觉研究的目的之一，就是要寻找人类视觉规律，从 而开发出从图像输入到自然景物分析的图像理解系统。对于机器视觉系统来说， 输入是表示三维景物投影的灰度阵列。可以有若干个输入阵列，这些阵列可提供 从不同方向、不同视角、不同时刻得到的信息。希望的输出是对图像所代表景物 的符号描述。通常这些描述是关于物体的类别和物体间的关系，也可能包括如表 面空间结构、表面物理特性( 形状、纹理、颜色、材料) 、阴影以及光源位置等信 息2 1 。 ( 2 ) 机器视觉的主要研究的内容 机器视觉的研究内容主要有输入设备、低层视觉、中层视觉、高层视觉、系 统结构等。输入设备包括成像设备和数字化设备。成像设备通过光学镜头成红外、 超声、x 射线等对周围场景和物体进行探测成像，得到关于场景和物体的二维或 三维数字化图像【7 母】。获取数字化图像是机器视觉的最基本的功能。目前用于机器 视觉的数字成像设备包括扫描仪、超声成像探测议、c t 成像设备等。但这些输入 设备还远远不能满足实际的需要，仍有许多研究人员在研究性能更为先进的成像 系统，如红外成像系统、激光成像系统，还有所谓的计算成像系统等【2 引。 低层视觉( l o wl e v e l ) 主要是对输入的原始图像进行处理，这一过程借用了 大量的图像处理技术和算法，如图像滤波、图像增强、边缘检测等。以便从图像 中抽取诸如角点、边缘、线条、图像校正、图像纹理检测和图像运动检测等。 中层视觉( m i d d l el e v e l ) 的主要任务是恢复场景的深度、表面法线方向、轮 廓等有关场景的2 5 维信息，实现的途径有立体视觉( s t e r e ov i s i o n ) 。测距成像 ( r a n g e f i n d e r ) 、运动估计( m o t i o ne s t i m a t e i o n ) 、明暗特征、纹理特征等，系统 5 基于机器视觉的钾能控制与图像识j l j 问题研究 成像模型等研究内容一般也是在这个层次上进行的。 高层视觉( h i 曲l e v e l ) 的任务是在以物体为中心的坐标系中，在原始输入图 像、图像基本特征、2 5 维图的基础上，恢复物体的完整三维图，建立物体三维描 述，识别三维物体并确定物体的位置和方向【2 0 ，2 。 系统结构( s v s t e ma r c h i t e c t u r e ) 是在高度抽象的层次上，根据系统模型而不 是根据实际设计的具体例子来研究系统的结构。为了说明这一点，可以考虑建筑 设计中某一时期的建筑风格和根据这一风格设计出来的具体建筑之间的区别。系 统结构的研究涉及一系列相关的课题：并行结构、信息流结构、拓扑结构以及从 设计到实现的途径等i ”l 7 1 。 2 1 2 机器视觉发展历史 机器视觉作为一门新的学科，发展十分迅速，并成为计算机科学的重要研究 领域之一。机器视觉主要起源于统计模式识别，最初的工作主要集中在二值图像 的分析和识别上，如字符识别、工件表面质量检测、显微图片、航空图片的分析 和解释等。6 0 年代。r o b e r t s 通过计算机程序从数字图像中，提取出诸如立方体、 楔形体、棱柱等多面体的三维结构，并且描述了物体形状和物体的空间关系。 r o b e n s 的研究开创了以理解三维场景为目的的三维机器视觉研究。人们进行了深 入的研究，从边缘、角点等特征提取、到线条、平面、曲面等几何要素分析，直 到图像明暗、纹理、运动以及成像几何等，并建立了各种数据结构和推理规则【9 ，2 引。 7 0 年代中期，麻省理工学院人工智能室正式开设“机器视觉”课程，人工智 能实验室吸引了国际上许多知名学者参与机器视觉的理论、算法、系统设计的研 究，d a v i dm a r r 教授在该实验室领导一个以博士为主体的研究小组。1 9 7 7 年提出 了不同于以往分析方法的全新机器视觉理论【2 4 1 。m a r r 的视觉计算理论建立在计算 机技术的基础上，系统的概括了人工智能、神经生理学、心理生理学、模式识别、 图像处理等方面已经取得的所有重要成果，是视觉研究中到目前为止最为完善、 系统的视觉理论。m a r r 把视觉看作一个信息处理系统，并把该系统分为三个层次， 即：计算理论层次、表示与算法层次、硬件实现层次。计算理论层次研究视觉系 统的目的和策略、研究系统的输入和输出、怎样由系统的输入求出系统的输出；表 示与算法层次研究输入输出信息的表示、计算理论所对应的功能的算法实现以及 一种表示如何变换成另一种表示；硬件实现层次研究用硬件实现上述表示和算法 的问题。比如计算机体系结构及具体的计算装置及其细节。在这三个层次中，从 信息处理的角度看，最重要的是计算理论层次，只有正确理解了待解决问题的本 质，才有助于理解并创造算法1 2 5 1 。 m a r r 视觉计算理论最核心的部分是将视觉过程自上而下得划分为三个阶段： 早期阶段、中期阶段、后期阶段。早期阶段是对输入的原始图像进行处理，抽取 6 硕十学位论文 图像中诸如点、边缘、纹理、线条和边界等基本几何元素或特征，这些特征的集 合构成基元图( p r i m a 巧s k e t c h ) 或要素图【2 2 ，2 4 1 。中期阶段是指在以观测者为中心的 坐标系中输入信息，但不是真正的物体三维表示，人们称为二维半图 ( 2 5 d i m e n s i o n a ls ke t c h ) 。后期阶段是在以物体为中心的坐标系统中，由输入图像、 基元图和二维半图来恢复、表示和识别三维物体的过程。这是m a r r 等在机器视觉 的研究中，从视觉的计算理论出发形成的视觉计算理论框架。机器视觉研究的全 球性热潮是从上个世纪8 0 年代开始的。到了8 0 年代中期，机器视觉技术获得了 蓬勃的发展。m a r r 的理论虽然不是十分完善，许多方面还有争议。但是在他的理 论框架的基础上，新概念、新方法、新理论不断涌现，如基于感觉群的物体识别 理论框架、主动视觉理论框架和视觉理论集成框架等。目前，机器视觉仍然是一 个非常活跃的研究领域。随着计算机科学、神经网络、人工智能、信号处理、神 经生理学模式识别以及其它相关领域学科的发展，机器视觉研究的新概念、新方 法、新理论不断涌现，机器视觉理论的研究得到了更深入的发展【2 2 1 。 2 1 3 机器视觉的应用 机器视觉技术正广泛地应用于各个方面，从医学图像到遥感图像，从工业检 测到文件处理，从毫微米技术到多媒体数据库，不一而足。可以说，需要人类视 觉的的场合几乎都需要机器视觉。应该指出的是，许多人类视觉无法感知的场合， 如精确定量感知、危险场景感知、不可见物体感知等，机器视觉更突显其优越性。 以下简要介绍机器视觉的几种典型应用【2 6 1 。 ( 1 ) 零件识别与定位 由于工业环境的结构、照明等因素可以得到严格的控 制，因此机器视觉在工业生产和装配中得到了成功的应用。视觉系统一般由一个 摄象机和相关的视觉信息处理系统组成。摄象机位于零件传输带上方，对零件进 行识别和定位，识别的目的是为机器人提供是否操作或进行何种操作的信息，定 位的目的是导引机器人正确操作。 ( 2 ) 产品检验机器视觉在工业领域中另一个成功的应用是产品检验。目前 己经用于产品外型检验、表面缺陷检验等。 ( 3 ) 移动机器人导航机器入可以恢复场景三维信息，并利用场景的三维信 息识别目标、识别道路、判断障碍物等、实现道路规划、自主导航、与周围环境 自主交互作用等。将立体图像和运动信息组合起来，可以构成满足特定任务分辨 率要求的场景深度图。这种技术对无人汽车、无人飞机、无人战车等自主系统的 自动导航十分有用【2 7 1 。 ( 4 ) 遥感图像分析及医学图像分析目前的遥感图象包括三种：航空摄影图 像、气象卫星图像、资源卫星图像。这些图像的共同特点是，在高空对地表或地 层进行远距离成像，但三种图像的图像机理完全不同。医学图像己经广泛用于医 7 基于机器视觉的智能控制与图像识5 ：；i j 问题研究 学诊断，成象方法包括传统的x 射线成象、计算机层析( c o m p u t e dt o m o g r a p h y ，c t ) 成像、核磁共振成像( m a g n e t i cr e s o n a n c ei m a g i n gm 附) 、超声成象等。机器视觉 在医学图象诊断方面有两方面的应用：一是对图象进行增强、标记、染色等处理 来帮助医生诊断疾病，并协助医生对感兴趣的区域进行定量测量和比较；二是利 用专家知识系统对图象进行自动分析和解释，给出诊断结果【2 8 。0 1 。 ( 5 ) 安全鉴别、监视与跟踪用机器视觉系统可以实现停车场监视、车辆识 别、车牌号识别、探测并跟踪“可疑”目标：根据面孔、眼底、指纹等图象特征识别 特定人【1 9 ，2 们。 ( 6 ) 国防系统及其它侧机器视觉在国防系统中的作用越来越重要，其主要 原因有两个：一是满足自主操作的需要，二是需要分析大量先进成象传感器的输 出。另外，机器视觉在各种球类运动分析、人体测量、食品、农业、心理学、电 视电影制作、美术模型、远程教育、多媒体教学等场合【3 1 1 。 2 2 嵌入式控制系统 嵌入式系统是以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应 应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。嵌入 式系统的最大特点是目的性或针对性明确，即每一套嵌入式系统的开发和设计都 有其特殊的应用场合与特定功能目的。这也是嵌入式系统与通用计算机系统最主 要的区别l 强弓引。 嵌入式系统有以下特点【3 2 】： ( 1 ) 嵌入式系统是面向用户、面向产品、面向应用的，它必须与具体应用相 结合才会具有生命力、才更具有优势，即嵌入式系统是与应用紧密结合的，具有 很强的专用性，需要结合实际系统需求进行合理的裁减利用。 ( 2 ) 嵌入式系统是将先进的计算机技术、半导体技术和电子技术和各个行业 的具体应用相结合后的产物，这一点就决定了它必然是一个技术密集、资金密集、 高度分散、不断创新的知识集成系统。所以嵌入式系统有着很强的针对性。 ( 3 ) 嵌入式系统的构架可以分成四个部分：处理器、存储器、输入输出( i o ) 和软件，由于多数嵌入式设备的应用软件和操作系统都是紧密结合的，在这里对 其不加区分，这也是嵌入式系统和w i n d o w s 系统的最大区别。 2 2 1 嵌入式微处理器 从硬件方面来讲，嵌入式处理器是嵌入式系统硬件中最核心的部分，其中从 单片机、d s p 到f p g a 有着各式各样的品种，速度越来越快，性能越来越强，价 格也越来越低。目前嵌入式处理器的寻址空间可以从6 4 k b 到1 6 m b ，处理速度最 快可以达到2 0 0 0m i p s ，封装从8 个引脚到1 4 4 个引脚不等【3 4 ，3 5 1 。 8 硕十学何论文 嵌入式系统的核心是嵌入式微处理器。嵌入式微处理器一般就具备以下四个 特点【3 6 ，3 7 】： ( 1 ) 对实时多任务有很强的支持能力，能完成多任务并且有较短的中断响应 时间，从而使内部的代码和实时内核心的执行时间减少到最低限度。 ( 2 ) 具有功能很强的存储区保护功能。这是由于嵌入式系统的软件结构已模 块化，而为了避免在软件模块之间出现错误的交叉作用，需要设计强大的存储区 保护功能，同时也有利于软件诊断。 ( 3 ) 可扩展的处理器结构，以能最迅速地开展出满足应用的最高性能的嵌入 式微处理器。 ( 4 ) 嵌入式微处理器功耗很低，尤其是用于便携式的无线及移动的计算和通 信设备中靠电池供电的嵌入式系统更是如此，有时需要功耗只有m w 甚至“w 级。 嵌入式处理器可以分成下面几类： 嵌入式微处理器( m i c r op r o c e s s o ru n i t ，m p u )嵌入式微处理器是由通用 计算机中的c p u 演变而来的。它的特征是具有3 2 位以上的处理器，具有较高的 性能，当然其价格也相应较高。但与计算机处理器不同的是，在实际嵌入式应用 中，只保留和嵌入式应用紧密相关的功能硬件，去除其他的冗余功能部分，这样 就以最低的功耗和资源实现嵌入式应用的特殊要求。和工业控制计算机相比，嵌 入式微处理器具有体积小、重量轻、成本低、可靠性高的优点。目前主要的嵌入 式处理器类型有a m l 8 6 8 8 、3 8 6 e x 、s c 4 0 0 、p o w e rp c 、6 8 0 0 0 、m i p s 、a r m s t r o n g a r m 系列等【3 4 j 。 嵌入式微控制器( m i c r o c o n t r o l l e ru n i t ，m c u )嵌入式微控制器的典型代 表是单片机，从7 0 年代末单片机出现到今天，虽然已经经过了2 0 多年的历史， 但这种8 位的电子器件目前在嵌入式设备中仍然有着极其广泛的应用。单片机芯 片内部集成r o m e p r o m 、r a m 、总线、总线逻辑、定时计数器、看门狗、i o 、 串行口、脉宽调制输出、a d 、d a 、f l a s hr a m 、e e p r o m 等各种必要功能和外 设。和嵌入式微处理器相比，微控制器的最大特点是单片化、体积大大减小、从 而使功耗和成本下降、可靠性提高。微控制器是目前嵌入式系统工业的主流。微 控制器的片上外设资源一般比较丰富，适合于控制，因此称之为微控制器。由于 m c u 低廉的价格，优良的功能，所以拥有的品种和数量最多，比较有代表性的包 括8 0 5l 、m c s 2 5 l 、m c s 9 6 1 9 6 2 9 6 、p 5 l x a 、c 1 6 6 1 6 7 、6 8 k 系列以及m c u 8 x c 9 3 0 9 3 l 、c 5 4 0 、c 5 4 l ，并且有支持1 2 c 、c a n b u s 、l c d 及众多专用m c u 和兼容系列。目前m c u 占嵌入式系统约7 0 的市场份额。近来a t m e l 出产的a v r 单片机由于其集成了f p g a 等器件，所以具有很高的性价比，势必将推动单片机 获得更高的发展【3 8 1 。 嵌入式信号处理器( d i g i t a ls 蟾n a lp r o c e s s o r d s p )d s p 处理器是专门用 9 基丁机器视觉的钾能控制j 图像识别问题研究 于信号处理方面的处理器，其在系统结构和指令算法方面进行了特殊设计，具有 很高的编译效率和指令的执行速度。在数字滤波、f f t 、谱分析等各种仪器上d s p 获得了大规模的应用。d s p 的理论算法在7 0 年代就已经出现，但是由于专门的 d s p 处理器还未出现，所以这种理论算法只能通过m p u 等由分立元件实现。m p u 较低的处理速度无法满足d s p 的算法要求，其应用领域仅仅局限于一些尖端的高 科技领域。随着大规模集成电路技术发展，1 9 8 2 年世界上诞生了首枚d s p 芯片。 其运算速度比m p u 快了几十倍，在语音合成和编码解码器中得到了广泛应用。至 8 0 年代中期，随着c m o s 技术的进步与发展，第二代基于c m o s 工艺的d s p 芯 片应运而生，其存储容量和运算速度都得到成倍提高，成为语音处理、图像硬件 处理技术的基础。到8 0 年代后期，d s p 的运算速度进一步提高，应用领域也从上 述范围扩大到了通信和计算机方面。9 0 年代后，d s p 发展到了第五代产品，集成 度更高，使用范围也更加广阔【3 9 m 】。 嵌入式片上系统 ( s y s t e mo nc h i p ，s o c ) s o c 追求产品系统最大包容的 集成器件，是目前嵌入式应用领域的研究与应用话题之一。s o c 最大的特点是成 功实现了软硬件无缝结合，直接在处理器片内嵌入操作系统的代码模块。而且s o c 具有极高的综合性，在一个硅片内部运用v h d l 等硬件描述语言，实现一个复杂 的系统。用户不需要再像传统的系统设计一样，绘制庞大复杂的电路板，一点点 的连接焊制，只需要使用精确的语言，综合时序设计直接在器件库中调用各种通 用处理器的标准，然后通过仿真之后就可以直接交付芯片厂商进行生产。由于绝 大部分系统构件都是在系统内部，整个系统就特别简洁，不仅减小了系统的体积 和功耗，而且提高了系统的可靠性，提高了设计生产效率【3 6 ，3 7 1 。 本文采用a t m e l 公司的8 位a v r 系列单片机a t m e g a l 6 单片机。a t m e g a l 6 是一款a v r 中档功能的单片机，引脚为4 4 ( t p q f 4 4 ) 或4 0 ( d p i n 4 0 ) ，在片 内集成l k 字节的片内s r a m 、1 6 k 字节的f l a s h 、5 1 2 字节的e e p r o m 、2 个8 为1 个1 6 位定时计数器、u s a l 盯、s p i 、多路1 0 位a d c 、w d t 、摸拟比较器、 p w m 、i s p 、i a p 、1 2 c 等多种外部模块【4 3 4 8 1 。 2 2 2 嵌入式操作系统 早期的嵌入式系统中没有操作系统的概念，程序员编写嵌入式程序通常直接 面对裸机及裸设备。在这种情况下，通常把嵌入式程序分成两部分，即前台程序 ( f o r e g r o u n d ) 和后台程序( b a c k g r o u n d ) 。 前台程序通过中断段来处理事件，其结构一般为无限循环( s u p e r 1 0 0 p s ) ；后 台程序则掌管整个嵌入式系统软、硬件资源的分配、管理以及任务的调度，是一 个系统管理调度程序。这就是通常所说的前后台系统。一般情况下，后台程序也 叫任务级程序，前台程序也叫中断级程序。在程序运行时，后台程序检查每个任 l o 硕十学何论文 务是否具备运行条件，通过一定的调度算法来完成相应的操作。对于实时性要求 特别严格的操作通常由中断来完成，仅在中断服务程序中标记事件的发生，不再 做任何工作就退出中断，经过后台程序的调度，转由前台程序完成事件的处理， 这样就不会造成在中断服务程序中处理费时的事件而影响后续和其他中断1 3 4 ，3 引。 实际上，前后台系统的实时性比预计的要差。这是因为前后台系统认为所有 的任务具有相同的优先级别，即是平等的，而且任务的执行又是通过f i f o 队列排 队，因而对那些实时性要求高的任务不可能立刻得到处理。另外，由于前台程序 是一个无限循环的结构，一旦在这个循环体中正在处理的任务崩溃，使得整个任 务队列中的其他任务得不到机会被处理，从而造成整个系统的崩溃。由于这类系 统结构简单，几乎不需要r a m r o m 的额外开销，因而在简单的嵌入式应用被广 泛使用。 从软件方面划分，主要可以依据操作系统的类型。目前嵌入式系统的软件主 要有两大类：实时系统和分时系统。其中实时系统又分为两类：硬实时系统和软 实时系统，在这里仅对实时系统进行介绍。 实时操作系统 ( r e a lt i m eo p e r a t i n gs y s t e m r t o s ) ：嵌入式系统目前最主 要的组成部分。根据操作系统的工作特性，实时是指物理进程的真实时间。实时 操作系统具有实时性，能从硬件方面支持实时控制系统工作的操作系统。其中实 时性是第一要求，需要调度一切可利用的资源完成实时控制任务，其次才着眼于 提高计算机系统的使用效率，重要特点是要满足对时间的限制和要求。 实时操作系统中的重要概念：系统响应时间( s y s t e mr e s p o n s et i m e ) ：系统发 出处理要求到系统给出应答信号的时间。任务换道时间( c o n t e x t s w i t c h i n gt i m e ) ： 任务之间切换而使用的时间。中断延迟( i n t e r n l p tl a t e n c y ) ：计算机接收到中断信 号到操作系统作出响应，并完成换道转入中断服务程序的时间。 实时操作系统的工作状态：实时系统中的任务有四种状态：运行( e x e c u t i n g ) 获得c p u 控制权，就绪( r e a d v ) 进入任务等待队列，通过调度转为运行状态， 挂起( s u s p e n d e d ) 任务发生阻塞，移出任务等待队列，等待系统实时事件的发生 而唤醒，从而转为就绪或运行，冬眠( d o m a n t ) 任务完成或错误等原因被清除的 任务，也可以认为是系统中不存在的任务【3 4 1 。 任何时刻系统中只能有一个任务在运行状态，各任务按级别通过时间片分别 获得对c p u 的访问权。 比较著名的操作系统有u c o s i i 、u c “n u x 、v x w 6 r k s 、p s o s 、n u c l e u s 、p a l m o s 、 w i n d o w sc e 等。 本文采用“c o s 操作系统，p c o s i i 是著名的源代码公开的实时内核，是 专为嵌入式应用设计的，可用于8 位，1 6 位和3 2 位单片机或数字信号处理器。它 是在原版本肛c o s 的基础上做了重大改进与升级，并有了近十年的使用实践，有 基丁机器视觉的行能控制与图像识别问题石j f 冤 许多成功应用该实时内核的实例。它的主要特点如下【3 9 】：公开源代码，容易就 能把操作系统移植到各个不同的硬件平台上；可移植性，绝大部分源代码是用c 语言写的，便于移植到其他微处理器上；可固化：可裁剪性，有选择的使用 需要的系统服务，以减少斗所需的存储空间；占先式，完全是占先式的实时内 核，即总是运行就绪条件下优先级最高的任务；多任务，可管理6 4 个任务，任 务的优先级必须是不同的，不支持时间片轮转调度法；可确定性，函数调用与 服务的执行时间具有其可确定性，不依赖于任务的多少；实用性和可靠性，成 功应用该实时内核的实例，是其实用性和可靠性的最好证据。由于p c o s i i 仅是一个实时内核，这就意味着它不像其他实时存在系统那样提供给用户的只是 一些a p i 函数接口，还有很多工作需要用户自己去完成。 2 3 本章小结 本章简要阐述了机器视觉的定义、研究内容、应用和特点，介绍了机器视觉 和嵌入式硬件和实时操作系统的一些基本