（机械电子工程专业论文）单目视觉移动机器人目标识别.pdf

西华大学硕士学位论文单目视觉移动机器人目标识别机械电子工程专业研究生顾伟指导老师费凌移动机器人往往具有丰富的智能传感器，其中，视觉是移动机器人获得环境信息的主要途径。作为机器人定位，导航和路径规划的基础，目标识别是移动机器人研究的热点领域。本文针对单目移动机器人的目标识别技术进行研究。首先，作者采用t m s 3 2 0 d m 6 4 2 和$ 3 c 2 4 1 0 处理器，设计了一个用于移动机器人目标识别的嵌入式视觉系统。深入研究了以图像匹配技术为基础的目标识别算法，此外，开发了一个基于b p 神经网络的机器人目标识别仿真系统。论文完成的具体工作如下：采用a r m 9 和d s p 双处理器设计了一个嵌入式目标识别视觉系统，完成了系统的硬件电路设计并分模块对各部分电路作了详细介绍。视觉系统使用w i n d o w sc e 嵌入式实时操作系统，在w i n d o w sc e 基础上，介绍了机器人目标识别系统软件设计。介绍了阈值图像分割算法和边界检测分割算法，深入研究了直方图双峰法和o t s u 法两种基于阈值图像分割算法的原理和实现过程，介绍了序贯相似性检测算法( s s d a ) 和归一化互相关算法o 、j c c ) 两种基于图像灰度相关的匹配识别算法，最后以h a u s d o r f f 距离为相似性度量函数，说明了基于图像特征匹配算法的实现过程。选择不变矩作为机器人待识别目标的识别特征，并从理论和实验两个角度论证了其可行性。介绍了b p 神经网络相关内容，并设计实验说明了如何利用b p 神经网络实现图像分类识别，最后在p c 机上利用m a t l a b 软件设计了一个机器人目标识别仿真系统。关键词：视觉系统目标识别图像匹配b p 神经网络m o b i l er o b o to b je c tr e c o g n i t i o nw i t hm o n o c u l a rv i s i o nm a j o r ：m e c h a n i c a la n de l e c t r o n i ce n g i n e e r i n gm d c a n d i d a t e ：g uw e is u p e r v i s o r ：f e il i n gm o s tm o b i l er o b o t sh a v ek i n d so fi n t e l l i g e n ts e n s o r s ，w i t hw h i c hm o b l l er o b o t sa c q u i r ee n v i r o n m e n ti n f o r m a t i o n ，a n dv i s i o ni st h em o s tw i d e l yu s e ds e n s o r a st h eb a s i so fl o c a t i o n ，n a v i g a t i o na n dp a t hp l a n n i n g ，o b j e c tr e c o g n i i o n1 st h eh o tr e s e a r c hd o m a i no fm o b i l er o b o t i nt h i sp a p e r ，w ew i l lr e $ ；e a r c ht h eo b je c tr e c o g n i t i o no fm o b i l er o b o tw i t hm o n o c u l a rv i s i o n a b o v ea 1 1 ，a d o p t i n gt m s 3 2 0 d m 6 4 2a n d $ 3 c 2 4 10c p u ，a u t h o rd e s l g n sae m b e d d e dv i s i o ns y s t e mt ob eu s e df o rr o b o to b j e c tr e c o g n i t i o n ，1 u c u b r a t i n go b je c r e c o g n i t i o na l g o r i t h r nb a s e do ni m a g em a t c h i n g ，i na d d i t i o n ，d e v e l o p i n ga ns i m u l a t i o ns y s t e mf o rm o b i l eo b j e c tr e c o g n i t i o nw h i c hi sb u i l to nb p - ne u r a ln e t w o r k t h es p e c i f i ca c h i e v e m e n t sa r ea sf o l l o w s d e s i g l l i n ga j le m b e d d e dv i s i o ns y s t e mf o ro b j e c tr e c o g n i t i o nw i t hd u a lc p u删9a n dd s p , f u l f i l l i n gh a r d w a r ed e s i g na n di n t r o d u c i n gf i l l l ye a c hc 1 u l tm o d u l eo ft h ev i s i o ns y s t e m t h i sv i s i o ns y s t e mi sw o r k i n go nw m d o w sc ee m b e d d e dr t o s i nw i n d o w sc e ，w ew i l lg i v eap r e s e n t a t i o no fs o f i v e a r ed e s l g nf o rm o b i l e so b j e c tr e c o g n i t i o ns y s t e m p r e s e n t 啦i m a g es e g m e n t a t i o nb a s e do nt h r e s h o l da n db o 岫d a r yd e e c 1 0 n 1 u 吼l b m 曲gm en l e o r ya n da c h i e v i n gp r o c e s so fh i s t o g r a mb i m o d a l i t ya n do t s ua l g o r i t h mw h i c ha r eb a s e do nt h r e s h o l ds e g m e n t a t i o na l g o r i t h m i n t r o d u c m g1 m a g em a t c h i n ga l g o r i t h ms s d aa n dn c cb a s e do ni m a g eg r a y f i n a l l y , c h o o s i n gh a u s d o r f fd i s t a n c ea ss i r n j l a r i 谚m e a s u r e m e n tt of u l f i l li m a g e sf e a t u r em a t c h i n g c h o o s i n gi n v a r i a n tm o m e n ta st h ef e a t u r et oi d e n t i f yo b j e c t ，f u r t h e rm 0 佗，西华大学硕十学位论文d e m o n s t r a t i n gi t sf e a s i b i l i t yf r o mt h e o r ya s p e c ta n de x p e r i m e n ta s p e c t i n t r o d u c i n gs o m e t h i n ga b o u tb p - n n ，a tl a s t ，d e s i g n i n gas i m u l a t i o ns y s t e mt or u no np cf o rr o b o t o b j e c tr e c o g n i t i o nw i t hm a t l a bs o f t w a r e k e yw o r d s ：v i s i o ns y s t e mo b j e c tr e c o g n i t i o ni m a g em a t c h i n gb p n e u r a ln e t w o r k两华大学硕士学位论文声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得西华大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。本学位论文成果是本人在西华大学读书期间在导师指导下取得的，论文成果归西华大学所有，特此声明。作者签名：j 砭灸彳争歹衫年多月c | 日导师签名褂垆多月7 日西华大学硕十学位论文西华大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。本学位论文属于l 、保密口，在年解密后适用本授权书；2 、不保密耐，适用本授权书。( 请在以上口内划4 )学位论文作者签名：厅庭伟日期：z 口0 7 莎- 7指导教师签名：孙日期：卅、夕西华大学硕士学位论文1 绪论1 1 论文研究背景和意义本论文选自西华大学建设四川省重点实验室在研课题一移动智能小车。智能车的主要任务是目标自动跟踪识别，智能路径规划和目标抓取，其中，实时目标识别是后两者的基础，路径规划是智能车认知和决策能力的最好反映，对特定目标对象的抓取是智能小车系统的最终任务，本文侧重于在实验室结构化环境下，研究单目机器人的目标识别技术，旨在完成嵌入式目标识别系统的设计和目标识别算法研究等工作。随着近代科技的飞速进步，移动机器人被广泛应用到工业、军事、科研、医疗护理、体育运动和家庭服务等诸多领域，比如：工厂自动化生产车间大量应用的自动导航小车( a g v ) 1 1 ：法国自主式快速运动侦察车d a r d a ；美国国家航空航天局( n a s a ) 相继推出的“索杰娜号火星探测机器人和“勇气 号火星探测车：t r c 公司1 9 9 0 年开始生产的“护士助手自主式医疗护理机器人：还有日本本田公司的家用吸尘机器人等等。移动机器人能像模仿人类在不可预测的动态环境中“行动自如，这主要归功于它们丰富的传感器系统。现代智能移动机器人使用的传感器主要有视觉、听觉、触觉、接近觉、力传感器和速度传感器，像人有“五官一样，其中，基于视觉图像传感器的视觉系统是机器人感测外界环境的主要途径。机器人视觉系统利用视觉传感器感知环境信息，然后通过相关目标识别算法对摄入的环境视频图像进行分析判断，从而提取有用信息。按照配置的视觉传感器数量多少，移动机器人视觉系统可以分为单目视觉系统和多目视觉系统，比如，清华大学“t h m r v 智能车配置了c c d 摄像机视觉处理系统，日本的巡逻保安机器人“s e c o m - - 机器人x ”由两个照相机构成双目视觉系统。我们知道，单目视觉系统对于环境的表达主要体现在二维图像的明暗度、纹理、表面轮廓线、阴影和运动等因素之中，它在成像过程中损失了成像点的深度信息，这是此类视觉系统的一个主要缺点。此外，一般单目视觉系统的感西华大学硕士学位论文知范围有限，拓宽其感知视野往往需要以增大图像畸变为代价。尽管如此，由于单目视觉系统结构简单、算法成熟且计算量较小，所以在自主移动机器人中得到了广泛应用，如用于目标跟踪【2 】、基于平面假设的自运动估计和障碍物检测、基于单目特征的室内定位导航等。更为重要的是，单目视觉是其它类型视觉系统的基础，如双目立体视觉、多目视觉、结构光主动视觉以及主动控制视觉等都是在单目视觉系统的基础上，通过附加其它手段和措施而实现的【3 】。基于视觉的目标识别是移动机器人技术研究领域中的热点问题之一，它不仅是机器人实现精确定位导航的前提与基础，而且是路径规划的重要保障。尤其是当移动机器人处于非结构化未知环境中，如果想找到一条从起始位置到终点目标且能避开障碍物的最优、能耗和时耗最短的最佳路径，实时高质量的目标识别更显得特别重要。1 2 国内外移动机器人研究现状移动机器人是机器人学的一个重要研究分支，对移动机器人的研究涉及机器人机械结构、体系结构、环境建模、导航定位、路径规划、运动控制、多传感器信息融合、故障诊断、容错控制以及移动机器人导航控制平台等【4 】【5 1 。随着计算机技术、传感技术、人工智能技术的快速发展，以智能型机器人为代表的第三代机器人应允而生，这一阶段的机器人具有高级的感知、逻辑推理、以及智能决策能力，对复杂环境表现出超强自适应性。本节我们介绍国际上几个发达国家和国内在移动机器人领域取得的骄人成绩，同时分析各国机器人产业发展状况。1 2 1 国外现状世界上第一台智能机器入“s h a k e y 诞生于美国斯坦福研究院( s p d ) ，该机器人具有自主目标识别和智能导航功能，能按预置指令抓取积木，“s h a k e y ”的诞生，掀起了全世界如火如荼地进行智能机器人研究的序幕。美国作为机器人研究历史最长久的国家，其机器人技术先进基础雄厚，拥有全国各大高校众多著名的机器人研究所和科研单位( 部分介绍如表1 1 ) ，机西华大学硕士学位论文器人产品在工业、医疗卫生和国防军事等领域都得到了广泛推广和运用，尤其表1 1 美国部分著名高校机器人研究所t a b l e1 1f a m o u sr o b o t i c sl a bi nu n i o f u s a n 0 l a bn a m eu n i v e r s i t y1n a v l a bc m cc s 刚2m o b i l er o b o t i c sl a bm i c h i g a nu n i v e r s i t y3s t a n f o r dr o b o t i c sl a bs t a n f o r du n i v e r s i t y一4a il a bm i t5r o b o t i c sl a bh a r v a r du n i v e r s i t y6m o b i l er o b o t i c sl a bu n i v e r s i t yo fw a s h i n g t o ne e7r o b o t i c sr e s e a r c hl a bu n i v o fs o u t h e mc a l i f o r l i a8f i e l d & s p a c er o b o t i c sm i t m el a b是军用机器人的研究和应用最为突出。从8 0 年代开始，美国国防高级研究计划局( d a r p r ) 专门立项，制定了自主地面车辆( a l v ) 计划以及后来的“无人地面机器人 计划，能源部制定了为期1 0 年的机器人和智能系统计划。国家航空航天局( n a s a ) 研究的火星探测机器人“索杰娜号于19 9 7 年登上了火星，之后推出“挑战 号和“勇气号火星探测车。美国国防部正在陆、海、空和航天领域开发无人机器人( u g v ) ，国防部争取在2 0 15 年将u g v 投入使用，但目前还面临在崎岖不平的道路上行走和识别敌我等技术性难题。日本机器人技术走在世界前列，有关机器人的研究开发活动广泛而活跃，一大批世界知名企业投身机器人技术研究，如本田，索尼，富士通，东芝和n e c等，加上东京大学、早稻田大学、名古屋大学、东京工业大学、东北大学等著名高等学校积极从事尖端理论技术研究，使日本在机器人开发处处开花结果，为产业化道理形成了有利的基础条件。从宏观上看，这主要得益于日本在国策上把机器人技术产业放在一个非常重要的位置，2 0 0 4 年4 月，日本经济产业省事务局制定和发表了面向2 0 2 5 年人和机器人共存社会“新世纪机器人展望恳谈会”报告书，在报告书中，从至u 2 0 2 5 年的长期观点出发，描绘出日本新世纪西华大学硕士学位论文机器人技术产业在社会关系中所处的姿态。值得关注的是日本在仿人机器人领域取得的瞩目成就，日本早在2 0 世纪7 0 年代就成立有校企合作仿人机器人研究组织，之后几十年产品不断问世，以本田公司为例”】i i 4 ：1 9 8 6 年到1 9 9 3 年连续开发出e 0 至i j e 6 系列只具有腿部机构的行走机器人；2 0 0 0 年1 1 月，世界第一款真正意义上的仿人机器人“a s i m o ”诞生；2 0 0 2 年新款“a s i m o ”具有先进的交流能力、运动物体识别和位姿计算等功能，此后，“a s i m o ”功能不断增强，图1 3 是其中的两款“a s i m o ”机器人。f i g u r e1 3 “a s i m o ”r o b o tf 1o 】圈1 3 “a s i m o ”机器人日本产业技术综合研究所p ( ( a i s t ) 研制出可双足行走、全身动作并能用语音与人交流的新型“美女”机器人h r p 一4 c ，“身高”1 5 8 米，“体重”含电池4 3公斤，全身共有3 0 个马达来控制肢体移动，腰部和颈部各有三个自由度，面部自由度设为8 。医用机器人是移动机器人应用中的热点领域，辅助外科手术的半自主或自主机器人，能代替护士完成医院各种护理工作的智能机器人，进行体内微创手术的微小型机器人等多种机器人均己在医疗行业大显身手。“机器人之父”恩格尔伯格先生创建的t r c 公司，从1 9 8 5 年就着手研制医院服务移动机器人“护士助手”。如图1 4 ，该机器人内嵌有医院地图，配置了视觉传感器和多种触觉传感器，能在医务室、病房以及医院各预定房间中自主“行动”，可以完成西华大学硕+ 学位论文诸如运送医疗设各，为病人送饭送药等任务。运动速度为约每秒钟0 7 米。目前，“护士助手”已在全世界几十家医院成功投入使用。m a t u s h i t ae l e c t i c t e c h公司研制的医学机器人，主要任务是在病房、手术室和医生办公室之间传送病历、x 光照片等东西，它们安装了超声波传感器和基座上的红外激光探测器，能轻易绕过大多数障碍物。f n u r s e a s s i s t a n tr o b o t l l ”国1 4 “护士助手”机器人【日本立命馆大学和滋贺医科大学等2 0 0 7 年2 月2 6 日成功试制出一款“微型体内机器人”，该机器人为塑料材质，呈2 厘米长、i 厘米宽的圆筒形，内置磁铁和传感器，通过患者身体上的小型切口深入患者体内对病灶部分实施拍摄和治疗。2 0 0 4 年3 月，德国工学士赖纳格岑研制出一种只有针头大小的微型机器人，它可以随着注射的溶液进入人体血管，并在其中游弋，修补有缺损的细胞，从而挽救病人的生命。1 2 2 国自现状与国外发达国家相比，我国机器人技术起步较晚，目前相当于发达国家2 0世纪8 0 年代初的水平。为了明确今后段时间我国机器人领域研究方向，国家制定了机器人技术主题发展的战略目标n 即：根据2 l 世纪初我国国民经济对西华大学硕士学位论文先进制造及自动化技术的需求，瞄准国际前沿高技术发展方向创新性地研究和开发工业机器人技术领域的基础技术、产品技术和系统技术。经过国家“七五”攻关计划、“九五”攻关计划和“8 6 3 ”计划等支持，我国智能机器人研究成果显著，捷报频传。尤其是工业机器人进展迅速，并且已形成了比较成熟的产业化市场，自主生产的各种工业用机器人陆续出现，在金属焊接、喷涂、浇铸装配、搬运、包装、激光加工、检验等工业领域获得广泛推广和应用。国内著名大学和机器人研究机构成绩斐然硕果累累，己初步形成了“产、学、研条龙研发环境，培养出一大批机器人研究人才，有些产品和尖端技术还处于国际国内领先地位。 】【哪作为我国机器人事业摇篮的巾科院沈阳自动化研究所，先后承担了国家攻关、国家“8 6 3 ”、“9 7 3 ”、中国科学院重大及方向性多项课题，成功研制了“多功能排险防暴机器人”、“基于夏合机构的非结构环境移动机器人”、“具有环境适应能力的蛇形机器人”、“可重构星球探测机器人”等智能机器人。国防科技大学足我国科研领域多个“第一”的诞生地_ j ：第一台巨型计算机、第一台全内腔环形激光器、第一台两足步行机器人、第一台类人型机器人、第一台高速信息示范嘲核心路由器、第一条磁悬浮列车试验线”。其中蛇型机器人，又叫机器蛇( 如图11 ) 长1 2 米、重1 8 公斤，能像蛇一样扣动身躯在在陆地、草丛、水中行走，可前进、后退、拐弯和加速，f i g a r e1 is n a k er o b o ta n dh u m a n o i dr o b o to f n u d t图11 国防科大机器蛇”l 和类人型机器人【9 i西华大学硕士学位论文其最快运动速度可达2 0 米每分钟，披上“蛇皮”外衣后，它还能像蛇一样在永中游泳，该机器蛇在侦察、救灾、探测等领域具有广泛的应用前景i 。o i 。2 0 0 0 年1 1 月，由国防科大独立研制的中国第一台具有人类外观特征、可以模拟人类行走与基本操作功能的类人型机器人，经过国家“8 6 3 ”专家组验收，该名为“先行者”的类人型机器人问世，标志着我国机器人技术已跻身国际先进行列。哈尔滨工业大学( h i t ) 机器人研究所口司在智能服务机器人研究领域成绩显著，突破了移动机器人系统集成、嵌入式驱动控制器、机器人定位、路径规划、自主避碰、环境感知、基于视觉的智能机器人行为控制等关键技术，研制出系列导游机器人、迎宾机器人、指挥机器人和家政服务机器人和楼宇巡逻保安机器人等( 如图1 2 ) ，并在国内各种科技展馆及公共场所得到了应用。囵圜圈圃圜匾家政机嚣人保安机器人f i g i 2m o b i l er o b o t sd e s i g n e db yh i t 图1 2 哈工大各种智能机器人1 “1清华大学计算机系从1 9 8 8 年开始研制t h m r ( t s i n g h u am o b i l er o b o t ) 系歹0移动机器人，其中“t h m r - v ”智能车1 配备了二维扫描激光雷达测障系统，c c d 摄像机视觉处理系统，磁罗盘，光码盘，d g p s 互补定位系统。操作员依据上传来的图像信息进行视觉临场感遥控操作。t h i v l r - v 用来研究智能机器人关键技术，经过实验研究已经能够实现结构化环境下的车道线自动跟踪；准结构化环境下的道路跟踪；复杂环境下的道路避障、道路停障、视觉临场感遥控驾驶等功能。两华大学硕+ 学位论文总体而言，我国移动机器人技术发展迅速成绩突出，在世界智能机器人研究领域占有一席之地，在某些关键技术上有所突破，但还缺少整体上的核心技术，不能生产出高精密的关键组件，具有中国完全自主知识产权的机器人还不多，机器人技术和它所依赖的下游基础行业没有同步发展，很多技术距离产业化市场化还有一定距离。1 3 本论文主要内容及章节安排本次论文设计工作中，作者采用d s p 和a r m 9 双处理器，设计了一个用于移动机器人目标识别的嵌入式视觉系统，深入研究了以图像匹配技术为基础的目标识别算法，此外，开发了一个基于b p 神经网络的机器人目标识别仿真系统。论文具体章节内容安排如下：第1 章是论文绪论部分，概述了单目视觉系统在移动机器人领域的应用背景和重要意义，分析了国外国内移动机器人技术发展现状，详细展示了几个发达国家在移动机器人研发领域取得的骄人成绩。第2 章从分析移动机器人系统组成结构入手，详细阐述了目标识别系统方案设计，然后采用$ 3 c 2 4 1 0 aa r m 9 和t m s 3 2 0 d m 6 4 2d s p 双核心处理器实现了一个嵌入式目标识别视觉系统的硬件设计，并对系统底层驱动程序和应用程序作了一定开发。第3 章首先介绍了阈值图像分割算法和边界检测分割算法，并详细阐述了直方图双峰法和o t s u 法两种基于阈值的图像分割算法的原理和实现过程，然后对机器人目标识别图像匹配算法作了深入研究。第4 章介绍基于不变矩和b p 神经网络的机器人目标识别算法和实现过程，并从实验设计的角度证实了b p 神经网络在机器人目标识别功能方面的可操作性。第5 章作了论文总结和下一步工作展望。两华大学硕士学位论文2 嵌入式目标识别系统设计本章从分析移动机器人系统组成结构入手，详细阐述目标识别系统方案设计，然后采用$ 3 c 2 4 1 0 aa r m 9 和t m s 3 2 0 d m 6 4 2d s p 双处理器实现一个嵌入式目标识别视觉系统，完成目标识别系统的硬件电路设计，并对系统的程序开发过程作一一介绍。一个完整的移动机器人一般可以分为三部分：传感部分、控制部分和机械部分( 如图2 1 ) ，其中传感部分包括感知系统和机器人与环境交互系统，控制部分由人机交互系统和控制系统构成，机械部分则包括机械驱动系统和具体机械结构系统。 = 等哥i 控制部分 一仝塾奎三至竺lij 、卜叫磊丽豪磊il控制部分 一。 蚕一一|旺蟊卜f i g2 1a r c h i t e c t u r ef o ra m r 15 】图2 1移动机器人系统结构【1 5 】机械部分感知系统由机器人内部和外部传感器组成，用于获得环境中有用信息，实践表明智能程度越高的机器人其感知传感系统越复杂。【1 5 】机器人与环境交互系统是实现机器人与外部环境中的设备相互关联和协调的系统，而人机交互系统使操作人员参与机器人控制并与机器人进行联系的装置。机械系统是机器人的执行机构系统，由一系列的关节、连杆或其它形式的运动副组成，它在直接或9西华大学硕士学位论文间接相连的驱动系统作用下执行控制系统发出的控制指令。控制系统是机器人的“大脑”，指导着机器人本体的一切智能性动作。f i g2 2a r c h i t e c t u r ef o ri n t e l l i g e n tv e h i c l e图2 2 智能小车系统结构本次论文设计中采用的智能小车平台，其总体结构如图2 2 所示。智能车控制系统使用双c p u 模式，丰富的感知系统包括红外、超声测距传感器、视觉传感器、接近觉、力觉等传感器，预留有串口、无线收发等通讯接口，可视化人机接口。另外，小车运动机构使用两轮驱动外加万向轮。2 1 移动机器人视觉系统概述典型的移动机器人视觉系统如图2 3 所示，它主要包括图像采集模块、图像处理系统和图像识别系统。图像采集模块需要完成图像采样、量化、编码和适当压缩等任务；而图像处理( 既数字图像处理) 主要负责图像增强、图像分割、图象分析；识别系统则根据图像中提取的特征识别出目标物体，并将识别控制l o西华大学硕士学位论文环境图像采图像处识别识别结果涣箦系缔集模块理系统系统r iv 、门、月、叫。f i g 2 3v i s i o ns y s t e mo fr o b o t图2 3 机器人视觉系统信号提供给决策系统以便制定出相应的执行动作。传统的机器视觉系统一般由p c 机加图像采集卡构成硬件平台，首先图像采集卡进行视频或图像捕捉，接着把采集到的图像源传送给上位机p c ，然后在p c 机上通过图像处理软件对其处理，最后得到图像处理结果。【1 6 】基于p c 的机器人视觉系统配置灵活简单，开发周期短且成本较小，但也存在如下缺点：( 1 ) 通用p c 机的c p u 采用冯诺伊曼结构，其数字信号处理能力有限；( 2 )图像采集卡向p c 机传送图像，其传输带宽受限于p c 接口的传送能力；( 3 ) 通用p c 机上的操作系统一般为非实时性操作系统，在高速图像处理的情况下，c p u 不能及时的响应图像处理请求。在微电子技术影响下，嵌入式处理器和嵌入式系统( e m b e d d e ds y s t e m ) 大行其道，人们开始热衷于使用体积更小性价比更高的专用微处理器代替p c 机设计机器视觉系统，如c p l d 、f p g a 、删、d s p 等等微处理器。文献 1 7 中，作者采用t i 公司的d s p 芯片d m 6 4 2 作为图像处理芯片，设计了一个嵌入式机器人目标识别系统。相对p c 机处理器，嵌入式处理器有诸多优点，比如：体积小性价比高，实时性强，软硬件结构紧凑，正是鉴于此，学者们更加青睐采用嵌入式处理器设计机器人视觉系统，这也是作者设计目标识别嵌入式系统的主要原因。根据图2 3 的视觉系统总体框图，可以细化出移动机器人目标识别嵌入式系统的硬件结构( 如图2 4 ) 。需要说明的是，对视频数据采集和处理需要大容量的存储空间，仅仅处理器的内部存储远远无法满足，所以系统需要扩展外部存储器，根据应用环境不同，可以s r a m s d r a m 、f l a s hr o m 、e 2 p r o m 、i d e 硬盘等等。常用的图像传感器有c c d 和c m o s ，c m o s 视觉传感器的优点是响应度较好，电路简单，能够提供更高的集成度、较低的功耗和较小的系统1 1两华大学硕十学位论文尺寸，而缺点是图像质量和系统灵活性较差。c c d 视觉传感器的优点是有较宽的动态范围，一致性较好，能提供比较好的图像质量和系统灵活度，而缺点是据此实现的感知单元往往尺寸较大18 1 。外界环境f i g2 4a r c h i t e c t u r ef o rv i s i o ns y s t e m图2 4 目标识别系统总体结构微处理器是目标识别系统的核心部件，可以选用当前的主流嵌入式处理器c p l d 、f p g a 、a r m 、d s p 或者它们的组合使用。为了便于图像数据的存储传输和显示，系统留有相应的数据传输和显示部分模块。人机接口部分是操作员发出指令对机器人进行远程或进程控制的窗口，比如在人机界面设置机器人的执行任务，选择导航策略、运动误差和临时任务的变更等等。通讯模块利用无线局域网、g s m 、g p r s 、w a p 等网络平台实现机器人与人或机器人之间的实时通信，以便机器人群体任务分配和行动协调，增强人机灵活互动对话。对于像智能机器人这样复杂的机电一体化产品，软件设计的重要环节是是选择一个合适的嵌入式操作系统。嵌入式实时操作系统( r t o s ) 有很多，比如商业用的v x w o r k s ，w i n d o w se m b e d d e d ，p a l mo s 等等，还有免费开放源代码的u cl i n u x ，i a c o s 实时系统。基于操作系统的软件设计不仅提高了嵌入式系统的可靠性和开发效率，还使系统具有良好的扩展性能和可移植性 1 9 】。西华大学硕士学位论文2 2 系统硬件设计2 2 1 系统方案我们选用三星公司的s 3 c 2 4 1 0 a ( a r m 9 2 0 t 内核) 和t i 公司的t m s 3 2 0 d m 6 4 2d s p 组合在一起作为系统的核心处理器，具体硬件系统方案设计如图2 5 ，其中主要模块的描述意义如下：c a m e r a ：支持n t s c p a l 制式模拟视频信号输入的图像采集模块；s d r a m ：扩展的6 4 m b 随机动态存储器，b o o tl o a d e r 存储区；d i s p l a y e r ：r g b 、s - v i d e o 或v g a 等全电视制式显示器：r e s e ta n dp o w e r ：系统复位和电源电路；p l a ns y s t e m ：决策系统；n a n df l a s h ：外部扩展的6 4 m b 与非f l a s h 存储器；g p r sp a c k ：g p r s 无线通信模块；j t a g ：$ 3 c 2 4 1 0 处理器的编程调试接口。f i g2 5h a r d w a r ep l a nf o re m b e d d e do b j e c tr e c o g n i t i o ns y s t e m图2 5 嵌入式目标识别系统方案两华大学硕士学位论文识别系统工作过程大致描述为：首先图像传感器模块采集目标图像，经模拟数字a d 转换后传给上位机d m 6 4 2d s p 作图像处理和分析；然后d m 6 4 2通过1 2 c 总线接口将图像特征传给2 4 1 0a r m 处理器，同时可以将处理的图像用r g b 、s - v i d e o 或v g a 等全电视制式显示器显示出来；根据图像特征信息，2 4 1 0a r m 9 利用识别分类算法将图像的目标对象识别出来，识别结果将作为决策系统决定机器人下一步动作的依据，比如机器人如何前进、后退、左右转弯，怎样接触并抓取目标等动作。2 4 1 0 可以通过g p r s 模块或r s 2 3 2 接口与其他机器人或p c 进行通讯。2 2 2 图像处理模块及电路设计v i d e of i g2 6f r a m eo fi m a g ep r o c e s s i n gs u b s y s t e m图2 6 图像处理子系统框图l a y e r图像处理子系统( 图2 6 ) 支持通用模拟视频信号的输入输出：一路n t s cp a l 制式的复合视频信号输入，一路r g b 、s - v i d e o 和v g a 输出，具有很强的通用性。本系统使用了d m 6 4 2 的二个视频端口( v p 0 和v p l ) ，分别与s a a 7 1 1 5 以及s a a 7 1 0 5 联接构成视频解码编码模块，再配置相应格式的视频输入显示设备就构成了一个完成的图像处理系统。系统中，d m 6 4 2 夕1 扩了6 4 ms d r a m 来满足高速图像处理的需要。下面我们介绍我们简略介绍以下系统中所用到的主要电子器件d m 6 4 2d s p 和视频解码编码芯片s a a 7 1 1 5 s a a 7 1 0 5 。t m s 3 2 0 d m 6 4 2d s p 是t i 公司新一带多媒体数字信号处理器，使用了t i第二代高性能增强性的超长指令字架构( v e l o c i t l 2 r m ) 。1 1 7 1 d m 6 3 2 片内包含：8 个并行处理单元，在6 0 0m h z 时钟时芯片的最大处理能力为4 8 0 0m i p s ，1 4两华大学硕士学位论文具有图像处理所需的速度和精度：2 级c a c h e 结构，数据依靠3 2 个3 2 位通用寄存器在多个处理单元之间传输；6 4 位外部存储器接e i ( e m i f ) ，1 0 2 4 船的总外部地址寻址空间，6 4 通道直接存储器访问控制器( e d m a ) ，可以在不消耗c p u 时间的情况下方便地进行数据传输；有3 个可配置的v i d e o 端口。般来讲，d s p 芯片的选型主要从以下几个方面考虑：( 1 ) 芯片的运算速度。这是衡量一个d s p 性能的重要指标；( 2 ) 性能价格比要高，即选择性能要好而且价格较低的芯片；( 3 ) 运算精度和动态范围；( 4 ) 接口功能。主要考虑是否便于和所需外部设备接口，如通信接口，各种存储器接口等：( 5 ) d s p 芯片的技术支持，说明文档是否完整；( 6 ) 芯片的开发工具。在d s p 系统开发过程中，开发工具是必不可少的，一个功能强大的开发工具可以大大缩短系统的开发时间：综合以上因素，本设计选用了t m s 3 2 0 d m 6 4 2 高性能d s p 。s a a 7 1 1 5 是p h i l i p 公司生产的专业视频解码芯片，其内部电路结构包括视频源选择、抗混叠滤波、a d c 、自动钳位、自动增益控制、时钟发生电路( c g c )和一个色度亮度分离多制式解码器等，s a a 7 1 1 5 的图像端口支持8 位1 6 位数据输出，并带辅助参考数据可直接与v g a 控制器接口。s a a 7 1 0 5 与s a a 7 11 5的结构功能正好相反，这里不再赘述。另外，s a a t l l 5 和s a a 7 1 0 5 提供1 2 c总线接e l ，其最高传输速率为4 0 0 k b p s ，通过它可以完成7 1 1 5 和s a a 7 1 0 5 的初始化以及设置修改等操作。图像处理系统的具体原理图见图2 7 ，这里我们只给出d m 6 4 2 与s a a 7 11 5和s a a 7 1 0 5 的电路连接原理，【2 0 】 2 1 1 d m 6 4 2 通过1 2 c 总线对s a a 7 11 5 和s a a 7 1 0 5 的内部寄存器进行配置，从而选择不同类型视频信号的输入和输出。两华大学硕士学位论文f i g 2 7s c h e m a t i cd i a g r a mo fi m a g ep r o c e s s i n gs u b s y s t e m图2 7 图像处理子系统原理图2 2 3 中央处理器和外围电路在a r m 处理器的应用选型中，有以下几点值得注意：1 ) 所选的处理器a r m 内核与操作系统是否兼容。a r m 7 t d m i 以及之前的内核没有存储管理单元( m m u ) 以致不能支持v x w o r k s ，w i n d o w se m b e d d e d 等操作系统，却可以支持l a cl i n u x 和l a c o s 实时系统。2 ) 性能价格比是否满足设计要求。3 ) 该a r m 处理器是否有足够的功能接v i 。$ 3 c 2 4 1 0a r m 9 处理器采用1 6 3 2 位精简指令集计算机( r i s c ) 体系结构，支持t h u m b ( 1 6 位) 与a r m ( 3 2 位) x 2 指令集，能很好兼容8 位和1 6 位m c u 。有1 1 7 个通用i o 口和2 4 个外部中断源，丰富的接口控制器：u s b 控制器、4 通道d m a 控制器、3 通道u a r t 控制器、l c d 控制器( s t n 和t f t ) 、两个s p i 、一个1 2 c 总线接口、8 通道1 0 位a d c 和和摸屏接口等能够满足本目标识别系统的外设扩展。1 6两华大学硕士学位论文e x m a s 衙pa ，n t p r c o n thu s bh o s t c o n ti blp 。w e rm a n a g e m e n tbl c 。c 。n tl c 。m ab = 。uc 刮眺c 洲t a 州t o 佃e c o a esln a n dc o n t f 1 a s hb o o t l o a d e rpc = = 刮m e m 。哆c 0 n 丁s r a m ，n 。r ，s 。r a mf i g 2 8s 咖c 眦m o d u l eo f $ 3 c 2 410 a 2 2 】图2 8 $ 3 c 2 4 1 0 a 内部结构模块图【2 2 l$ 3 c 2 4 1 0 内部时钟可达2 0 3 m h z ，支持j t a g 检测调试编程，指令集可以完成和c c 抖语言等交叉编译，提高了用户编程效率同时迎合了现代高性能计算1 7两华大学硕士学位论文的需要，也满足作者设计的移动机器人目标识别系统实时性需求。$ 3 c 2 4 1 0 处理器内核供电量1 8 v ，存储器和外部i 0 3 3 v 供电，加之能耗有四种控制状态：普通、慢速、空闲和掉电模式，这些特点都足以保证$ 3 c 2 4 1 0 具有低功耗性能。此外，2 4 1 0 处理器具有m m u ，支持w i n d o w sc e 、e p o c 3 2 和l i n u x 等操作系统。综上所述，所以本文设计的嵌入式目标识别系统选择$ 3 c 2 4 1 0a r m 9 处理器。$ 3 c 2 4 1 0 a 采用2 7 2 f b g a 封装形式，其内部结构模块如图2 8 。参考文献 2 3 ，我们对s 3 c 2 4 1 0 的外围电路进行了设计，下面就其中的系统电源电路、r s 2 3 2 接口电路、j t a g 接口电路和g p r s 模块作以说明。机器人系统电源一般设计为+ 5 v 和+ 1 2 v ，而设计的嵌入式目标识别子系统需要+ 3 3 v 和+ 1 8 v 两种电源，这里使用l d o ( 低压差电源转换芯片) 实现+ 5 v向+ 3 3 v 和+ 1 8 v 的电压转换，电路图2 9 只给出了一路+ 5 v 向+ 3 3 v 的转换电路，同理再设计两路。利用电源电路输出量v d d 3 3 就可以分别给$ 3 c 2 4 1 0 处理器和d m 6 3 2d s p 的存储器以及i o 端口单独供电。再用一个s p x l l l 7 1 8l d o 芯片将+ 3 3 v 转换成+ 1 8 v ，即可供给$ 3 c 2 4 1 0 和d m 6 3 2 的内核。u 5s p x l l l 7 3 3f i g 2 9p o w e rs u p p l yc i r c u i t图2 9 电源电路$ 3 c 2 4 10 具有三个u a r t 口，这里将u a r t 0 和u a r t l 设计为r s 2 3 2 串口，采用s p 3 2 3 2 e 作r s 2 3 2 电平转换芯片，具体电路如图2 1 0 。西华大学硕十学位论文1 - os 3 c 2 4 l of i g 2 10r s 2 3 2i n t e r f a c ec i r c u i t图2 1 0r s 2 3 2 接口电路表2 1j t a g 接口引脚定义t a b l e2 1j t a gp i nd e s c r i p t i o n引脚序号名称功能描述1v t r e f目标板参考电压2v c c连接电源3n t r s t测试系统复位信号4 、6 、8 、1 0 、1 2 、g n d接地信号1 4 、1 6 、1 8 、2 05t d i测试数据串行输入7t m s测试模式选择