（机械电子工程专业论文）应用于robocup机器人的嵌入式图像处理系统的研究.pdf

i i i i i iii iiiii ii i i l li i i i ii l l l l li1 1 1 1 1 y 17 6 16 7 8 r e s e a r c ho ne m b e d d e d i m a g e p r o c e s s i n gs y s t e ma p p l i e dt or o b o to f r o b o c u p at h e s i ss u b m i r e dt o s o u t h e a s tu n i v e r s i t y f o rt h ea c a d e m i c d e g r e eo fm a s t e ro fe n g i n e e r i n g b y l i nz h i h o n g s u p e r v i s e dbysupervisedb y a s s o c i a t ep r o f e s s o rm a o y u l i a n g s c h o o lo fm e c h a n i c a l e n g i n e e r i n g s o u t h e a s tu n i v e r s i t y a p r i l 2 0 1 0 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：耋陋日 期：2 加b 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生虢缉墨堕导师签名：垃日 摘要 应用于r o b o c u p 机器人的嵌入式图像处理系统的研究 研究生姓名：林志洪 导师姓名：毛玉良副教授 学校名称：东南大学 摘要 视觉子系统是r o b o c u p 机器人获取比赛场地信息的主要途径，是自主足球机器人非常重要的组 成部分。视觉子系统需要先完成视频图像采集，然后经过一系列的图像处理操作，将最终提取的特 征信息码传递给决策层。一般的机器人视觉子系统在实现上多采用视频采集卡加通用计算机的方式， 其优点是硬件配置高、软件资源丰富等，但是功耗大、结构不轻便，对于依赖电池供电的全自主足 球机器人而言是主要的缺点。因此，基于嵌入式的图像处理系统的研究与设计具有现实意义。 本论文在对已有的足球机器人视觉子系统分析的基础上，并结合国内外大学和研究机构对嵌入 式图像处理系统的研究，设计了一套更加适合于r o b o c u p 机器人的视觉子系统。鉴于足球机器人视 觉子系统的复杂性，采用美国模拟器件公司b l a c k f i n 系列a d s p b f 5 3 l 处理器和开源的p c l i n u x 嵌 入式操作系统相结合的方式构建了嵌入式图像处理系统。 围绕r o b o c u p 中型组足球机器人的视觉子系统，本文主要的研究内容如下： 首先，分析了r o b o c u p 机器人视觉子系统的特点，提出了基于嵌入式平台的视觉子系统并完成 了系统总体方案设计。 其次，完成了系统硬件平台的建立和软件开发平台的构建。系统软件开发平台主要包括交叉编 译环境的建立、u b o o t 和i i c l i n u x 操作系统的移植，以及s a a 7 11 3 h 视频解码器字符设备驱动程序 的设计。 再次，开发了系统应用程序，包括视频图像采集、网络传输和初步的嵌入式图像处理。因为所 开发的系统本身不带g u i 图形接口，研究过程中为了便于观察效果，本文采用c 什b u i l d e r 软件开 发了w i n d o w s 下的图像接收与显示软件，可显示来自r o b o c u p 机器人视觉子系统采集得到的图像。 最后，本文进行了系统的整机调试和图像处理性能测试，并对课题研究工作进行了总结和提出 了展望。 关键词：视觉子系统，嵌入式系统，a d s p - b f 5 31 ，u - b o o t ，心l i n u x ，s a a 7 11 3 h ，图像 a b s t r a c t r e s e a r c ho ne m b e d d e d i m a g ep r o c e s s i n gs y s t e m a p p l i e dt or o b o to fr o b o c u p b yl i nz h i h o n g s u p e r v i s e db ya s s o c i a t ep r o f m a oy u l i a n g s o u t h e a s tu n i v e r s i t y a b s t r a c t v i s i o ns u b s y s t e mi sap r i m a r ya p p r o a c ho fo b t a i n i n gv e n u ei n f o r m a t i o nf o rr o b o c u pr o b o lw h i c hi s a l li m p o r t a n tp a r to ft h ea u t o n o m o u ss o c c e rr o b o t v i d e oi m a g ec a p t u r en e e d st ob ef i r s t l yc o m p l e t e db y v i s i o ns u b s y s t e m ，t h e nas e r i e so fi m a g ep r o c e s s i n go p e r a t i o n sa r ea c h i e v e d ，a n de v e n t u a l l ye x t r a c t e d f e a t u r ei n f o r m a t i o nc o d e sa r ep a s s e dt ot h ed e c i s i o n - m a k i n gl e v e l v i s i o ns u b s y s t e mo fg e n e r a lr o b o ti s r e a l i z e db yt h ew a yo fv i d e oc a p t u r ec a r dc o m b i n i n gw i t hg e n e r a l p u r p o s ec o m p u t e r , t h ea d v a n t a g e sa r e h i 曲c o n f i g u r a t i o ni nh a r d w a r e ，r i c hr e s o u r c e si ns o f t w a r ea n ds oo n ，b u th i g hp o w e rc o n s u m p a t i o na n dn o t l i g h ti ns t r u c t u r e t h ed e f e c t sm e n t i o n e da b o v ec a n n o tb ei g n o r e df o ra u t o n o m o u ss o c c e rr o b o tw h i c h d e p e n d so nb a t t e r y t h e r e f o r e ，t h er e s e a r c ha n dd e s i g no fe m b e d d e di m a g ep r o c e s s i n gs y s t e mh a v ev e r y i m p o r t a n tr e l e v a n c e b a s e do nt h ea n a l y s i so fe x i s t i n gs o c c e rr o b o tv i s i o ns u b s y s t e ma n dt h er e s e a r c ho fd o m e s t i ca n d f o r e i g nu n i v e r s i t i e sa n dr e s e a r c hi n s t i t u t i o n si ne m b e d d e di m a g ep r o c e s s i n gs y s t e m ，am o r es u i t a b l e r o b o c u pr o b o tv i s i o ns u b s y s t e mi sp r o p o s e da n dd e s i g n e di nt h i sp a p e r i nv i e wo ft h ec o m p l e x i t yo f s o c c e rr o b o tv i s i o ns u b s y s t e m ，e m b e d d e di m a g ep r o c e s s i n gs y s t e mi sc o n s t r u c t e db yt h ec o m b i n a t i o no f a n a l o gd e v i c e si n c ( a d i ) b l a c k f i nf a m i l ya d s p b f 5 31p r o c e s s o ra n do p e ns o u r c ep c l i n u xo p e r a t i n g s y s t e m a r o u n dv i s i o ns u b s y s t e mo fm e d i u m s i z e dg r o u pr o b o c u ps o c c e rr o b o t , t h ef o l l o w i n g sa r et h em a i n r e s e a r c hc o n t e n t si nt h i sp a p e r f i r s to fa l l ，t h ef e a t u r e so fr o b o c u ps o c c e rr o b o tv i s i o ns u b s y s t e ma r ea n a l y z e d ，v i s i o ns u b s y s t e m b a s e do ne m b e d d e ds y s t e mi sp r o p o s e da n dt h eo v e r a l lp r o g r a mi sd e s i g n e di nt h i sp a p e r s e c o n d l y , t h eh a r d w a r ep l a t f o r mo fe m b e d d e di m a g ep r o c e s s i n gs y s t e mi ss e tu pa n ds o f t w a r e d e v e l o p m e n tp l a t f o r mi sc o n s t r u c t e d t h es o f t w a r ed e v e l o p m e n tp l a t f o r mc o n t a i n st h ee s t a b l i s h m e n to f c r o s s - c o m p i l e re n v i r o n m e n t ，t r a n s p l a n t m e n to fu - b o o ta n dp c l i n u xo p e r a t i n gs y s t e m ，a sw e l la st h ed e s i g n o fs a a 7l l3 hv i d e od e c o d e rc h a r a c t e rd e v i c ed r i v e r t h i r d l y ，s y s t e ma p p l i c a t i o np r o g r a m sa r ed e v e l o p e di nt h i sp a p e r ，i n c l u d i n gv i d e oi m a g ea c q u i s i t i o n , n e t w o r kt r a n s m i s s i o na n di n i t i a le m b e d d e di m a g ep r o c e s s i n g b e c a u s et h ed e v e l o p e ds y s t e mi t s e l fh a s n t t h eg u ig r a p h i c a li n t e r f a c e ，i no r d e rt of a c i l i t a t eo b s e r v a t i o no fe f f e c ti nt h ec o u r s eo fs t u d y , t h es o f t w a r e o fi m a g e sr e c e i v i n ga n dd i s p l a yi nt h ew i n d o w si sd e v e l o p e db yc + + b u i l d e rs o f t w a r ei nt h i sp a p e r f o r r e c e i v i n ga n dd i s p l a yi m a g e sw h i c hc o m ef r o mv i s i o ns u b s y s t e mo fr o b o c u pr o b o t f i n a l l y , t h es y s t e mo v e r a l ld e b u g g i n gi sc a r r i e do u ta n di m a g ep r o c e s s i n gp e r f o r m a n c ei st e s t e d ，a s w e l la st h er e s e a r c ht o p i ch a sb e e ns u m m a r i z e da n dp r o s p e c ti sp r o p o s e di nt h i sp a p e r k e y w o r d s ：v i s i o ns u b s y s t e m ，e m b e d d e ds y s t e m ，a d s p b f 5 3 1 ，u b o o t , p c l i n u x , s a a 7 11 3 h ，i m a g e i i 目录 摘要 目录 a b s t r a c t 目录 第一章绪论 i i i 1 1 课题的研究背景l 1 2r o b o c u p 机器人视觉子系统概述l 1 3 国内外研究现状2 1 3 1 足球机器人嵌入式视觉子系统研究现状2 1 3 2 视觉系统已有的研究成果介绍3 1 4 课题的研究内容4 1 4 1 嵌入式图像处理系统概述4 1 4 2 研究对象和内容安排4 1 5 本章小结5 第二章 嵌入式图像处理系统硬件平台的构建 6 2 1 嵌入式图像处理系统总体方案设计6 2 1 1 嵌入式图像处理系统的方案分析6 2 1 2d s p 处理器的选择7 2 1 3a d s p - b f 5 31 处理器介绍8 2 1 4 摄像机类型的选择。l l 2 1 5 嵌入式图像处理系统总体设计方案的确立1 2 2 2 嵌入式图像处理系统硬件开发平台的建立。1 2 2 2 1a d s p b f 5 3l 核心板简介1 2 2 2 2 视频采集接口板硬件设计1 3 2 3r o b o c u p 机器人嵌入式图像处理系统硬件平台1 6 2 4 本章小结。1 6 第三章 嵌入式图像处理系统软件开发平台的构建 1 8 3 1 嵌入式操作系统的选择：1 8 3 2 嵌入式图像处理系统软件开发平台建立流程1 9 3 3 交叉编译环境的建立2 0 3 3 ig c l i n u x 开发系统交叉编译环境模型2 0 3 3 2 交叉编译工具的安装2 0 3 4u b o o t 的移植分析2l 3 4 1b o o t l o a d e r 的概念2 l 3 4 2u b o o t 工程概述2 2 3 4 3u b o o t 在a d s p b f 5 3 1 平台上的移植2 2 3 5 嵌入式l i n u x 操作系统的移植分析2 4 3 5 11 t c l i n u x 简介2 4 3 5 2 t c l i n u x 在a d s p b f 5 3l 平台上的移植2 5 3 6 嵌入式l i n u x 设备驱动开发2 8 i i i 东南大学硕士学位论文 3 6 1l i n u x 设备驱动基础2 8 3 6 2l i n u x 设备的分类2 9 3 6 3t t c l i n u x 字符设备驱动的开发一2 9 3 6 4 视频解码器s a a 7 1 1 3 h 设备驱动的实现3 0 3 7 本章小结3 2 第四章嵌入式图像处理系统应用程序的开发3 3 4 1 图像采集和网络传输程序设计3 3 4 1 1 图像采集程序设计3 4 4 1 2 图像网络传输程序设计。3 6 4 2w i n d o w s 下图像接收显示软件的开发3 9 4 2 。lw i i l d o w s 网络编程概述3 9 4 2 2 文件分割与内存流技术分析4 0 4 2 3 服务器端图像接收显示软件开发。4 l 4 3 基于嵌入式l i n u x 的图像处理技术4 2 4 3 1 视频数据的动态存储4 3 4 3 2 颜色分析库的建立。4 3 4 3 3 嵌入式图像处理初步。4 4 4 4 应用程序的动态调试与静态编译4 5 4 5 应用程序的自动运行4 6 4 6 本章小结4 6 第五章 系统的调试与性能分析 4 7 5 1 硬件调试4 7 5 2 软件调试4 7 5 2 1s a a 7 1 1 3 h 设备驱动的调试4 7 5 2 21 t c l i n u x 下图像采集和网络传输的测试4 8 5 3 嵌入式图像处理系统的性能分析5 0 5 3 1 图像采集速度测试5 0 5 3 2 图像处理性能分析5 0 5 4 系统调试和性能分析结果5l 5 5 本章小结5 l 第六章结论与展望 6 1 论文工作总结5 2 6 2 研究工作展望。5 2 j $ c 谢5 4 参考文献 攻读硕士学位期间发表的论文 i v 5 5 5 8 第一章绪论 1 1 课题的研究背景 第一章绪论 r o b o c u p ( r o b o tw o r l dc u p ) ，即机器人世界杯足球锦标赛，是近几年来在国内外兴起的高科技 对抗活动，主要就是通过提供一个标准的易于评价的比赛平台，促进d a i ( d i s t r i b u t e da r t i f i c i a l i n t e l l i g e n c e ) 与m s a ( m u l t i a g e n ts y s t e m ) 的研究与发展。r o b o c u p 足球比赛包括仿真组、小型组、 中型组、四腿组、救援组和类人组等多项比赛项引1 。2 j 。r o b o c u p 自1 9 9 7 年7 月在日本名古屋举办 以来，到今天已经发展成为一项重大的国际性赛事，为机器人学、人工智能、多智能体系统模式识 别和计算机视觉等其他交叉或前沿学科提供了一个理想的仿真和实验平台。 除r o b o c u p 之外，还有其他的一些国际机器人组织，其中比较大的是f i r a ( f e d e r a t i o no f i n t e r n a t i o n a lr o b o t - s o c c e r a s s o c i a t i o n ) 。f i r a 与r o b o c u p 的主要区别在于它们采用不同的技术规范： f 1 r a 足球比赛允许一支球队采用集中式控制，也就是一支球队中的所有成员同受一个决策层控制； 而r o b o c u p 足球比赛要求每支球队必须采用分布式控制，即每个成员都有自己独立的决策层，因而 每个成员都是一个独立的“主体”i l l 。 中型组足球比赛是r o b o c u p 比赛的主要项目之一，并一直被公认为难度最大和水平最高的比赛 类型，代表了该领域的最高水平。中型组足球机器人是完全自主的，每个机器人都由视觉子系统、 决策子系统、无线通信子系统、运动控制子系统和传感器子系统五部分组成，是典型的多功能分布 式控制的测试平台1 2 j 。本文的研究对象就是针对r o b o c u p 中型组足球机器人的视觉子系统，文中涉 及的足球机器人就是指r o b o c u p 中型组足球机器人。 视觉子系统通常由全向视觉传感器、图像采集和图像处理三部分组成，它是目前中型组机器人 最为重要的传感器之_ 【1 1 。视觉子系统可以通过对从摄像机得到的视频图像进行实时采集和处理， 得到机器人自身的位置信息和能够识别的目标，并将这些信息的特征码传递给决策层，由决策层进 行处理分析，从而控制机器人的行为动作。 足球机器人视觉子系统的全向视觉传感器在实际应用中的效果很好，被各参赛队广泛采用。因 此国内外的研究机构在足球机器人视觉子系统上的差异主要体现在其核心部分图像采集和处理 子系统上。目前，r o b o c u p 足球机器人的视觉子系统普遍采用c c d 摄像机和带有视频采集卡的工控 机或者笔记本电脑的方式。采用这种方法的优势很明显，但同时也给需要携带电池供电的全自主足 球机器人带来了不可忽视的缺点。基于工控机或笔记本电脑的图像处理系统的主要缺点是功耗和体 积较大，因此研究基于嵌入式的视觉子系统具有十分重要的现实意义。国内外的研究结果表明， r o b o c u p 机器人的视觉子系统采用嵌入式的图像处理系统是完全可行的，随着嵌入式系统技术的不 断发展，基于嵌入式的图像处理系统已经成为足球机器人视觉子系统研究的一种趋势【3 - - 训。运用嵌入 式图像处理系统可以克服一般r o b o c u p 机器人视觉子系统功耗和体积大的问题。 1 2r o b o e u p 机器人视觉子系统概述 视觉子系统是机器人感知外界环境获得全面信息的主要途径，是决策和控制系统的基础。视觉 子系统是机器人系统中最重要的组成部分，集成了计算机图形学和图像处理等众多学科技术，实现 类似人眼的功能j 。 当前，r o b o c u p 中型组各参赛队所使用的视觉方案主要有局部视觉和全向视觉两种。局部视觉 成像变形较小、使用方便但观察范围有限，通常水平视角不超过9 0 0 ，在场地复杂的比赛环境下提供 的信息有限，不利于决策。全向视觉系统克服了局部视觉系统的缺陷，可以观察到3 6 0 0 的整体场地 环境，但是图像变形较大【1 】。目前r o b o c u p 主要的参赛队基本上都采用了全向视觉系统，也存在全 东南大学硕士学位论文 向视觉配合前向视觉的组合视觉系统。全向视觉主要指采用全向视觉传感器，本文采用实验室自主 研发的折反射全向视觉传感器，由全向反射镜、玻璃套筒、摄像机和固定装置四个部分组成i l 埘。 对于具有视觉功能的足球机器人而言，视觉子系统的主要任务是实时采集比赛场地的图像信息， 然后经过一系列的图像处理过程，主要包括预处理、图像分割、目标识别和特征提取，从而获得场 地上球、敌我双方球员的坐标以及参照物，如球门、立柱和角柱的位置等信息，并将它们提供给决 策系统，以决定足球机器人下一步要执行的动作。图1 1 是足球机器人视觉子系统实现的基本流程。 图1 1 视觉子系统实现的基本流程 视觉子系统主要由图像采集硬件平台和图像处理软件平台两个部分组成i l 】： 1 硬件部分。视觉子系统的硬件部分包括全向视觉传感器、图像采集和支持图像处理的部件。 2 软件部分。图像采集、图像的在线处理以及离线处理。其中图像的离线处理是为了方便调试 而引入的，主要是图像的存储、传输，完成多种目标颜色分析特征库的建立和摄像机参数的设置。 在线处理是系统需求，按设定的工作模式实时获取比赛场地图像信息，在动态存储的基础上完成颜 色空间模型转换、基于目标颜色特征库的图像分割、场地目标的识别等一系列图像处理过程，并将 这些信息的特征码提供给决策层分析处理，作为决策的依据。 1 3 国内外研究现状 1 3 1 足球机器人嵌入式视觉子系统研究现状 目前视频图像采集的方式主要有两种：一种是采用带有视频采集卡的工控机或笔记本电脑：另 一种是采用基于嵌入式系统，利用图像采集芯片和高速的d s p 或a r m 处理器进行图像采集和处理 p d 引。基于工控机或笔记本电脑的图像采集方式广泛运用于各个需要图像采集和处理的领域，这种图 像采集和处理的方法可以利用商业化的操作系统及相关软件，因此系统硬件平台的搭建和软件开发 环境的建立相对比较容易，而且技术也比较成熟，易于成功，但这对于像需要携带电池供电的系统 来说却不大适合。近年来，随着半导体工业的高速发展，各种功能强大的芯片和嵌入式处理器的相 继问世，促进了基于嵌入式的图像处理系统的实现。基于嵌入式系统的图像采集和处理方式十分灵 活，用户可以根据特定的应用场合加以设计，因此研制基于嵌入式的图像处理系统具有很强的吸引 力。 国外的机器人视觉技术发展很快，他们的机器人可以做到很小，但却非常灵活。以日本的足球 机器人为例，日本索尼公司著名的机器狗a i b o ( 如图1 2 所示) ，它的体积很小，却可以完成许多 复杂的动作，包括射门、传球、带球等等。a i b o 的视觉子系统采用的方法就是基于嵌入式的图像处 理系统，主要包括3 5 万像素的c m o s 图像传感器，6 4 位的r i s c 处理器和a p e r i o s 微操作系统【”d 引。 当然，这个方法也是目前r o b o c u p 比赛中较先进的基于嵌入式的图像处理系统。日本大阪大学的类 人型机器人足球队，该足球队的v i s i c l n 系列机器人( 如图1 3 所示) 的视觉子系统采用的也是基 2 第一章绪论 于嵌入式的图像处理系统，由全向镜头、c m o s 摄像机和一个主处理器，该系统采用一个主处理器 完成图像的采集和处理、运动控制、传感器的反馈等【l l 】。 图1 2s o n y 公司a i b o 机器狗图1 - 3 日本大阪大学v i s i o n 机器人 由于基于嵌入式系统的图像采集和处理的优越性，研究嵌入式的图像处理系统成为机器人视觉 子系统研究的趋势。与国外的先进技术相比，国内在视觉技术方面还需要进一步的提高。在国内， 中国科学院自动化研究所的原魁、路鹏、邹伟等人研发了一种高性能、低功耗的机器人视觉子系统， 主要采用d s p + f p g a + 视频解码器1 7j 。该方法是针对足球机器人比赛的实际需要提出的，改变了以往 使用c c d 摄像机和带有视频采集卡的工控机或笔记本电脑进行图像采集和处理的方法，大大降低了 系统的功耗，减轻了机器人的重量，提高了机器人的灵活性，同时也大大降低了系统的成本。此外， 大连民族学院的李绍民长期从事足球机器人视觉子系统的研究，他提出了c m o s 摄像机+ c p l d + d s p 的嵌入式图像处理系统方案【3 】【引。应用该方案设计的足球机器人视觉子系统已经可以完 成视频图像的采集工作，但还没有正式应用于r o b o c u p 比赛。 因此，如何提高机器人的视觉技术，赶上国外的研究水平便成为国内研究的热点。此外，机器 人视觉技术的研究成果还可以广泛运用于工业控制现场等需要远程图像和视频监控的场合。 1 3 2 视觉系统已有的研究成果介绍 图l - 4 所示的机器人是本实验室自主研发的中型组足球机器人，它的视觉子系统由全向视觉传 感器、c c d 摄像机、视频采集卡和工控机四个部分组成，目前足球机器人视觉系统已取得的研究成 果均是在该平台下完成的。 图1 4 基于工控机的r o b o c u p 中型组足球机器人 3 东南大学硕士学位论文 本实验室对全自主足球机器人视觉子系统的研究成果主要有如下几个方面： 1 视频图像的采集、颜色空间转换、图像预处理、中值滤波、基于r l e 的区域融合、特征标 注、距离标定和机器人自定位初步研究，详见参考文献1 。 2 全向视觉系统的自定位方法研究，详见参考文献2 。作者详细介绍了全向视觉传感器的研 究与设计、基于两个特征点的定位方法、基于三个特征点角度信息的定位和基于扩展 k a l m a n 滤波的自定位方法研究。 这些图像处理的算法和应用研究成果均是在工控机平台和w i n d o w s 操作系统下完成的，软件代 码全部是采用c 语言完成的，因此这些的研究成果可以很方便移植到带操作系统的图像处理平台上， 如l i n u x 操作系统等。 1 4 课题的研究内容 1 4 1 嵌入式图像处理系统概述 嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪，适应应用系统对功能、可 靠性、成本、体积、功耗等严格要求的专用计算机系统1 5 1 。随着后p c 时代的到来，嵌入式系统由于 其独特的优越性使得它广泛运用于各行各业中。而像机器人这样高度智能化的产品，更是离不开嵌 入式系统。本文主要研究基于嵌入式系统的足球机器人视觉子系统。 随着半导体行业的发展，新型的功能强大的嵌入式处理器和芯片的不断问世，如各种高性能的 d s p 和a r m 处理器，使得研究基于嵌入式的图像处理系统成为可能1 3 - 1 4 。以美国模拟器件公司( a d i ) 的b l a c k f i n 系列d s p 为例，它是a d i 与i n t e l 联合开发的体现高性能体系结构的首款第四代d s p 产 品。这一代新产品是专为图像、视频的处理和网络传输而设计的通用d s p 芯片，能处理广泛用于互 联网的大量图像、声音、文本和数据流，因此该处理器非常适合做嵌入式图像处理系统【1 5 - 丌。足球 机器人采用基于嵌入式的图像处理系统进行图像采集和图像处理工作，并把最终提取的信息特征码 传递给决策系统。采用这样的方式，可以大大降低视觉系统与决策系统之间通信的数据量，进而提 高了系统通信的快速性和可靠性，而且可以大大降低系统的功耗，延长比赛中电池的使用时间。 国内外很多的大学和研究机构在研究基于嵌入式的图像处理系统，有的还处于研究的初期，有 的已经研究出一些可行的方案，并应用于足球机器人，但是由于效果不是很理想，因此还在不断的 探索中。 1 4 2 研究对象和内容安排 嵌入式图像处理系统 医受至【：i 二二_ 。 i 运动控制系统 4 第一章绪论 本文研究的嵌入式图像处理系统是面向r o b o c u p 机器人视觉子系统。如图1 5 所示，由于已经 研究的图像处理算法基本可以满足r o b o c u p 比赛的要求，针对一般图像处理系统的缺点，本文为实 现采用嵌入式图像处理系统代替已有的工控机平台的图像处理系统，主要的研究工作在于嵌入式系 统硬件平台的建立和系统软件开发平台的构建，最后再完成将已有w i n d o w s 操作系统下的研究成果 向嵌入式平台上移植。因此，本文的研究内容主要包括嵌入式图像处理系统方案的设计与实现，系 统软件开发平台的构建，以及初步的嵌入式图像处理，并为最终完成足球机器人的视觉子系统从工 控机平台向嵌入式平台的转变提供良好的实验开发平台。本课题的研究主要是围绕如下几点： 1 在对国内外足球机器人视觉子系统的研究基础上，设计一套应用于r o b o c u p 机器人视觉子系 统的嵌入式图像处理系统，所设计的系统可以满足足球机器人对视频图像的采集和处理的需要： 2 考虑到简化软件的编写和便于现有的图像处理研究成果可以在本系统上运用，同时由于 心l i n u x 操作系统的强大功能和适合于在嵌入式系统中运行，本文通过在a d s p - b f 5 3 l 硬件平台上移 植l a c l i n u x 操作系统，并开发相应的设备驱动程序，搭建系统的软件开发平台； 3 在前两步完成之后开发系统的应用程序，为进一步的图像处理奠定基础。 针对上述课题开展的三个切入点，本论文的内容安排如下： 第二章详细介绍了嵌入式图像处理系统方案设计和硬件平台的构建过程。本章通过分析了现有 各种基于t i 公司d s p 处理器的嵌入式图像处理系统的特点，提出了基于a d i 公司b l a e k f i n 系列d s p 的嵌入式图像处理系统方案。 第三章详细介绍了嵌入式图像处理系统软件开发平台的构建过程，主要包括系统开发交叉编译 环境的建立、u b o o t 的移植分析、i 且c l i n u x 操作系统的移植分析和视频解码器s a a 7 11 3 h 字符设备 驱动的开发。 第四章介绍了c l i n u x 下图像采集和网络传输程序的设计、w i n d o w s 下图像接收与显示软件的 开发和初步的嵌入式图像处理算法的实现，主要目的是在本嵌入式平台下完成视频图像的采集、网 络传输和图像分割、目标识别等初步的嵌入式图像处理，验证系统方案设计的正确性。 第五章介绍了系统调试的过程和方法，并实验分析了系统的图像处理性能。本章着重介绍了系 统的软件调试，包括视频解码器s a a 7 11 3 h 设备驱动的调试过程、g c l i n u x 下图像采集和网络传输 程序及w i n d o w s 下图像接收与显示软件的调试等等。 第六章主要是对整个研究工作进行总结，并提出了下一步研究所要做的工作及将来可能面临的 一些困难和相应的解决办法。 1 5 本章小结 本章概括了r o b o c u p 中型组机器人的视觉子系统的研究背景、国内外研究现状，阐述了嵌入式 图像处理系统的优点和研究的意义，并提出了采用嵌入式图像处理系统的方案应用于r o b o c u p 足球 机器人视觉子系统，最后介绍了课题的整体实施方案和本论文的内容安排。 5 第二章嵌入式图像处理系统硬件平台的构建 第二章嵌入式图像处理系统硬件平台的构建 视频图像的数据量非常大，这就对图像采集和处理系统提出了非常高的要求。在图像处理技术 发展的早期，基本上都是在个人计算机或工控机上完成的。但随着嵌入式技术水平的不断提高，以 及各种功能强大处理器和芯片的相继问世，使得基于嵌入式系统的图像处理技术正逐渐成为当今市 场上的焦点。与传统的图像处理系统相比，使用嵌入式图像处理系统摆脱了对个人计算机或工控机 的依赖，大大增强了系统的灵活性。嵌入式图像处理系统具有结构紧凑、操作简单、功耗小和维护 成本低等优剧1 们。 2 1 嵌入式图像处理系统总体方案设计 2 1 1 嵌入式图像处理系统的方案分析 根据足球机器人比赛的要求，所设计的嵌入式图像处理系统必须能够对采集的视频图像进行实 时处理。结合依赖电池供电的足球机器人的特点，基于d s p 的嵌入式图像处理系统已经成为国内外 高校和研究机构的研究趋势。对r o b o c u p 中型组机器人而言，一套合理高效的图像处理系统对于机 器人在比赛中取得优异成绩是至关重要的。已有一些研究机构已经研制出基于嵌入式视觉子系统的 足球机器人，主要有下图2 1 所示三个方梨3 1 【6 】 2 3 - 3 2 】。 ( a ) c c d + d s p + c p l d( b ) c c d + d s p + f i f 0 ( c ) c m o s + d s p + c p l d + f i f o 图2 1 基于d s p 的图像处理系统方案 从图2 1 中看出，这三个方案都是采用t i 公司t m s 3 2 0 v c 5 4 x x 系列d s p ，再配以c p l d 或f i f o 实现视频图像的采集和处理。下面分析下这三种方案的实现原理： ( a ) c c d + d s p + c p l d 方案 d s p 通过模拟1 2 c 总线对s a a 7 1l l 视频解码器进行初始化，c p l d 在d s p 信号的控制下产生双 口r a m 的地址、读写、选通等逻辑信号，将图像写入双口r a m 中，写完一帧图像后发出中断信 号通知d s p 处理器进行读取。 ( b ) c c d + d s p + f l f o 方案 本方案没有使用c p l d 来采集视频图像，而是采用f i f o 。s a a 7 11l 视频解码器的初始化也是通 过d s p 模拟1 2 c 总线进行，然后在d s p 的控制下，将输出的视频数据存入f i f o 帧存储器a l 4 2 2 b 6 第二章嵌入式图像处理系统硬件平台的构建 中，d s p 再从f i f o 中读取数据。系统增加了一片单片机用于做一些控制操作。 ( c ) c m o s + d s p + f p g a + f i f o 方案 本方案是采用d s p 、f p g a 、f i f o 和c m o s 摄像机实现的高性能嵌入式图像处理系统。c m o s 图像传感器的初始化同样也是通过d s p 模拟1 2 c 总线实现的，f p g a 控制c m o s 摄像机的图像采集， 并将一帧