（电子科学与技术专业论文）基于arm和dsp的嵌入式实时图像处理系统设计与研究.pdf

浙江大学硕士学位论文 a b s t r a c t w i t h t h e f a s t d e v e lo p m e n t o f m o d e m i n f o r m a t io n t e c h n o l o g y , t h e r e s e a r c h e s a n d a p p l i c a t i o n s o f i m a g e p ro c e s s in g , e s p e c i a l ly r e a l - t i m e i m a g e p r o c e s s in g c a t c h g r e a t i n t e r e s t s fr o m a ll o v e r t h e w o r ld . i n r e c e n t y e a r s , t h e d e v e l o p m e n t o f d s p t e c h n o lo g y h a s p u t t h e t h e o ry a c h i e v e m e n t o f d ig it a l s ig n a l p r o c e s s i n g f i e ld i n t o p r a c t ic a l a p p li c a t io n s y s t e m s a n d p u s h e d th e p r o g r e s s o f n e w t h e o r y a n d a p p l ic a t io n . a n d it p l a y s a n im p o r ta n t ro l e i n t h e f i e ld o f im a g e p r o c e s s in g . a t t h e s a m e t im e , t h e e m b e d d e d s y s t e m h a s g o tt e n m o r e a n d m o r e a p p l ic a t io n s i n t h e f ie ld s o f n e t w o r k , c o mmu n i c a t i o n a n d mu l t i m e d i a . t h e d i s s e r t a t io n i s b a s e d o n o u r l a b s r e s e a r c h a n d a p p l i c a t io n s i n t h e f ie ld o f i m a g e p r o c e s s in g s y s t e m , e s p e c ia l l y l ic e n s e p la t e a u t o m a t ic r e c o g n it i o n s y s t e m . f i r s t ly , t h e d i s s e r t a t i o n a n a ly z e s t h e n e w d e v e l o p m e n t i n t h e f i e l d s o f e m b e d d e d s y s t e m , d s p a n d r e a l - t im e im a g e p r o c e s s i n g s y s t e m . t h e n , t h e d is s e r t a t i o n in t r o d u c e s a n e m b e d d e d r e a l - t i m e im a g e p r o c e s s i n g s y s t e m , w h i c h b a s e d o n d s p , f p g a a n d a r m . t h e s y s t e m i n t e g r a t e t h e h i g h p e r f o r m a n c e d i g it a l s ig n a l p r o c e s s o r , t ms 3 2 0 c 6 x o f t i , t h e f p g a a n d t h e e m b e d d e d p r o c e s s o r , s t r o n g a r m o f i n t e l , w h i c h h a s h i g h p e r f o r m a n c e in n e t w o r k a n d r e a l - t i m e c o n t r o l . i t p r o v id e s a n e w s o lu t i o n t o r e a l iz in g s o m e c o m p l e x a r it h m e t i c in t h e f ie l d o f r e a l - t i m e e m b e d d e d s y s t e m. a n d t h e n , a ft e r a n a l y z i n g t h e r e q u i r e m e n t o f o u r p r o j e c t a n d t h e d e v e lo p in g p r o c e d u r e s o f d s p a n d e m b e d d e d s y s t e m , t h e d i s s e r ta t io n i n t ro d u c e t h e f u n c t io n s a n d t h e t o p - l e v e l d e s i g n o f t h e s y s t e m , i n c l u d i n g t h e h a r d w a r e s y s t e m d e s i g n , t h e s o ft w a r e p l a t f o r m a n d t o o l s . i n t h e f o l lo w in g c h a p t e r s , it d e s c r i b e s in d e t a i l a b o u t t h e d e s i g n a n d i m p l e m e n t o f t h e h a r d w a r e s y s t e m , i n c l u d in g t h e h a r d w a r e d e s ig n a n d im p l e m e n t o f t h e b a s i c m o d u l e s o f t h e s y s t e m , t h e i m p l e m e n t o f t h e p c b a n d t h e d e b u g g in g a n d te s t s o f t h e s y s t e m . i t a l s o p r e s e n t s s o m e k e y p o in t s o f t h e s o f t w a r e d e s i g n , e s p e c i a l ly t h e d s p c o d e s p ro g r a m m i n g a n d o p t i m i z a t io n . f i n a ll y , t h e d i s s e r ta t io n s u m m a r iz e s t h e s y s t e m a n d i n t r o d u c e s t h e p r o s p e c t o f t h e s y s t e m i n t h e f u t u r e . k e y w o r d s : e m b e d d e d s y s t e m , r e a l - t i m e f p g a, e mb e d d e d l i n u x i ma g e p roc e s s ing ,d s p , s t r o n g a r m, 浙江大学硕士学位论文 第一章 绪论 圣 1 . 1 研究背景 实时系统(i 是指对于外来信息能 够及时进行处理， 并在控制对象允许时间 范 围内作出快速反应的系统，实时系统对响应时间的要求比分时系统更高。实时 系统按其使用方式不同，可分为实时控制系统和实时信息处理系统。实时系统 是指逻辑和时序出现偏差将会引起严重后果的系统。 从实现方式来分有两种类 型的实时系统:软实时系统和硬实时系统。 在软实时系统中系统的宗旨 是使各 个任务运行得越快越好，并不要求限定某一任务必须在多长时间内 完成;在硬 实时系统中， 各任务不仅要执行无误而且要做到准时。大多数实时系统是二者 的结合，实时系统的应用涵盖广泛的领域，而多数实时系统又是嵌入式的。 嵌入式系统 被定 义为3 :以 应用为中 心、以 计算机技 术为 基础、 软 件硬件可 裁剪、 适用于系统对功能、 可靠性、 成本、 体积、 功耗有严格要求的专用计算机 系统。 嵌入式系统的最大特点是其所具有的目的性或针对性， 即 每一套嵌入式系 统的开发设计都有其特殊的应用场合与特定功能， 这也是嵌入式系统与通用的计 算机系统最主要的区别. 另外， 嵌入式技术与实时性有着天然的 联系: 由 于嵌入 式系统是为特定的目 的而设计的， 且常常受到空间、 成本、 存储、 带宽等条件的 限制， 因此， 它必须最大限度地在硬件上和软件上“ 量身定做”以 提高效率， 这 样的结果最终导致了实时性的增强 数字图 像处理8 - 6 1 技术的飞速发展使得所有图 像处理的问 题都可以 用数字 信号处理的形式来解决，这为实时图像处理的应用提供了 广阔的空间。首先， 数字信号处理中存在大量成熟的 快速算法， 如 f f t , f h t 一 8 等， 这 些算法已 经大 量的 应用于图 像处 理中; 其次， 随 着 超大规模集 成电 路的 高 速发展， d s p ( d i g i t a l s i g n a l p r o c e s s o r ) ” 数字 信号 处理器的 发 展为 高 速的 实现 信号 处 理、 为 达到 系 统的实时性提供了 可能。 这些发展都使得图像处理技术广泛的运用于科学研究、 工农业生产、资源的遥感探测、医疗卫生、空间探索等各个领域。 本研究室近几年来一直在从事数字图像处理技术的研究， 研究成果在智能 交通领域的汽车牌照识别、路面检测与管理等方面己 有不少实际的应用，取得 了不少的成绩。 研究室最初推出 的 全天 候汽车牌照自 动识别系 统11 01 是 完全 基于 p c 机的， 汽 车牌照识别所需的图像处理过程完全由 p c 机上运行的软件来实现。 汽车牌照识 别和管理系统使用通用的计算机来实现，图像采集、牌照识别、数据库管理、 网络化数据传输等往往在同 一台机子上进行，影响了 牌照识别的 速度，严重的 影响了系统的实时性能。由 于实时性的限制使得系统无法采用一些运算量比较 浙江大学硕士学位论文 大的算法，影响了系统对各种车牌和不同 环境下的识别成功率和长期稳定可靠 运行。 而且整个系统都是基于通用计算机的软件， 不利于软件知识产权的保护。 为了克服以上缺点，更好的提高系统实时性能以及软件知识产权的保护， 本研究室接着推出了 基于 d s p ( t m s 3 2 0 c 5 x / 6 x ) + p c 的 汽车牌照识别系统 ， ， 一 ， ， 。 该系统将图像触发、图像采集、存储、处理集成到p c b 单板上， 通过p c i 与主机 ( p c ) 进行通讯。 该系统将牌照识别的核心算法放到d s p 内部运行， 充分利用d s p 在数字信号处理方面的优势，这样也使得系统可以在采集图 像的同时并行进行 图像处理， 提高了系统的实时性。 但是，系统依然受p c 的限 制，灵活性较差， 应用范围受到限制，系统的实时性和传输控制还有待提高。 2 0 0 1 年， 本 研究室 开 始开 始了 嵌 入式牌照识别系 统13 ) 的 研究。 该系 统基于 工 n t e l s t r o n g a r m 硬 件 平台， 将 车辆 牌照自 动识 别技术与 嵌入 式系统相结 合， 从 而构建一个极具实用价值和广泛适用性的嵌入式牌照识别系统。 主要研究了嵌 入式计算系统原理及其设计、 车辆牌照自 动识别技术、嵌入式网 络实现及嵌入 式系统及应用移植等。总体目 标是针对嵌入式系统的软硬件开发，深入嵌入式 l i n u x 内 核的 研究， 开发出可实际应用的嵌入式系统。 然而， 由于牌照识别算法 的高复杂度和嵌入式系统自 身在数字信号处理方面的限制，该系统依然不能满 足实时性的要求。 日新月异的半导体技术给了我们发挥想象的宽广空间。随着数字信号处理 器( d s p ) 和现场可编程门阵列器件( f p g a ) 以 及a r m技术的发展， 采用d s p 十 f p g a + a r m 的数字硬件系统显示出其优越性，正愈来愈得到人们重视。通用的d s p 通 过编程就可以 应用到广泛的产品中，并且主流制造商生产的 d s p已能满足算法 结构复杂、运算速度高、寻址方式灵活和通信性能强大等需求。 而a r m也可以 借助其通用的 开发软件或者支持它的操作系统进行多种应用的扩展。 而f p g a 则 具有灵活的开发方式， 简单易用， 逻辑接口 设计方便的 优点。 因此，我们在研究室以 往工作的基础之上，结合嵌入式系统、数字图像处 理以 及现场可编程门阵列器件 ( f p g a )的最新发展，提出了基于a r m 十 f p g a + d s p 的嵌入式实时图像处理系统。该系统结合以 往的研究成果和开发经验，充分利 用6 0 0 0 系列d s p 强大的并行运算能 力、 s t r o n g a r m 健壮的实时 控制和传输特性， 以 及f p g a 灵活的时 序逻辑 控制 技术， 从改 变现有硬 件系统的 角 度出 发 来提高 牌 照识别系统的实时性和灵活性，达到比 较满意的效果。 妇. 2 嵌入式系统概述 嵌入式计算系统 ( e m b e d d e d c o m p u t i n g s y s t e m ) 是指以 应用为中心，计算 机技术为基础，并且软硬件可裁剪，适用于应用系统对功能、可靠性、成本、 体积、功耗等有严格要求的 专用计算机系统;主要由 嵌入式处理器、相关支撑 浙江大学硕士学位论文 硬件、嵌入式操作系统及应用软 件系统等组成 14 嵌入式系统是执行专用功能 并被内部计算机控制的设备或者系统。它一般不使用通用型计算机，而且运行 的是固 化的软件， 用术语表示就是固件 ( f i r m w a r e ) ， 终端用户很难或者不可能 改变固件，操作系统和应用软件集成于计算机硬件系统之中，即系统的应用软 件与系统的硬件一体化。嵌入式系统具有软件代码少、高度自 动化、响应速度 快等特点，特别适合于要求实时和多任务处理的情况。 与通用型计算机系统相比， 嵌入式系统功耗低、可靠性高;功能强大、性 能价格比 高;实时性强，支持多任务;占 用空间小，效率高;面向特定应用， 可根据需要灵活定制。 嵌入式系统应用十分广泛，可以说在现代工作生活中无处不在。带有 g p s 系统的汽车、智能化的手机、数码相机、p d a或者智能卡等等都嵌有它们，人 们在与汽车、电梯、厨房设备、电视、录像机以及娱乐系统的嵌入式系统交互 时也往往对此毫无觉察。嵌入式系统可用于移动计算平台( p d a 、掌上计算机) ， 信息家电( 数字电 视、 机顶盒、网络设备) ， 无线通信设备( 智能手机、 股票接收 设备) ，工业/ 商业控制( 智能工控设备、p o s / a t m机) ，电子商务平台，甚至军 事应用等诸多领域，它们只是复杂程度、应用目 标不同而已。 嵌入式计算机系统设计不同于桌面计算机系统设计的一个方面在于:嵌入 式系统非常受限于功能和具体的应用环境，如对外部事件必须保证在规定时间 内 进行响应，有体积、重量的限制，功率预算、散热必须符合环境要求，需要 令人满意的安全性、可靠性，系统本身的成本需求等，其特点具体来说: 1 ) 实时响应操作。 实时系统操作不仅要得到正确的结果， 而且对结果的时 延有着明确的限制，有时需要计算最坏情况下的性能。 在复杂系统中估计最差 情况比较困难，所以经常导致过于悲观的估计。 “ 信号处理系统”、 “ 紧急任 务处理系统”就是典型的实时性要求很强的系统。 事件本身可能是周期性的， 或非周期性的。 周期性的事件要保证系统有足够性能来响应，而对于非周期事 件，我们必须估计最大事件到达率来应付最坏情况。 2 )体积和重量。 有些嵌入式系统是安装在飞机或一些手提式便携设备上， 重量和体积可能是很重要的考虑因素。 3 ) 安全性和可靠性。 系统会面临着出错的可能。 严重的人为操作失误、 设 备的受损都将导致嵌入式计算机系统出错。我们可以通过双机冗余备份或分布 式交互协议来保证某设备出错后整个系统继续工作，其挑战是最小冗余的低成 本系统的可靠性。 4 ) 复杂的应用环境。 很多嵌入式系统工作环境是不可控的， 特别是热、 振 动、冲击、光、电源抖动、 水腐蚀、火等。 5 ) 产品生产成本的敏感度。 虽然对嵌入式计算机系统有着迫切的需求， 成 浙江大学硕士学位论文 本仍然是极其重要的考虑因素。 无论系统大小， 大家对成本都同样关心， 但是 他们对变化的反应却有极大的分别。可能一个较复杂大系统，为了产品更优秀 而不惜多花几百元，而一个微型系统可能对 1 元的成本都会做出不同的决策， 因为它可能占整个设备成本相当大的百分比。 嵌入式系统曾被专用和难懂的操作系统、工具和应用程序所占据，现在， 嵌入式设计却大大受益于开源 ( o p e n - s o u r c e ) 软件 ( 特别是l i n u x )的透明性 和强大的功能。嵌入式l i n u x 正在这个嵌入式和普及计算的世界中前进。 互 1 . 3 d s p 概述 自 从 2 0世纪 8 0年代初期第一片数字信号 处理器( d s p : d i g i t a l s i g n a l p r o c e s s o r ) 问世以来， d s p就以 数字器件特有的稳定性、可重复性、可大规模 集成，尤其是可编程性和易于实现自 适应处理特点，给数字信号处理的发展带 来巨大的机遇，使得信号处理手段更加灵活，功能更加强大. 其应用领域已经 拓展到航空、航天、雷达、声纳、通信、家用电 器等各个领域，成为电 子系统 的心脏。 此外，随着d s p 运算速度的不断提高，能够实时处理的带宽也大大增加， 数字信号处理的研究重点也由 最初的非实时应用转向了高速实时应用领域。 数字信号处理任务通常需要完成大量的实时 计算，如在d s p中 常用的f i r 滤波和 f f t 算法。数字信号处理中的数据操作具有高度重复的特点。 d s p 在很 大程度上针对这些运算特点而设计。与通用微处理器相比， d s p在寻址和计算 能力等方面作了 扩充和增强。在相同的时钟频率和芯片集成度下， d s p完成的 f f t 算法的速度比通用微处理器要快2 -3 个数量级。 因此d s p除了具备普通微处理器所强调的高速运算、控制功能外，还针对 实时数字信号处理， 在处理器结构、指令系统、指令流程上作了很大改动。 d s p 微处理器相对于通用微处理器的区别是d s p 有以下主要特点: 1 )总线结构 通用微处理器内 部大多采用冯 诺依曼结构，其片内程序空间和数据空间 合在一起，取指令和取操作数通过一条总线分时进行。由于对数据和程序进行 分时读写，执行速度慢，数据吞吐量低。当高速运算时不但不能同时取指令和 操作数，还会造成传输通道上的瓶颈现象。d s p内 部采用程序空间和数据空间 分开的哈佛结构， 允许同时取指令和取操作数。 而且很多d s p 甚至有两套或者 两套以上内部数据总线，这种总线结构成为修正的哈佛结构。 对于乘法或加法 等运算，一条指令从存储器中取两个操作数，多套数据总线就使得两个操作数 可以同时取得，提高了 程序效率。 浙江大学硕士学位论文 2 )算术单元 硬件乘法器 由于d s p 的功能 特点，乘法操作是d s p 的一个主要任务。在通用微处理器 内 通过微程序实现的乘法操作往往需要 1 0 0 多个时钟周期，非常费时。因此， 在d s p 内部都设有硬件乘法器来完成乘法操作，以提高乘法速度。硬件乘法器 是d s p 区别于通用微处理器的一个重要标志。 多功能单元 为进一步提高速度， 可以 在c p u 内 设置多个并行操作的 功能单元( a l u 、 乘 法器、地址产生器等) 。如t i 公司的t m s 3 2 0 c 6 0 0 0 系列c p u 内部有8 个功能单 元， 即两个乘法器和六个a l u , 8 个功能单元最多可以在一个周期内同时执行八 条3 2 位指令。 由 于多功能单元的并行操作， 使d s p 在相同时间内能够完成更多 的操作，提高程序的执行速度。 3 )流水线结构 d s p 的流水线结构是提高程序执行效率的一个重要手段。 采用流水线结构， 使得两个或者更多不同的操作可以重叠执行。在处理器内，每条指令的执行分 为取指令、译码、取操作和执行等几个阶段，每个阶段成为一级流水。流水处 理使得若干条指令的不同阶段并行执行，因而能够提高程序执行速度。 在理想情况下， 一条k 段流水能在k + ( n - 1 ) 个周期内处理n 条指令。 其中， 前k 个周期用于完成第一条指令的执行，其余n - 1 条指令的执行需要n - 1 个周 期指令。然而， 非流水处理器上执行n 条指令却需要n k 个周期。 利用这种流水线结构，加上执行重复操作，就能保证数字信号处理中用的 最多的乘法累加运算可以 在单个指令周期内完成。 4 )指令周期短 早期d s p 的指令周期约4 0 0 m s ，运算速度为5 m 工 p s( 百万条指令/ 秒) 。随 着集成电路工艺的发展， d s p 广泛采用亚微米c m o s 制造工艺， 运行速度越来越 快。 例如 t i公司推出的 t m s 3 2 0 c 6 2 0 5芯片，时钟为 2 0 0 m h z ，运算速度达到 1 6 0 0 m i p s o 5 )片内 存储器 由 于d s p 面向 的 是数据密集型的 应用，因 此存储器访问 速度对处理器的 性 能影响很大。 d s p 算法的特点是需要大量的简单计算， 相应的其程序比 较短小， 存放在d s p 片内可以 减少指令的传输时间，并有效缓解芯片外部总线接口的压 力。 除了 片内 程序存储器外， d s p 内一般还集成有数据r a m ， 用于存放参数和数 据。 片内 数据存储器不存在外部存储器的总线竞争问 题和访问 速度不匹配问 题 因此访问 速度快，可以 缓解d s p 的数据瓶颈，充分利用d s p 强大的处理能力。 d s p 芯片的上述特点，使其在各个领域得到越来越广泛的应用。 浙江大学硕士学位论文 互 1 . 4基于a r m + d s p 的嵌入式实时图像处理系统 以 往，在多媒体领域应用方面，尽管为了满足市场上不同的应用需求，出 现了 各类支持不同协议编解码功能的图像处理系统。但它们的通用性和处理性 能一般较差，难以满足不同系统的特殊需求。 集图像采集、处理、显示、 与网 络交互等功能为一体的实时图 像处理系统的 研究得到了 广泛的关注。 由 于图像处理的数据量大，计算复杂， 数据处理相关性高，因此实时图像 处理系统必须具有强大的运算能力。在实时的应用环境中，一方面，需要提出 更好的图像处理理论以提高系统的性能，如图像边缘检测理论、神经网络在图 像处理中应用等; 另一方面需要在复杂度很高的情况下， 保证系统的处理速度， 达到实时性的要求，以保证系统的实际应用的价值。 近几十年来嵌入式技术发展非常迅速，越来越多的图 像处理问题，实时控 制问 题等都可以在嵌入式系统中得以实现。嵌入式系统能够得到迅猛发展的原 因除了它的体积小之外，最重要的还有伴随嵌入式系统应运而生的嵌入式实时 操作系统， 操作系统方便了嵌入式系统开发者的软件编写工作， 同时在多任务， 多中断环境中 显示了强大的优势。但是目 前能够普遍实用的各种实时嵌入式系 统存在各自 的问 题。有的嵌入式系统为了达到快速的实时响应特性，丢失了高 速并行运算的硬件结构，有的嵌入式系统虽然具有高度并行运算的硬件结构， 却丧失了支持实时特性的能力。为此，几家著名公司分别推出了基于a r m 系列 的增强型芯片， 这类芯片主要用于支持数据量较小的手持式多媒体应用，而对 于数据量庞大的其它图像处理应用则显得无能为力。 粗序存姑器 内存 良流量控素 4 器 停 拿 粼蠢，缨-w = !i 主存储设备 #5?r 7 , fit 19 聋 靡器 嚣赣 7q 然99 内部 r 陆1取 口 m tl i s c 内核 d s p 内桂 币 s 泪协处理器 。 : 。.， ，、h 锡 器 ， g n o ， 二: 图1 . 1 t i o m a p 系统框图 图1 . 1 是美国 t i 公司推出的o m a p 5 芯片， 它的目 的就是为了 有效处理多媒 体应用和ml( 管理人机界面) 。 o m a p 是基于a r m 的处理器， 采用了d s p 协同处理 浙江大学硕士学位论文 器来增强元件中d s p 的功能， 虽然也能进行快速的乘法和加法运算， 但这些处理 器并不具备循环缓冲、位反转、 平行移位和硬件循环等针对数字信号处理的寻 址功能，这就使其在代码最佳实现方面处于严重劣势。而且t i 这种带d s p 和a r m 的双核芯片目 前都只采用了比 较低端的 d s p 核 ( 如t m s 3 2 0 c 5 5 x ) ，对于复杂的图 像处理方面的应用，它的性能还远远不够。 m o t o r o l a 的 d r a g o n b a l l ( m c 9 3 2 8 m x 1 ) 处 理 器 则内 含一 个 a r m 9 2 0 t ( 第四 版) 处理 器，该 处理器也是 在 a r m 9 t d m i 核心的 基础上设立 起来的。 m c 9 3 2 8 m x i 也 支持3 2 位和1 6 位两种指令集模式( t h u m b 4 模式) ， 内有一个1 6 k 字节的指令缓 存和一个 1 6 k 字节的数据缓存，这个数据缓存比 t i o m a p 的大。 m c 9 3 2 8 m x 1 采用 了多媒体加速器来加速那些基于d s p 的应用的 执行速度，但它缺乏d s p 中相应的 硬件结构。 m c 9 3 2 8 m x i 主要面向 高级信息处理设备、 智能电 话、网页浏览器/ 写 字板、 数字式媒体播放器、 基于流行的p a l m o s 操作平台的手提电 脑和移动式数 字/ 语音应用产品，它在大规模图像处理和实时控制方面的能力仍然比较匾乏。 i n t e l的x s c a l e( 如p x a 2 5 0 ) 是一款基于高性能、低功率s t r o n g a r m 2系 列处理器的增强版的处理器，本质上是采用了增强型d s p 单r 工 s c 处理器【17 1 s t r o n g a r m 2最初由 a r m 和 d i g i t a l e q u i p m e n t 公司 联合开发， 如今英 特尔也 有 此类产品。英特尔的 a r m 处理器x s c a l e 属于第五版a r m 系列处理器，它是缓存最 大的一款处理器， 内 有3 2 k 字节的指令缓存和3 2 k 字节的数据缓存。 此外， 英特 尔这一款基于a r m 的处理器内部还有一块工作频率可达 4 0 0 m h z 的d s p 。基于 x s c a l e 技术开发的微处理器，一般用于手机、便携式终端 ( p d a ) 、网络存储设 备、骨干网 ( b a c k b o n e ) 路由 器、交换机等领域， 其芯片价格和开发软件费用 都相对较高。 以上谈到的这三个公司在处理器的设计上采用了 截然不同的方案。 t i 在设 计处理器时 考 虑了 两 组开发者: 应用软 件开发商 和d s p 软 件程序员。 这 种考 虑 就使得不同的软件供应商能 够各自 提供应用程序和软件，由c o d e c o m p o s e r s t u d i 。 在这些不同 开发平台间 提供桥接， 从而实现应用程序及软件之间的 对接。 英特尔和摩托罗拉则不同， 他们依靠一个通用的开发平台来实现其应用。这种 统一的开发环境有它的优点，它提供的 代码比t i 的双重编程环境简单。 从传统的硬件和软件设计看来，在现有的处理器基础上建构一个新的设计 通常比 重新去设计一个处理器更具吸引力。我们前面讲到的这些元件都是在已 经成功应用的处理器基础上建构的，也就是基于a r m 的元件和d s p . o m a p 为将 传统的基于d s p 的产品整合在嵌入式系统中 提供了新的思维。 c 5 5 x 处理器的高 m i p s 、低成本和低功耗已 经使其成为一款成功的并获得广泛应用的d s p 芯片。 将它与a r m 9 2 5 整合后又构成了一个综合了r i s c 和d s p 优点的开发平台，因而 能够非常有效地处理数据和信号， 但是其整体性能还不能满足实时图 像处理过 浙江大学硕士学位论文 程中复杂算法和传输控制的要求。 我们针对以上三种具有代表性的嵌入式处理器的优缺点， 提出采用t i c 6 0 0 0 系 列d s p , i n t e l s 七 r o n g a r m以 及f p g a 为主体的 硬 件系统 架构， 设计一种嵌 入 式实时图像处理系统。 用 c 6 0 0 0系列 d s p保证图像处理快速算法的实现，用 s t r o n g a r m 保证实时控制和形式多样的通讯接口的实现， 用f p g a 保证多处理器 之间的分任务协作机制和一些并行算法实现。在软件上，系统架构的各个组成 部分分别是独立的模块，每个模块的软件编写总体上互不干扰，只需要定义好 模块间的 通讯接口 协议就可以 保证整个系统的正常运行。 该系统克服了目 前t i o m a p 和m o t o r o l a d r a g o n b a l l 在处理大规模图 像算法和实时控制及传输方面的 不足， 而且成本相对较低， 软件开发过程相对比 较容易， 可以 借鉴已有的d s p , a r m 和f p g a 的开发经验和开发环境， 进一步降低系统成本。 妇. 5本论文的 研究内 容和章节安排 本文在分析了嵌入式系统， d s p ，实时图像处理的发展现状，结合本研究室 以 往的 工作基础之上， 提出了 采用t i c 6 0 0 0 系列d s p , i n t e l s t r o n g a r m 以 及f p g a 为主体的硬件系统架构， 设计出一种基于d s p十f p g a+a r m 的嵌入式实时图像 处理系统。 d s p + f p g a+ a r m系统 最大优点是结 构灵活， 有较强的 通用性， 适合于 模 块化设计，从而能够实现高效率的 算法和实时控制;同时其开发过程可以并行 地独立进行， 系统容易维护和扩展，适合实时信号处理。 d s p + f p g a 十 a r m系 统的核心由 d s p芯片和现场可编程器件f p g a以及a r m组成，另外还包括一些外 围的 辅助电 路， 如电 源、 晶 振、 先进先出( f i f o ) 器件、 s d r a m 以 及f l a s h r o m 等。 f p g a与d s p可以利用d s p处理器丰富的i / 0接口实现数据总线的连接。f p g a 与a r m也可以 通过a r m的外部总线相连，这样f p g a作为中间逻辑接口 便可以 将 d s p和a r m有机地结 合在一起。 从d s p角度看， a r m相当于它的 外围 控制功能 处理器，外围电 路辅助d s p 核心算法进行工作。而从a r m 角度看，d s p 相当于它 的协处理器，主要用于复杂的图像处理算法等。d s p 和a r m 各自 带有r a m ，用于 存放处理过程所需要的 数据及中间结果。 d s p 和a r m 也各自 带有f l a s h r o m ， 它 们存储了d s p和a r m执行程序和f p g a的配置数据。 这样一个复杂系统基本上是一个功能独立、模块化的系统，它们各自 需要 完成的任务是不同的， 但是它们的 共同目 标却都是让整个系统有效地协同 运作。 为d s p和 a r m以 及f p g a选用适当的外部晶 振，通过在恰当的时刻向d s p或a r m 触发中断， 加上f p g a 在逻辑上的 协调以 及其强大的输入输出接口， 就可以将d s p 和a r m两个独立的模块有机地结合起来，实现真正意义上的嵌入式实时图像处 浙江大学硕士学位论文 理系统。 作者的主要工作有: 1 )分析了本研究室以往在图像处理系统方面( 特别是牌照识别系统) 的 研究成 果和实际开发经验。包括p c + 图像处理软件+图 像采集卡的图像处理系统; d s p 十p c 的实时图像处理系统; 基于s t r o n g a r m 的嵌入式图像处理系统。 结 合当今嵌入式系统和d s p 技术的最新发展， 分析了 各自 的优点以及新的发展 方向。 2 )根据功能分模块，算法分任务的设计模式，设计出一种基于 s t r o n g a r m + f p g a + d s p的嵌入式实时图 像处理系统。该系统将高速的d s p 与 在通讯和网络、 实时控制方面具有独特优势的s t r o n g a r m 处理器， 以 及接口 逻辑丰富、并行运算能力强大的f p g a 结合起来，为嵌入式实时环境下一些 复杂算法的实现问题开辟了新的途径。 3 )完成了系统框架设计，包括系统功能划分，软/ 硬件模块的划分。系统功能 可划分为实时控制传输模块和实时图像采集处理模块。系统软/ 硬件可划分 为d s p图 像采集处理模块、s t r o n g a r m 实时控制及传输模块和f p g a 协同接 口模块。 4 )完成了系统基本模块的硬件设计。 包括硬件原理图的绘制， 硬件p c b 板图的 绘制， 解决了高速数字/ 模拟电 路设计等一系列问 题。完成了系统硬件的焊 接制作，并最终完成了 硬件系统的调试和测试。 5 )分析了s t r o n g a r m 实时控制及传输模块使用的嵌入式l i n u x 操作系统和d s p 图像处理模块中使用的d s p / b 工 o s 实时操作系统， 在软件开发过程中的一些 关键问题。 参与了系统基本模块的软件设计。 包括参与搭建软件平台的开发 环境和调试环境的部分工作; 参与系统d s p 软件实现与优化的部分工作， 其 中d s p 代码的优化工作还在继续进行当中: 参与了系统软/ 硬件的综合调试。 本文的章节安排如下: 第一章 绪论。 在介绍本研究室汽车牌照识别系统不同版本的 优缺点， 以 及 d s p 技术和嵌入式系统的最新发展基础之上， 阐述了 基于a r m + f p g a + d s p 的嵌入 式实时图像处理系统。 此外， 还介绍了 本文的主要研究内 容和作者所做的工作。 最后给出了本论文的 主要章节和内容的安排。 第二章 系统功能和总体设计。 结合系统的实际需求， 在课题开题工作的基 础上，结合d s p 和嵌入式系统的开发流程，详细介绍了 本课题研究所采用的嵌 入式实时图像处理平台总体设计方案，它涵盖了 硬件平台，软件平台及相关开 发环境和工具。 第三章 系统硬件设计与实现。 详细介绍了系统三个基本模块的 硬件设计和 浙江大学硕士学位论文 开发过程，以及硬件p c b 制作和调测等内 容。 第四章 系统软件设计与实现。 介绍了系统软件实现的一些关键问题， 特别 是d s p 代码的开发与优化等内容。 第五章 总结与展望。 总结了本课题研究所取得的成果及其不足之处， 提出 了课题进一步深入研究的展望及应用前景。 浙江大学硕士学位论文 第二章 系统功能和总体设计 2 . 1 d s p 开发工具和设计流程 c 6 0 0 0 系列d s p 开发工具包括软硬件两部分18: 1 )软件开发工具主要包括代码产生工具 ( c o d e g e n e r a t i o n t o o l s ) 和评 估工具 ( e v a l u t i o n t o o l s )。 代码产生工具包括c 编译器 ( c c o m p i l e r )、汇编优化器 ( a s s e m b l y o p t i m i z e r ) 、 汇编器 ( a s s e m b l e r ) 、 链接器 ( l i n k e r )。 c 6 x 系列的 c 编译器和 汇编优化器效率非常高，一方面使得开发人员可从d s p 的内 部结构的细节末节中 摆脱出 来， 另一方面可使产生的 执行代码能充分发挥c 6 x 系列d s p 的 v l i w 结构的 优 越性。从而大大提高了开发效率，缩短了开发时间。 评估工具包括软件模拟器 ( s i m u l a t o r ) 和硬件开发板等。主要用于在算法 模拟阶段对算法在d s p 系统中的实现效率等的评估。 2 ) 硬件开发工具主要包括仿真器( e m u l a t o r ) 和相应地调试软件( d e b u g g e r ) 。 硬件开发工具中的硬件仿真器可通过d s p 的 j t a g 仿真接口 对d s p 仿真和调试， 在p c 机和d s p 目 标板之间建立了一条仿真通道，软件调试器利用此调试通道，为 用户提供下载程序、访问 d s p 资源等调试便利。 d s p 系统的一般设计流程为: 1 ) 根据任务要求估算系统的 运算量的存储量，并以 此为基础初择d s p ; 2 ) 利用所选d s p 的软件模拟器或硬件开发板对核心算法和流程进行模拟， 若 初选的d s p 不能完成系统任务，则重新进行d s p 选择; 3 ) 若所选d s p 满足要求，则根据模拟结果， 进行d s p 系统结构设计: 4 ) d s p 硬件系统设计与调试; 5 ) d s p 软件设计与调试; 6 ) 根据d s p 系统软硬件调试的结果，有时需对系统作进一步的优化设计。 在进行d s p 软件开发时，首先编写c 语言或汇编语言源程序，然后通过编译、 汇编后，再与有关库文件链接即可形成可执行文件。 c 6 x 还提供了归档软件、十 六进制转换软件等工具软件， 其中归档软件可用于将多个源程序、 目 标程序等打 包; 十六进制转换软件可将可执行程序代码转换为e p r o m 编程器能接收的格式， 以 便于编写e p r o m 。其软件开发流程如图2 . 1 所示。 浙江大学硕士学位论文 图2 . 1 t m s 3 2 0 c 6 2 0 5 软件开发流程 夸 2 . 2嵌入式系统开发流程和设计原则 嵌入式系统的一般开发流程如图2 . 2 所示。 讨论、研究 嵌入式处理器 及嵌入式操作 系统等 写伪代码 编写程序 加载、测试 除去不必要的 硬件和软件 图2 .2嵌入式系统的开发流程 嵌入式设计 遵循的 原 则79 7以 系 统和 应用 集成为 核 心， 实 现系 统的 综 合和 浙江大学硕士学位论文 优化。 注重系统的实用性和先进性、可靠性与易维护性和系统的可扩展性: 1 )实用性和先进性:以实用性为系统开发的首要原则， 并确保在一定时期 内，整个系统在整体上和综合技术上的先进性。 2 ) 可靠性与易维护性: 本系统必须保证系统以 较高的可靠性长时间连续正 常运行，同时要求系统必须具备较好的易维护性。 3 ) 可扩展性:由于应用需求和系统功能的复杂性。 须强调和注重系统的或 扩展性，使系统可以 根据需要，方便地扩充、修改、调整和升级。 一个嵌入式系统的任务应该尽量单一，上电 后即启动进入应用软件， 接受 输入，完成功能。 它需要操作系统提供的服务有: 1 、上电 启动，装载应用软件运行:由 操作系统实现上电启动， 完成必要的 初始化后即转载应用软件运行; 2 、对外部设备的操作:由操作系统提供对外部设备的抽象访问; 3 、网 络协议栈: 基本的t c p / i p网 络协议栈; 4 , 数据的 保存和恢复:能在运行中保存和恢复数据; 5 、多线程:能支持多道线程同时运行，并提供线程间协调和通信。 9 2 . 3系 统功能 分析 在系统设计之前，我们必须进行系统的功能分析。在设计的最初阶段，我 们需要这些信息来设计系统的体系结构和构件。 系统从功能上可划分为d s p 图像采集处理模块、s t r o n g a r m 嵌入式实时控制 传输模块和两者之间的f p g a 协同接口 模块。图2 . 3 是本系统的结构框图。 图 像 输 入 c c d d s p 图 像采集处理模块 f p g a协同接口 模块 s t r o n g a r m实时 控制 传输 模块 图 2 . 3系统体系结构框图 这样一个复杂系统是基于三个功能独立的 模块的系统，各个模块需要完成 的任务是不同的， 但是它们的共同目 标却都是让整个系统有效地协同运作; 浙江大学硕士学位论文 1 )从 d s p角度看， a