（交通信息工程及控制专业论文）基于NIOSⅡ的视频图像处理系统设计.pdf

中文摘要 摘要：基于m o sl i 软核的嵌入式视频图像采集与处理在视频图像处理领域占 据重要的地位本文针对目前视频图像采集与处理领域解决方案所存在的瓶颈进 行了分析，研究并设计了基于n 1 0 si i 的视频图像采集、处理与l c d 显示系统对 今后系统的工程化奠定了基础 本文具体研究工作主要体现在以下几个方面： 1 分析了的嵌入式视频图像采集、处理与l c d 显示系统的总体需求，设计7 基于n l o si i 的嵌入式系统总体架构； 2 在学习相关芯片的具体应用方法和相关知识的基础上，设计了系统的硬件， 包括l c d 接口设计、视频采集芯片及外围电路设计、f p c a 芯片和其他模块接口主 板设计； 3 编写并调试了l c d 控制器模块、视频输入控制器模块、视频解码芯片初始化 配置模块、f p g a 和各个模块接口程序； 4 进行了整个系统的联调，完成了视频图像数据存储并透过l c d 显示； 本文首先建立了系统架构，然后根据系统架构进行硬件平台的设计并对硬件 平台进行分析和调试，最后编写个模块代码并完成系统联合调试实现系统要求 关键词：f p g a 、s o p c 、n 1 0 s l i 、图像处理 a b s 嗽c n v i d i n i a 萨删n ga n dp m s s i n gb 勰c d f t 口地n i o s i it a k 嚣姐 曲p o r t 柚ts 协t ci nv i d i m a g ep i 嘲i n gd 锄a i 扎t h cb 0 砌c - n e c k “i s i n gi nn o w v i d i m a g cg a l h c 咖ga n d o c c s s i n g l u t i 伽w 弱卸a l y z c di nt h cp a p s y s t 锄o f v i d i n l a g eg a t l i c r i n g 、p 嗽翳s i n g 卸du = dd j s p i a y i n gw 舔d c s i 鲫c db 獬d 蚰n i o s i i n cd c t a i lf c s c a r c hw o r ko f m c p a p c ri s 姗s c d i nt h ef o l l a 丽n g 勰p c c l s ： 1 、t h em a c m d c m a n d so f t h ee m b c d d e ds y s t 锄w e 陀柚a l y z c di nt h cp a p c f ，a l s ot h c m a c r o 触m co fn 圮c m b c d d c ds y 吼咖b a s e di nn 1 0 s1 1w 瑟d 豁i 印c d 2 ，n e s y s t 锄h a r d w 眦w 弱d 髂j 扣e d j nt h ep a 】嘲j n d u d 啦l c dj n t 曲v i d g a t l l e r i l l g 洲p 柚di bp c r i p h c r a ld r 饥地f p g ac h i pa n da 岫rm o d u l ci n t c r 矗瞄彻n 地 b a 辩o f 曲q d y i i l g a p p l i t i 伽m e n 硼s a n d 聆l a 吐v e i n f o m i a t i o no f 出c 亿l 缸i v c c h i p s ； 3 、1 1 掂u = d 咀咖岫盯m o d u l c ，v i d c o 缸n 讯) n 口m o d u l c ，n f i 删i i n i t i a i i z c d m o d u l co ft h cv i d i i i l a g ed c c o d ec h i p 柚d 舯d 争锄o fm o d u l ej l i t e 嘲w c 佗a l l m p i l c da n dd c b u g g e di nt h ep a p c l 4 、1 r i 坼w h o i cs y s t e md c b u 班；i l i gw 笛c a r r i e dt l l m u g l i a n dt l i cv i d i m a g ed a t a s t o m g c 柚dd i s p l a y i n g i c ds c 托e nw c 比f r i e do u ti i it h cp a p e l 1 1 圮s y s 把m 劬m e 柚dh a r d w a p i a t f o 咖w 勰d 船i g n o d 痂硪i y ，a c c o f d i n gt ot h e s y s t c mm 胁e 锄dt h i tw 够姐a l y z c d 锄dd e b u 跖c da c h i c v e f i i i l y 6 n a l b t l i cm o d u l c c d d e 柚dt h cw h o l es y s t c mw 舔彻n p i l e d 姐dd c b u g g c dt o h i c v cs y s t c m 他q u i 豫m t s k e y w o r d s ：f p g a 、s o p c 、n i o si i 、v i d c oi m a g cp 蝴i n g 致谢 本论文的工作是在我的导师徐茂生副教授和徐洪泽教授的悉心指导下完成 的，徐茂生副教授严谨的治学态度和科学的工作方法给了我极大的帮助和影响 在此衷心感谢三年来徐茂生副教授和徐洪泽教授对我的关心和指导 徐茂生副教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示 衷心的感谢。 徐洪泽教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向徐洪泽教授表示衷心的谢意 在实验室工作及撰写论文期间，王玺、陈飞等同学对我论文中结构和编写工 作给予了热情帮助并提出了宝贵建议，在此向她们表达我的感激之情同时也感 谢f p g a 群里那些志同道合的同学们对我的帮助，在此表示感谢 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业 1 绪论 1 1 孳i 言 随着科学技术的高速发展，以数字信息为载体的视频图像已经成为我们生活中 不可缺少的一部分。视频图像不单是用数码相机所拍摄的画面，同时还包括所有的 以数字信号作为载体的图像，不光有静止的图像，还有活动的图像【1 1 视频图像在传 输、存储、处理的过程中都是以数字信号的形式实现的。即视频图像以数字代表图 像。视频图像己经成为一种应用广泛的媒体，目前已经在医疗仪器、航空、测量等 领域尤其是消费类电子领域得到了广泛应用闭 视频图像技术的产品开发颇具前景，而嵌入式视频图像处理系统的实现方法正 是其中的关键技术嵌入式视频图像处理系统具有可靠性高、速度快、成本低、体 积小、功耗低和环境适应性强等特点嵌入式视频图像处理系统的实现方法有很多， 有基于专用处理芯片的方式：有基于d s p 的方式；还有就是基于f p g a 的方式基 于专用处理芯片的方式，目前有各大厂商陆续推出的许多处理功能强大、使用方便、 用于视频图像采集和处理的芯片，如视频编解码器、专用的图像处理芯片等这种 方法实现简单、技术成熟、成本低，其速度通常较数字信号处理器d s p ( d i 酉t a ls i 驴a l p m o 瞄曲快，但灵活性差，系统功能的可更改性差数字信号处理器d s p 目前已 经在嵌入式系统中得到广泛的应用，成为电信、广播、医疗图像、消费类电子以及 工业和马达控制等嵌入式系统的核心器件开发者可以用d s p 来快速处理数字化信 号如音频、视频和传感器信号等。 由于d s p 应用系统实现的复杂性和某些硬件性能的局限性，采用d s p 处理器f 蛔 1 r i 的t m s 3 2 0 c 系列) 的解决方案r 益面临着不断增加的巨大挑战，而自身的技术瓶 颈( 如：运行速度、吞吐量、总线结构的可变性、系统结构的可重配黄性、硬件可升 级性等) 致使这种解决方案在d s p 的许多新的应用领域中的道路越走越窄，基于单片 d s p 的方式在系统控制功能实现方面要耗费大量的d s p 资源。现代d s p 技术是相对 于传统d s p 技术而言的，是基于s 0 p c ( as y 蜕e m0 l l iap r o g r a m m a b l ec h i p ) 技术、e d a 技术与f p g a 实现方式的d s p 技术，是现代电子技术发展的产物，它有效地克服了 传统d s p 技术中的诸多技术瓶颈，在许多方面显示了突出的优势，如高速与实时性， 高可靠性，自主知识产权化，系统的重配置与硬件可重构性。 目前，f p g a 的容量已逾百万门级，使得f p g a 成为解决系统级设计的重要选 择方案之一。事实上，在d s p 技术领域，除了普通的d s p 处理器以外，利用f p g a 来实现d s p 系统已十分普遍1 3 l 。而且在许多诸如实时图像处理、联合战术无线电通 信系统、3 g 移动通信基站、实时工控系统、卫星导航设备等领域中，黜的d s p 解决方案已成为非此莫属的选择了基于f p g a 的方式处理算法用硬件实现，并行处 理程度高，可以实现高速处理，但由于算法比较复杂，开发难度很大 随着现代电子技术的高速发展，随着s o p c 技术的日趋完善，f p g a 的使甩给 我们带来了更大、更多的机遇，各种成熟m c o 他的出现，使得f r o m ( 加c c p t t o s y s t 锄 i na m i l i u t 髂成为可能 1 2 课题背景及意义 众所周知，f p g a 的应用越来越广泛，而基于f p ( a 的各种控制器也越来越丰 富，合理有效的将各种模块无缝的连接到一起进行应用，以成为一种趋势n i 鸺 系统的集成工具s o p cb u i l d c r 提供了这种连接环境，为我们免去了繁琐的底层开发 过程 本文采用了a l t m 公司的c y c l o 眦n 芯片，该芯片利用了a i l c m 公司的s o p o 一 n 1 0 s i i 软核处理器技术，n i o s i i 软核处理器是一个基于流水线技术设计的通用 r l s c 微处理器，通过将包括1 6 或3 2 位高性能处理器在内的多种应用模块嵌入到一 个通用的f p g 帆p l d 内，并针对a l t c m 公司的可编程系统的设计思想做了相应的 优化，逻辑器件实现了一个完全可重置的嵌入式系统。n 1 0 s h 最大的优点在于它的 灵活性，可裁减性，能够将c p u 和f p g 陡的优点集于一身，真正在f p g a 中实现 s o p c s o p c ( s y s t 锄彻ap i o g r a m m a b l ca i i p ) ，即片上可编程系统，与传统的s o c 设计相比，其设计更灵活、更便捷，不仅性能、速度、连接具有优势，而且可以缩短 上市时间 本设计中采用了6 4 0 4 c m o s 摄像头模块；采用了3 2 m b ”髂的s d l 认m 作为 系统内存( 共享显存) ，8 m b y t 髂的f 乙峪h 用作数据存储；使用了3 2 0 2 4 0 的3 j 英寸2 6 万色1 1 丌液晶屏作为数据、图形的输出为日后的系统升级留下了足够的空 间 为了实现数据图像的采集，必须有效控制s c c b 总线来完成对c m o s 图像传感 芯片o v 7 6 6 0 参数的配置。s c c b ( s 翻a lc a m e mc c m t f o lb u s ) 串行控制总线接口提供 简单的控制方式，通过s c c b 接口，可以对c m o s 图像传感芯片o v 7 6 6 0 内部所有 寄存器的值进行配置，从而完成对o v 7 6 6 0 的控制，实现对数据图像的采集然后， 通过a v a l 视频输入模块，它提供一种灵活的视频捕捉方案，完成视频模块与v g a 摄像头模块之间的接口；颜色条测试图案发生器；输入图像剪辑；输入图像水平扫 描：输入图像垂直扫描；a v a j o nd m a 主控向帧缓存器中写图像数据等工作。最后 2 再将需要显示的数据或图形显示到液晶屏上使用了免费的s d 舳、f i a s h 、d m a 等 控制器，修改并编写“= d n 仃o l l 盯口他和v i d j n l p 豫集成到a v a l 总线上， 达到系统要求 本系统最大的特点是可以自己订制指令，将软件实现的功能尽可能的用硬件资 源实现，这样就可以很大程度上提升系统性能。也可以将硬件难以实现的功能用软 件结构来描述出来，达到同样的应用效果这使得系统具有足够的灵活性和可变性。 1 3 国内外研究现状 随着现代技术的高速发展，人们对各种设备的要求越来越严格，系统对高速采 集的要求也越来越高，不但要求速度高、还要求数据量大；对各种数据、图形显示 的要求更是日趋人性化；而且嵌入式操作系统的使用也已成为必然的选择 对于嵌入式视频图像采集系统而言，选择不同的编，解码器和处理器，其系统 构成的难易程度和实现的功能也有所不同p 蚯l i p s 公司率先推出的单片视频解码器 s 从7 1 1 l 使得视频采集变得易于实现，已经替代了以往采用分离元件来实现视频信 号行、场分离的方法目前国内外普遍使用该芯片作为视频解码芯片m x 弱 i n s t 咖n c n 曲公司在视频解码器领域也推出了不少芯片，如1 v ”0 2 2 删0 2 0 和 t v p 5 1 4 5 等，目前国内还很少使用1 r i 公司就t v p 5 0 2 2 还推出了一套基于 1 m s 3 2 0 c 6 7 1 1 的视频解决方案，即l d k ( i n l a g i n g 隗v c i o p c ，sl 【i t ) 方案利用该方案 可方便实现j p e g 2 0 0 0 m p e g 4 和h 2 6 3 等编码国内上海汉唐科技有限公司以 t m s 3 2 0 c 6 2 0 1 ，1 m s 3 2 0 c 6 2 0 5 以及p h i l i p s 的商m e d i a1 m 1 3 0 0 作为核心处理器，构 建的嵌入式d s pm p e g 4 视频编解码系统填补了我国在该领域技术方面的空白，达 到了国际领先水平1 4 j 然而，微电子技术的进步以及各应用领域多样化的要求，促使集成电路向高速、 高集成度、低功耗的系统集成方向发展在单芯片上集成嵌入式c p u 、d s p 、存储 器和其他功能的片上系统( s o c ) 正处于高速发展中。a l t e m 公司提出的片上可编程 系统( s o p c ) 解决方案，使得f p g a 在嵌入式系统设计领域中的地位越来越重要 但是，使用t e m 的s o p c 架构完成视频图像的采集、处理与显示功能，目前在国 内还比较罕见。因为这要使用a u e r a 的软核构架，因此具有一定的风险性但考 虑到a u e r a 的技术支持，可以使用f p g a 内部的硬件资源和内部l e 进行外部设 备的驱动开发等，这样就大大的减少了硬件设计的复杂性。再考虑到开后的发展趋 势，普遍趋于使用f p g a 来做各类应用开发，所以选择t e r a 的s o p c 架构作为设 计方案。 1 4 本论文所完成的工作 搜集相关芯片资料，包括f p g a 、s d r 埘、f l a s h 等主芯片和相应的电源转换 芯片、接口信息、图像传感器模块、l c d 液晶模块的资料；根据功能要求制 定实现方案；使用 l t i 删d e s i g n e r 6 o 进行原理图设计、p c b 板布线，制 作电路板 对电路板进行板极调试：发现并解决了硬件上的问题。 编写v e r i l o gh d l 和d l 代码，对各模块进行简单的验证 编写并修改l c dc o n t r o l l e ri pc o r e 和v i d e oi n i pc o r e ，使其能够应 用到系统中。 编写相关程序对摄像头模块的配置：并对l c d 显示模块进行操作控制 使用q u a r t u s i i 工具编写、修改控制器代码，编译代码、管脚锁定、配置硬 件等 使用s o p cb u i l d e r 工具生成系统模块，使其能够在q u a r t u s i i 中进行应用、 验证 编写相应软件并使用n i o si ii d e 编译软件工程，下载到硬件系统中进行 验证 本论文研究的重点是如何应用基于f p g a 的s o p c 技术建立视频图像采集系统， 实现视频图像的采集、存储和显示功能 本系统可以应用于车牌号码检测等机器视觉方面以及酒店、海港等场所的视 频监视等领域其特点是灵活性高，系统可变性高，日后升级方便。 1 5 总体方案论述 由于要进行大批量的高速图像数据采集，所以对采集通道的要求比较严格，要 求使用d m a 进行传输，也就是直接数据存储功能，还要保证信号的稳定性，更主 要的是数据量会很大，这就必然要求使用s d m m ，所以选择使用f p g a 来做数据 采集控制，要求使用s d r a m 的软核控制器；而对于数据的处理，现在有两种方式： 一是使用a r m 进行软件处理，及显示控制等；另一种是使用f p g a 的内部逻辑进 行硬件处理，及使用的l c d 软核控制器进行显示控制。 于是便出现了以下两种方案： 第一种方案的整体框图如下图1 1 所示： 4 j e塞銮煎太堂亟堂焦 i 金 塞缝j 幺 l e d 和按键 图1 1 第一种方案整体框图 系统中的f p g a 芯片主要负责对外部s d r a m 、f i a s h 等外部芯片的控制，主 要负责数据的采集、存储等功能，而数据的处理、显示等交给a r m 来实现这样做 的风险小、但结构复杂，通信量大，系统整体性能差 第二种方案的整体框图如下图1 2 所示： 图1 2 第二种方案整体框图 这种方案是a i t e m 主推的一种s o p c 架构，使用n j h 系统作为主控制器，通 过s o p c b u i l d c f 集成工具来实现各功能模块的合理连接，使用系统自带的各种免费 控制器来减少底层硬件的开发、调试。参考a l t e r a 提供的各种成功的应用方案来指 5 导本系统设计，完成系统整体功能 但根据以上两种方案的整体框图，不难看出，第二种方案明显优于第一种，无 论是在电路复杂性方面考虑，还是在系统统一性上考虑，但这种构架，以前没有使 用过，即使在国内也鲜见，因为这要使用a u e r a 的软核构架，因此具有一定的风 险性但考虑到a u 圄l a 的技术支持，最终还是决定使用第二种方案。这样可以使 用f p g a 内部的硬件资源进行外部设备的驱动开发等，这样就大大的减少了硬件设 计的复杂性。再考虑到日后的发展趋势，普遍趋于使用f p g a 来做各类应用，所以 就选择了第二种方案 1 6 本章小结 本章主要论述了课题研究背景及意义，通过对比图像采集处理方面专用芯片、 d s p 处理器以及本章所采用的f p g a 芯片各自的优缺点，论述了本文采用f p g a 芯片 进行系统设计的优越性，并通过国内外发展现状对比论述了本文在图像采集、处 理、显示这个方向应用s o p c 架构的意义和指导作用，最后通过两种设计方案的对 比进一步说明s o p c 架构的优越性。 6 2 基于f p g a 构建s o p c 系统 2 1s o p c 系统及嵌入式内核 s o p c 技术是美国t c m 公司于2 0 0 0 年最早提出的，并同时推出了相应的开发 软件q l l a r t 惦和n 1 0 sm e s o p c 是基于f p g a 解决方案的s o c ，与a s i c 的s o c 解决方案相比，s o p c 系统及其开发技术具有更多的特色，构成s o p c 的方案也有很 多途径，主要有如下几个方面哆l 【6 j 1 7 焖 2 1 1 基于f p g a 嵌入式i p 硬核的s o p c 系统 即在f p g a 中预先植入嵌入式系统处理器。目前最为常用的嵌入式系统大多采 用了含有a r m 的3 2 位知识产权处理器核的器件尽管由这些器件构成的系统有很 强的功能。但为了使系统更为灵活完备，功能更为强大，具有更好的适应性，通常 必须为此处理器配置许多接口器件才能构成一个完整的系统。如除了常规的s r a m 、 d r j 气m 、n 勰h 外，还必须配置网络通信接口等。这样会增加整个系统的体积、功耗， 而降低系统的可靠性但如果将觚m 或其他的知识产权核，以硬核的方式植入f p g a 中，直接利用f p g a 中的逻辑宏单元来构成该嵌入式系统处理器的接口功能模块， 就能很好的解决这些问题。对此，a l 泐a 和x i l j 腻公司都相继推出了这方面的器件 例如，朋t c m 的e x l i b u r 系列f p g a 就植入了a r m 9 2 2 r 嵌入式系统处理器；x i i i 麟 的v i n c x p m 系列中则植入了i b mp o w e r p c 4 0 5 处理器。这样就使得f p g a 灵活的 硬件设计和硬件实现与处理器的强大软件功能有机地相结合，高效地实现s o p c 系 统 2 1 2 基于f p g a 嵌入式i p 软核的s o p c 系统 将i p 硬核直接植入f p g a 的解决方案存在如下几种不够完美之处： 由于此类硬核多来自第3 方公司，f p g a 厂商通常无法直接控制其知识 产权，从而导致f p g a 器件价格相对偏高。 由于硬核是预先植入的，设计者无法根据实际需要改变处理器的结构， 如总线规模、接口方式，乃至指令形式，更不可能将f p g a 逻辑资源构成的硬 件模块以指令的形式内簧入系统的硬件加速模块( 如d s p 模块) ，以适应更多 的电路功能要求。 无法根据实际设计需要在同一f p g a 中使用多个处理器核。 7 无法裁剪处理器硬件资源以降低f p g a 成本 只能在特定的f p g a 中使用硬核嵌入式系统，如只能使用e x c a l i b u r 系 列f p g a 中的a 跚核，y i r t e x i ip r o 系列中的p o 髓r p c 核。 如果利用软核嵌入式系统就能有效的克服并解决上述不利因素。 目前最有代表性的软核处理器分别是a l t c m 的n i o s 和n i 璐核，及) ( i l l i 畎的 m i m b l a z c 核特别是前者，即n i 傩c p u 系统，使上述5 方面的问题得到了很好 的解决。 n i 核是用户可随意配置和构建的3 2 位总线指令集和数据通道的嵌入式系统 微处理器坤核，采用a v a l o n 总线结构通信借口，带有增强的内存、调试和软件功能； 含有f s 2 开发的基于j 1 a g 的片内设备内核( o a ) 此外，基于q u a n 璐i i 平台的用 户可编程的n 汹核含有许多可配置的接口模块核，包括：可配置高速缓存( 包括由 片内e s b 、外部s l 渔m ，l o o m b 以上单周期访问速度) 模块，可配置r s 2 3 2 通信口、 s d l 乙a m 控制器、标准以太网协议接口、d m a 定时器、协处理器等只要f p g a 的资源允许，n i 核在同一f p g a 中植入的数量没有限制；在开发工具的完备性方 面，对常用的嵌入式操作系统支持方面，n i 都优于m 妇。矾a 就成本而言，由 于n i o s 是t 啪直接推出而非第三方推产品，故用户通常无需要支付知识产权费用， n i 的使用费仅仅是占用的f p g a 逻辑资源费。因此，选用的f p g a 越便宜，则n i 的使用费就越便宜1 1 5 l 【1 6 l 【切 特别值得一提的是，通过m a n a b 和d s pb u i l d c f ，或直接使用v 阳) l 等硬件描 述语言设计，用户可以为n i 嵌入式处理器设计各类硬件加速器，并以指令的形式 加入n j 的指令系统，从而成为n i d s 系统的一个接口设备，随心所欲的构建自己的 d s p 处理器系统，而不必拘泥于其他d s p 公司已上市的有限款式的d s p 处理器。 2 1 3 基于h a r d c o p y 技术的s o p c 系统 通过强化s o p c 工具的设计能力，在保持f p g a 开发优势的前提下，引入a s i c 的开发流程，从而对a s i c 市场形成直接竞争。这就是朋t c 托推出的h a r d p y 技术。 m c o p y 就是利用原有的f p g a 开发工具，将成功实现于f p g a 器件上的s o p c 系统，通过特定的技术直接向a s j c 转化，从而克服传统a s i c 设计中普遍存在的问 题。 与h a r d c o p y 技术相比，对于系统级的大规模a s i c 开发，有不少难于克服的问 题，其中包括开发周期长、产品上市慢，一次性成功率低、设计软件工具繁多且昂 贵、开发流程复杂等。a s i c 设计的高成本和一次性低成功率很大部分是由于需要设 计和掩摸层数太多。然而如果利用h a r d c o p y 技术设计a s i c ，开发软件费用仅2 0 0 0 8 美圆，s o c 级规模的设计周期不超过2 0 周，转化的a s i c 与用户设计习惯的掩摸层 只有两层，且一次性投片酌成功率近乎1 0 0 ，即无缝转化 2 2n i o s i l 系统及其特点 2 。2 1 第一代n i o s 嵌入式处理器 第一代的n i 璐已经体现出了嵌入式软核的强大优势，但还不够完善它没有提 供软件开发的集成环境，用户需要在n i s d ks h e h 中以命令行的形式执行软件的 编译、运行、调试，程序的编辑、编译、调试都是分离的，而且还不支持对项目的 编译。这对用户来说不够方便，还需要功能更为强大的软核处理器和开发环境 嘲嘲川嘲 2 2 2 第二代n i 傩嵌入式处理器 2 0 0 4 年6 月，舢t c m 公司在继全球范围内推出c y d 咖en 和s t r a t i 】【h 器件系列 后又推出了这些新款f p g a 系列的n i i i 嵌入式处理器n i 僻嵌入式处理器和 c y c l ei lf p g a 组合，使得n i o s 嵌入式处理器在c y d o n ci i 中具有超过1 咖m 即 的性能，允许设计者在很短的时间内构建一个完整的可编程系统，风险和成本比中 小规模的a s i c 小。 n i o si i 系列嵌入式处理器使用3 2 位的指令集结构，完全与二进制代码兼容，它 是建立在第一代1 6 位n i 处理器的基础之上的，定位于广泛的嵌入式应用。n i 伪 处理器系列包括了三种内核：快速的( n i o s i 班) ，经济的( n i i ) 和标准的( n i i ) 内核，每种都针对不同的性能范围和成本使用t c m 的q u a n 惦软件、s 0 p c b u i l d c r 工具以及n i o s 集成开发环境( 1 d e ) ，用户可以轻松地将n i 傩处理器嵌入 到系统中。 a l t e m 推出的n i n 系列嵌入式处理器扩展了目前世界上最流行的软核嵌入式 处理器的性能，把n i 嵌入到i m 的所有f p g a 中，例如s t r a t i x i i 、s 岫呶、 q d o n e i i ，c y c l o n e 、a p e x ，f 虻e x 和r d c o p y 系列器件中，用户可以获得超过2 0 0 d m i p s 的性能，用户可以从三种处理器以及超过个的i p 核中选择所需要的，n i o s 系统为用户提供了最基本的多功能性，设计师可以以此来创建一个最适合他们需 求的嵌入式系统 2 2 3 可配置的嵌入式软核处理器的优势 9 一、合理的性能组合 l 、三种处理器内核。n i 开发人员可以选择一个或任意以下三种内核的组 合：快速度的内核( n i 伪i w ) 具备高性能，经济的内核( n i 璐，c ) 具备低成本， 标准的内核( n 硫l 柏) 用于性能和尺寸的平衡 2 、超过6 0 种s o p cb u i l d 盯配备的内核。用户可以创建一组适合于自己应用 的外设、存储器和加接口。现成的嵌入式处理器可以快速嵌入a l t e m 的f p g a 中 3 、无限的d m a 通道组合，直接存储器存取( d m a ) 可以连接到任何外设从 而提高系统的性能 4 、可配置的硬件及软件调试特性软件开发人员具有多个调试选择，包括基 本的j t a g 的运行控制( 运行、停止、单步、存储器等) 、硬件断点、数据触发、 片内片外跟踪、嵌入式逻辑分析仪这些调试工具可以在开发阶段使用，一旦调 试通过后可以去掉 二、提升系统性能 设计人员通常都会选择一个比实际所需的性能要高一点的处理器( 意味着更高 的成本) ，从而为设计保留一个安全的性能上的余量n i 系统的性能是可以根 据应用来裁减的，与固定的处理器相比，在较低的时钟频率下具备更高的性能n i n 的以下特性可以提升系统的性能。 1 ，多c p u 内核开发者可以选择最快的n i 内核( n i i 雅) 以获得高性 能，还可以通过添加多个处理器来获得所需的系统性能。 2 、f p g a 系列支持n i n 处理器可以工作在所有近来a l 胁推出的f p g a 系列上。尤其是s t m t i 】【h 器件上，n i i w 内核超过2 0 0 d m i p s 的性能仅占用1 8 0 0 个逻辑单元。 3 、多处理器系统。许多开发人员使用n j 来扩充外部的处理器，为保持系统 性能并分担处理任务另外，设计者也可以在一片f p g a 内部实现多个处理器内 核。通过将多个n i i 眦内核集成到单个器件内以获得较高的性能，而不用重新设 计印刷电路板( p c b ) n i o si i 的i d e 也可以支持这种许多处理器在单一f p g a 上 的开发，或多个f p g a 共享一条j 1 a g 链。 4 、定制指令。用户定制指令是一个扩展处理器指令的方法，最多可以定制2 5 6 个用户指令。定制指令处理器还是处理复杂的算术运算和加速逻辑的最佳途径。 例如，将一个在6 4 k 字的缓冲区实现的循环冗余码校验( c r c ) 的逻辑块作为一 个定制的指令，要比用软件实现快2 7 倍 5 、硬件加速。通过将专用的硬件加速器添加到f p g a 中作为c p u 的协处理 器，c p u 就可以并发地处理大块的数据。例如上面提到的c r c 例子，通过专用的 硬件加速器处理一个6 4 k 字的缓冲区比用软件快5 3 0 倍s o p cb u j l d c r 设计工 具中包含一个引入向导，用户可以用这个向导将加速逻辑和dm _ a 通道添加到系统 中。 三、降低系统成本 嵌入式系统设计人员总是坚持不懈地寻找降低系统成本的方法然而， 选择一款处理器，在性能和特性上总是与成本存在着冲突，最终结果总是以增加 系统成本为代价的利用n 0 i s c 处理器可以通过以下途径来降低成本 1 、更大规模的系统集成将一个或更多的n i n 处理器组合，选择一个或 更多的n i 处理器组合，选择合适的外设、存储器、加i 接口，利用这种方法可 以减少电路板的成本、复杂程度以及功耗。 2 、优化f p g c p u 的选择。经济型的内核( n i o si ) 只占用不到3 5 美分 的( 砌o 器件资源，保留了更多的逻辑资源给其他片外的器件；并仅仅占用6 个逻辑单元，这样就可将软核处理器应用于低成本的、需要低处理性能的系统中 小的c p u 还使得在单个的f p g a 芯片上嵌入多个处理器成为可能 3 、更好的库存管理嵌入式系统通常包含了来自生产商的多种处理器， 以应付多变的系统应用当某种处理器短缺时，管理这些处理器的库存也是个问 题但使用标准化的n i 镐软核处理器，库存的管理将会大大简化，因为通过将 处理器实现在标准的f p g a 器件上减少了对处理器种类的需求 四、应付产晶的生命周期 开发人员希望快速将他们的产品推向市场，并保持一个较长的产品生命周期 基于n i 的系统在以下几个方面可以帮助用户实现此目标【1 8 l 【1 9 j 1 2 0 l ： l 、加快产品的上市时间f p g a 可编程的特性使具有更快的产品上市时间 许多的设计向导通过简单的修改都可以被快速地实现到研日a 设计上n i 系统 的灵活性源于a l t e n 所提供的完整的开发套件、众多的参考设计，强大的硬件开 发工具( s o p cb u i l d c f ) 和软件开发工具( n i i d e ) 由于n i i l 处理器放置 于f p c i a 内部就可以验证外部的存储器和i ，o 组件，因而电路板设计速度得以显著 增加 2 、建立有竞争性的优势。维持一个基于通用硬件平台的产品的竞争优势是非 常困难的。而带有一个或多个n i o si i 处理器的s o p c 系统则具备了硬件加速、定 制指令、定制且可裁剪的外设等配置，从而在竞争中占有一定优势。 3 、延长了产品的生存时问。使用n i o si i 处理器的s o p c 产品的一个独特优 势就是能够对硬件进行升级，即使产品已经交付用户，软件也可以定期升级这 些特性可以解决以下问题： 延长产晶的生存时间，随着肘同的增加，可以不断有新的特性添加到硬件中 减少由于标准的制定和改变而带来的硬件上的风险。 简化了对硬件设计的修复和对错误的排除。 4 、在产品产量增加的情况下减少成本一旦一个f p g a 的设计被选定，并且 打算大批量生产。就可以选择将它移植到a lt e n 的h a r d c o p y 中从而减少成本 并提升性能a 1 t e r a 还可以提供n i o si i 处理器的 s i c 制作许可，可以将包含 n i o si i 处理器、外设、a v a l o n 交换式总线的设计移植到基于单元的a s i c 中 2 2 4n i 的发展现状及趋势 随着低复杂度f p g a 器件成本的不断下降，具有灵活性和及时面市优势的f p g a 与a s i c 相比更有竞争性，在数字消费市场上的应用也急剧增加。第一代的c y d o n e 系列迄今发售了3 百多万片，在全球拥有3 ，0 0 0 多位客户，对大批量低成本数字消 费市场有着巨大的影响，该市场销售了三分之一的器件根据g a r l n 盯d 咖i q 雌啦调 查，在2 0 0 4 年光消费电子市场对f p g a 需求就达到3 亿9 千万美元，预计2 0 0 8 年 可到达1 1 亿6 千万美元，年复合增长率为3 1 9 同时，c y c l 彻c 器件系列也在电信、计算机外设、工业和汽车市场上获得了巨 大的进步c y c l c 器件包含了许多新特性，如嵌入存储器、嵌入乘法器、p u ，和 低成本的封装，这些都为诸如视频显示、数字电视、机顶盒、d v d 播放器、d s l 调 制解调器、家用网关和中低端路由器等批量应用进行了优化 消费类：i 踟、等离子体显示器、机顶盒，d v d 播放器； 通信：宽带固定无线设备、中低端路由器、) l ，ia n 接入点、d s l 路由器； 汽车：软件无线接受器、远程信息处理，娱乐，网关控制器； 计算机和存储器件：打印机、存储服务器； 工业：工厂自动化、工艺控制、网络测试设备； 然而，嵌入式内核m o s 还处于快速发展阶段，利用n l o s 处理器进行嵌入式设 计还存在着很多风险，这点是必须要认识到的 2 3 本章小结 本章主要论述了基于f p g a 的三种嵌入式内核，通过分析和对比各自的优点和 缺点得出应用i p 软核的优越性本章还介绍了嵌入式n 1 0 s 处理器，通过对比两 代嵌入式n i o s i i 处理器的特点，体现了使用n 1 0 s l l 处理对现代嵌入式系统设计所 带来的方便和快捷，充分说明本文所论述系统的价值和意义所在。最后分析了n i o s l i 处理器的发展现状和趋势，说明嵌入式n 1 0 s 软核处理的发展任重而道远。 1 2 3 基于n i o si i 的视频图像采集、处理与l c d 显示系统组成 本系统采用a e r a c y c i e n f p g a 芯片、自制n i o s n 开发板、c m o s 彩色 摄像头模块和一个u d 液晶显示模块，具有以下特点： s d i 溘m 程序存储和数据帧缓存 视频输入经过剪接，颜色空间转换，水平和垂直扫描。 3 1系统硬件模块结构 系统硬件结构框图： 3 1 1视频输入模块 图3 1 系统硬件结构框图 a v a i 伽视频输入模块提供一种灵活的视频捕捉方案，这种方案可以由a n c m 公 司的c y c l ei i ，c y c l o n e ，s t r a t i x i i s t r a t i xg k 或者s t r a t i x 芯片来实现。a 啊l o n 视 频输入模块具有以下特点f 9 i i o j f l i j f l 2 i f 3 j 1 1 4 j ： 提供视频模块与v g a 摄像头模块之问的接口； 输入图像剪辑； 输入图像水平扫描； 输入图像垂直扫描； a v a l d m a 主控向帧缓存器中写图像数据； 视频输入模块接口信号： c u c a m c a _ l 叫n f ：川 c a mh s y n c c mv s y n c 图3 2 视频输入模块框图 图3 3 视频输入模块接口信号 表3 1 视频输入模块接口信号描述 信号方向 i 描述 时钟和复位 r e s e r rn输入异步低电平使能复位 c l kn i o s输入n i o si l 和a v a l 伽时钟 c u 叫l d e o 输入视频时钟 c l kc a m输入 像素时钟 1 4 溉一 摄像头输入 c a ma k输入 一 时钟输入来自摄像头 c a md 瑚【7 ：o 】输入数据输入来自摄像头 水平同步信号来自摄 c a mh 钠f n c输入 像头 垂直同步信号来自摄 c a mv s y l 叮c 输入 像头 中断 m q输出 中断请求 a v a l 蛐从寄存器 s - - a d d 旺s s 【4 ：o 】 输入寄存器地址 s c h i p s e l e c t 输入器件选择模块输入 sr e a dn输入a v a i 读使能 sw r n en输入a a l 彻写使能 s - r 勘m d a t a 【3 1 ：四 输出a v a i o n 读数据 s j 恨r r e d a l a 【3 l ：o 】 输入a y a l 彻写数据 a v a l d m a 主控制器 a v a l 地址到帧缓存 ma d d r e ! 洛【3 1 ：0 】输出 器 mw r n en输出a v a l o n 写使能 a v a l o n 写数据到帧缓 mw r e d a l a f 3 1 ：o 】 输出 存器 m _ w a j l r i 违q u e s t s 输入a v a l o n 等待请求 3 1 1 1a v m o n 视频输入模块时钟 a = l ，a k m 视频输入模块需要以下时钟： 摄像头时钟； 像素时钟； 视频时钟； n i o s n 和a v a l o n 时钟； 摄像头时钟( c a m c l k ) 摄像头模块的一个全局时钟管脚作为时钟输入使用。来自摄像头的数据在时钟 的上升沿送入f l f o 缓存器。f i f o 缓存器允许摄像头时钟和像素速率时钟在相位和 频率方面的变化。 像素时钟( c i ，kc a m ) 像素时钟必须和摄像头时钟具有相同的频率( 或者非常接近) ，还有摄像头输入 唧缓存器读端时钟，剪辑模块时钟，颜色空间转换( c s c ) 时钟和r g b 输入f i f o 缓存器写端时钟。f i f o 缓存器和独立的时钟允许摄像头时钟和像素时钟之问在频率 上微小的差别 视频时钟( c ikv i d e o ) 水平和垂直扫描模块是由视频时钟驱动的，并可以与 n i 傩n 模块正常连接。 m 璐和如a i 伽时钟( c i kn i o s ) a v a l d m a 主控制器和寄存器从控制器必须由与n i n 处理器和a y a l 蛐总线 结构相同的时钟驱动。 3 1 1 2 a v a i 蚰视频输入模块时序要求 模块的输入部分是视频部分( c b ，y 。c r ，y ) 向前扫描( 不是交错扫描) 4 ：2 ：2 ，频率为2 6 m h z ，时钟由v g a 摄像头模块输出图3 4 表示这些接口的时序要 求。 蛳行3 2 行 c 厂