（电路与系统专业论文）基于ARM和FPGA的图像处理系统研究[电路与系统专业优秀论文].pdf

摘要 基于a r m 和f p g a 的图像处理系统研究 专业：电路与系统 硕士生：邱志明 指导教师：黄以华副教授 摘要 数字图像处理是目前信息科学中最热门，也是发展最为迅速的学科之一，有着广泛 的应用。a r m 作为优秀的3 2 位r i s c 处理器，有很强的控制能力及丰富的接口。f p g a 是目前低成本图像应用首选的硬件平台，有处理速度快及可灵活配置等特点。本论文所 研究的系统将上述三个方面的技术有机地结合，建立一个a r m + f p g a 的硬件平台，完 成简单的图像处理应用，该平台具有结构简单、功能强大的特点。 本论文所设计的系统中，a r m 选用三星公司的s 3 c 2 4 1 0 x ，作为主控制器，负责图 像数据和图像处理命令的调度及图像处理流程的控制；f p g a 选用a l t e r a 公司的e p 2 c 5 ， 作为协处理器，负责图像命令解释与图像处理显示。本系统实现了a r m 与f p g a 的接 口，将f p g a 作为a r m 的外设，挂接到a r m 总线上，并映射到a r m 的存储空间，使 得a r m 能够将图像数据和自定义的图像命令发送给f p g a 进行处理。另外，f p g a 中 集成了多个不同的模块，包括有：s d r a m 控制器，用于实现s d r a m 中图像数据和图 像处理命令的存取操作；v g a 控制器，用于实现图像的v g a 输出控制( 需经过a d c 转换) ；图像命令解释处理器，用于实现图像命令的解释与图像处理。上述f p g a 内部 模块均实现了w i s h b o n e 片上总线标准接口，并通过w i s h b o n e 共享总线方式实现 基于a r m 和f p g a 的图像处理系统研究 互连。 目前，本论文所开发的系统已经完成了a r m + f p g a 电路板的设计，加工与测试； f p g a 的片内系统在第三方仿真软件m o d d s i m 上进行了仿真，功能正确，并在a l t e r a 公司的开发环境q u a r t u si i 上进行了逻辑综合及下载调试，测试表明本系统已经初步实 现了a r m 与f p g a 的数据通信、s d r a m 的数据存取及v g a 的图像显示，下一步工作 将完成由f p g a 协助a r m 完成图像命令的解释与处理。 关键词：图像处理，a r m ，f p g a ，w i s h b o n e t h er e s e a r c ho f i m a g ep r o c e s s i n gs y s t e m b a s e do na r ma n df p g a m a j o r ： c i r c u i ta n ds y s t e m n a m e ： q i uz h i m i n g s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rh u a n gy i h u a a b s t r a c t d i g i t a li m a g ep r o c e s s i n gi so n eo ft h em o s tp o p u l a ra n dm o s tr a p i d l yd e v e l o p i n gs u b j e c t s i ni n f o r m a t i o ns c i e n c e ，w h i c hh a saw i d er a n g eo f a p p l i c a t i o n s a r mi sa no u t s t a n d i n g3 2 b i t r i s cp r o c e s s o r , w h i c hh a sa d v a n t a g ei nc o n t r o l l i n ga n dh a sv a r i o u si n t e r f a c e s f p g ai st h e b e s tc h o i c ef o rl o w - c o gi m a g ep r o c e s s i n g ，w h i c hi sf a s ta n dr e c o n f i g u r a b l e i nt h i sp a p e r , u s i n gt h et e c h n o l o g ym e n t i o n e da b o v e ，as y s t e mf o rb a s i ci m a g ep r o c e s s i n gb a s e do na r m a n df p g ai sd e s i g n e d , w h i c hi ss i m p l ea n dp o w e r f u l i nt h es y s t e mo ft h i sp a p e r , a r m ( u s i n gs a m s u n g s $ 3 c 2 410 x ) i st h em a i nc o n t r o l l e r , w h i c hc o n t r o l st h ei m a g ed a t a c o m m a n dp a c k e tt r a n s f e ra n dt h eo r d e ro fi m a g ec o m m a n d s ； f p g a ( u s i n ga l t e r a se p 2 c 5 ) i st h ec o - p r o c e s s o r , w h i c hi n t e r p r e t st h ei m a g ec o m m a n dp a c k e t , d o e si m a g ep r o c e s s i n ga n dd i s p l a y st h ei m a g e t h i ss y s t e mi m p l e m e n t st h ei n t e r f a c eb e t w e e n a r ma n df p g a ；f p g ai sc o n n e c t e dt oa r mb u sa sap e r i p h e r a la n dm a p p e dt oa r m m e m o r y , s oa r mc 锄t r a n s f e rt h ei m a g ed a t aa n du s e r - d e f i n e dc o m m a n dp a c k e tt of p g a i n a d d i t i o n , f p g ai n t e g r a t e san u m b e ro fd i f f e r e n tm o d u l e s ，i n c l u d i n g ：s d r a mc o n t r o l l e r , f o r m 基于a r m 和f p g a 的图像处理系统研究 t h ea c c e s so fs d r a m ；v g ac o n t r o l l e r , f o rt h ei m a g ed i s p l a yo nv g a ( a d ci sn e e d e d ) ； i m a g ep r o c e s s o r , f o rt h ei m p l e m e n t a t i o no fc o m m a n di n t e r p r e t a t i o na n di m a g ep r o c e s s i n g a l l o ft h em o d u l e sm e n t i o n e da b o v ei m p l e m e n tw i s h b o n ei n t e r f a c e s ，a n dt h e yi n t e r e o n n e c t t h r o u g ht h ew i s h b o n es h a r e db u s a tp r e s e n t ，t h ec i r c u i td e s i g n , m a n u f a c t u r ea n dt e s to ft h ea r m + f p g ap l a t f o r ma r e c o m p l e t e d ；t h es y s t e mo nf p g ai ss u c c e s s f u l l ys i m u l a t e db yt h i r d p a r t ys i m u l a t i o ns o f t w a r e m o d e l s i ma n ds y n t h e s i z e db ya l t e r a sd e v e l o p m e n te n v i r o n m e n tq u a r t u si i t h ef o l l o w i n g f u n c t i o n s ：t h ec o m m u n i c a t i o nb e t w e e na r ma n df p g a ，t h ea c c e s so fs d r a m ，t h ei m a g e d i s p l a yo nv g a , h a v eb e e na c c o m p l i s h e db yd o w n l o a d i n ga n dt e s t i n g ，a n dt h ei m a g e p r o c e s s i n gm o d u l ew i l lb ea c c o m p l i s h e di nt h ef u t u r e k e yw o r d s ：i m a g ep r o c e s s i n g ，a r m ，f p g a ，w i s h b o n e 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所 取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发 表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：萌镱、b 目 日期：2 0 0 9 年箩月召e l 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留学位论 文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学位论文用于非 赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查阅，有权将学位论文 的内容编入有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位论文作者签名：邱玉口日 日期：加。占年岁月p 日 新签名：茜，尹 日期：出彬年，月日 第1 章绻论 1 1 课题背景 第1 章绪论 本论文的课题来自于现今消费类电子的图像处理需求，希望通过本论文的研究能够 力该领域的图像处理应用俸爨定的贡献。 1 1 1 图像处理技术 蜜像处理技术鸭是对豳像进行分析、热王翔处理，使其满怒视觉、心理戳及其毽 要求的技术。图像处理是信号处理在图像域上的应用，与计算机科学、信息科学有着密 切鹣关系。嚣像处理在2 0 璧纪麓年代首次褥到应震；2 0 整鳃鳓年代又在诗算枫技术 与大规模集成电路技术的推动下得到发展及广泛应用；到了6 0 年代末，图像处理技术不 断完善成熟，逐渐成为一个新兴学科溺。图像处理霹戮分为模叛隧像处理及数字图像笼 理两类，但目前大多数的图像是以数字形式存储，因而图像处理般情况下指数字图像 处理。数字圈像处理哆黾蔫计算梳或其他技术对数字纯后嚣图像进行楚理，并毁戴来实 现某种应用目的的过程。数字图像处理是目前非常热门的研究领域，同时随着数字图像 楚理技术的西趋成熟，它被广泛逡应用于通信、遥感、空闻探测、生物医学、工业检溺 等许多领域【3 1 ，可见，对图像处理技术，特别是数字图像处理技术的研究，具有很高的 理论份毽和实用价值。 数字化慝的图像可以更好地在计算机上表述及处理，因此人们提出了缀多算法并通 过软件实现，这些冀法及软件的应用使得数字图像处理有了长足的发展。虽然采用软件 的方法可以比较简便地完成大多数的豳像处理，但是在对处理速度要求比较高的场合， 采用硬件酌方法往往更能满足要求。由于本论文研究的系统对实时性要求较高，对算法 要求较低，所以采用硬件方法实现。基髓硬件实现图像处理的方法主要有以下四种：专 用标准电路( a s s p ) s 专用集成电路( a s i c ) ：数字信号处理器( d s p ) ；现场 可编程门阵列( f p c 渡) 。现介绍如下： 专用标准电路( a s s p ) 专用标准电路( a s s p ) 4 1 是透蔫的标准的器彳孛，应用范垂广，霹毁秀图像处理提供 1 基于a r m 和f p g a 的图像处理系统研究 一整套的解决方案，开发成本较低，开发周期较短：但是当图像处理算法和标准有所改 变或有新的算法和标准提出时，a s s p 贝i 显得升级困难，难以快速地适应技术的发展。同 时，a s s p 不允许产品的定制化，这样使得开发者需要额外的硬件来定制自己的产品以体 现产品的差异性，增加了成本，降低了性能。另外，采用a s s p 后开发者无法拥有产品的 全部知识产权。 专用集成电路( a s i c ) 专用集成电路( a s i c ) 【5 1 是根据用户的特定需求，设计出特定算法的芯片。由于是 专门设计的，a s i c 能够保证体积小，功耗低，性能好，可靠性高。在图像处理速度要求 很高的场合，采用通用处理器和d s p 一般难以满足速度需要，而使用a s i c 来实现则可以 很好地满足算法实现方案的速度要求，可以说a s i c 是最佳的选择。但是，a s i c 在实际 应用中也有一些不足：a s i c 需要较多的人力物力，开发效率低，开发周期长；a s i c 是 专用的硬件芯片，前期投入大，只有通过大批量生产才能降低成本；a s i c 缺乏灵活性， 完成芯片制造后，如果需要对原有算法进行修改，有可能需要重新设计芯片及硬件电路， 难以灵活升级；开发a s i c 存在较大的风险，如果在投入生产前未能发现a s i c 内部的错 误，生产者将付出沉重的经济代价。 数字信号处理器( d s p ) 数字信号处理器( d s p ) 6 1 是一种特别适合于进行数字信号处理运算的微处理器， 主要应用是实时快速地实现各种数字信号处理算法，其实时运行速度可达每秒数以千万 条复杂指令程序，远远超过通用微处理器。之所以有这样高的速度是因为d s p 内部采用 专用硬件实现一些数字信号处理常用的运算。但是由于d s p 只是对某些特定的运算提供 硬件优化，本质上指令还是串行执行的，在处理速度上仍不能够满足众多算法的需要， 而同时采用多片d s p 将带来系统分割和调试的困难，增加系统的不稳定性及生产成本。 现场可编程门阵列( f p g a ) 现场可编程门阵列( f p g a ) 【7 1 是作为专用集成电路( a s i c ) 领域中的一种半定制 电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺 点。采用f p g a 进行开发具有周期短，成本低，风险小等优点。可编程的特性使得f p g a 可以方便地升级，及时地更新修改算法，大大地增加了系统的灵活性。随着f p g a 的发 展，其处理速度及集成度也在不断的提高，内部的资源也更为丰富，从而使得开发者能 第1 掌绪论 够开发出符合需求且高性能的产品。 从技术上讲，f p g a 能够通过硬件实现并行及流水线技术，提高了系统的处理能力 和处理速度：同时，f p g a 可以实现模块化设计，增强了系统的通用性。 综上所述，要设计出低成本的，灵活易升级的，能够完成高速图像处理而又具有自 主知识产权的系统，如本论文所涉及的消费类电子系统，选用f p g a 是最佳的选择暇，同 时f p g a 的应用也为数字图像处理提供了新的思路和解决方案。 1 1 2f p g a 在图像处理领域的应用 随着半导体工艺的进步，舀前f p g a 不断推陈出新，其功能不断增强，性能显著提 升，因此也越来越多地被应用到图像处理领域，下面介绍两个主要的应用方向g 接口逻辑控制器 f p g a 能够实现丰富的接翻，以便图像处理系统与其他器件或设备进行互联。这些 接口包括i s a ，p c i ，p c i e x p r e s s ，p s 2 ，u s b 等标准协议接口和s d r a m ，d d rs d r a m ， q d rs d r a m ，n a n df l a s h ，n o rf l a s h 等存储器接口。如a l t e r a 在为用户提供酶i pc o r e 中就包括t p c i 接口和d d rs d r a m 控制器【9 j ，o p c n c o r e s n 站也免费提供许多接1 ：3 的腰 c o r e ，用户也可以根据系统的需要加入相应的接躁控制器。同时，f p g a 能够完成电平转 换，支持多种电平标准，实现高速收发通道。如a l t e r a 的器件就支持l v d s ，t t l ，c o m s ， s s t l 等电平阴，满足了图像处理系统对不同电平的要求。 数字信号处理 f p g a 的并行逻辑架构可以实现逻辑和算术功能，内嵌的硬件乘法器可以实现高速 实时运算，内嵌的d s p 块可以实现高速的并行数据处理，这些特点使得f p g a 能够完成大 量图像数据的实时处理及各种复杂的算法，实现高性能的图像处理，包括图像显示、图 像压缩、图像格式转化、色彩空间转换等。如a l t e r a 的v i p ( v i d e oi m a g ep r o c e s s i n g ) 套 件就给出了h 2 6 4 、m p e g - 4 和j e p g 2 0 0 0 等图像视频压缩与解压缩标准的完整解决方案 嘲 。 从上面两个方面可以看到，f p g a 为图像处理系统的设计提供了一套全新高效的解 决方案，使用f p g a 完成露像处理将成为图像处理领域的发展趋势和必然选择，f p g a 基于a r m 和f p g a 的图像处理系统研究 的应用也将会推动数字图像处理技术的快速发展。 1 2 论文选题及贡献 1 2 1 课题介绍 目前，随着消费者欣赏能力的提高，他们对消费类电子产品提出了更高的要求，特 别是图像领域，对图像处理速度和质量的要求越来越高。本课题在参考国外一款图像处 理芯片的基础上，自行开发出基于a r m 和f p g a 的图像处理平台，完成一些简单的图 像处理操作。 1 2 2 主要贡献 本课题除了是构建a r m + f p g a 平台的一次有益的尝试以外，也为日后开发更好的 图像处理系统打下基础。 本课题采用a r m + f p g a 架构，是因为：a r m 微处理器拥有丰富的指令集，编程灵 活；f p g a 在速度和并行运算方面，有很大优势，适合图像处理的实时性要求【l o l ，而且 可以实时地进行灵活而方便的更改和开发，提高了系统效率【n 】。a r m + f p g a 的架构结构 简单而功能强大，兼顾了两者的优点又能各展所长，大大地提高了系统的灵活性和可升 级性。这一架构除了应用在图像处理领域，还被应用于控制【1 2 】，通信【1 3 】等领域，可见对 该架构的研究与开发有着重要的意义。 本课题研究的系统目前已具备一个图像处理系统的两个基本单元，存储单元和显示 单元，能实现图像的存取及显示功能，再整合图像处理单元即可开发出完整的图像处理 系统。另外，日后如果需要加入新的图像处理操作，可以直接在本系统的基础上增加相 应的图像处理模块而无须重新进行系统设计，这样能够有效地减少日后开发的成本与时 间。 1 3 论文章节安排 第一章绪论，介绍图像处理的现状及f p g a 在该邻域的应用情况，还阐述了本论文 第i 章终论 所研究的系统的理论及实践价值。 第二章详细介绍a r m 与f p g a 的相关知识，包括a r m 的特点，应用，体系；f p g a 的结构特点及设计流程。 第三章总体介绍系统的设计情况，描述系统的结构，说明系统的组成，完成器件的 选型，阐明系统的工作流程。 第四章阐述系统的硬件设计，对a r m 与f p g a 跟外围器件，f l a s h 、s d r a m 、 f p g a 配置芯片、a d c 及a r m 与印姒的连接进行详细说嘎。 第五章阐述系统的软件设计，首先介绍a r m 与f p g a 的通信流程和图像命令操作， 然看介绍f p g a 内部w l s h b o 冬；e 总线及各个功能模块的相关内容。 第六章系统仿真分析与总结，对系统进行总体仿真并对结果作出说明，总结系统目 前的成果，简述日盾的工作重点。 基于a r m 和f p g a 的图像处理系统研究 第2 章a r m 和f p g a 介绍 本论文所开发的系统基于a r m 和f p g a ，因此有必要先了解和认识这两种技术。 2 1a r m 2 1 1a r m 概述0 1 4 i a r m ( a d v a n c 烈lr i s cm a c h i n e ) 是一种基于r i s c ( 精简指令集计算机) 的技术， 也是对一类微处理器的通称。a r m 技术由位于英国剑桥的a r m 公司提出并予以授权。 目前，a r m 微处理器，即采用a r m 技术知识产权( ) 核的微处理器，已遍及工业控 制、消费类电子产品、通信系统、网络系统、无线系统、军用系统等各类产品市场，基 于a r m 技术的微处理器应用占据了3 2 位r i s c 微处理器7 0 以上的市场份额，a r m 技术已经渗入到我们生活的各个方面。 a r m 处理器的特点： 体积小、低功耗、低成本、高性能； 支持t h u m b ( 1 6 位) a r m ( 3 2 位) 双指令集，能很好的兼容8 1 6 位器件； 大量使用寄存器，指令执行速度更快； 大多数数据操作都在寄存器中完成； 寻址方式灵活简单，执行效率高： 指令长度固定。 a r m 处理器的应用领域： 工业控制领域：作为3 2 位的r 1 s c 架构，基于a r m 核的微控制器芯片不但占 据了高端微控制器市场的大部分市场份额，同时也逐渐向低端微控制器应用领域 扩展，a r m 微控制器的低功耗、高性价比，向传统的8 位1 6 位微控制器提出 了挑战： 无线通讯领域：目前已有超过8 5 的无线通讯设备采用了a r m 技术，a r m 以 第2 章a r m 和f p g a 介绍 其高性能和低成本，在该领域的地位日益巩固； 网络应用领域：随着宽带技术的推广，采用a r m 技术的a d s l 芯片正逐步获得 竞争优势。此外，a r m 在语音及视频处理上进行了优化，并获得广泛的支持， 也对d s p 的应用领域提出了挑战； 消费电子领域：a r m 技术在目前流行的数字音频播放器、数字机顶盒和游戏机 中被广泛采用； 成像和安全领域：现在流行的数码相机和打印机中绝大部分采用了a r m 技术。 手机中的3 2 位s i m 智能卡也采用了a r m 技术。 除此以外，a r m 微处理器及技术还应用到许多不同的领域，并会在将来取得更广 泛的应用。 2 1 2a r m 处理器系列介绍1 5 l a r m 处理器目前包括以下几个系列。 a r m 7 系列 a r m 7 系列处理器是低功耗的3 2 位r i s c 处理器。它主要用于对功耗和成本要求比 较苛刻的消费类产品。a r m 7 系列处理器支持1 6 位的t h u m b 指令集，使用t h u m b 指令 集可以以1 6 位的系统开销得到3 2 位的系统性能。a r m 7 系列包括a r m 7 t d m i ， a r m 7 t d m i s ，a r m 7 e j s 和a r m 7 2 0 t4 种类型。 删7 系列处理器的主要特点有： 最高主频达到1 3 0m i p s ： 功耗很低； 代码密度很高，兼容1 6 位的微处理器； 得到广泛的操作系统和实时操作系统支持，包括w m d o wc e ，p a l mo s ， s y m b i a ao s ，l i n u x 以及业界领先的实时操作系统； 众多的开发工具，优秀的调试机制； 基于a r m 和f p g a 的图像处理系统研究 代码与a r m 9 、a r m 9 e 、a r m l 0 e 系列兼容。 a r m 9 系列 a r m 9 系歹i j 处理器使用a r m 9 t d m i 处理器核，其中包含了1 6 位的t h u m b 指令集。 使用t h u m b 指令集可以以1 6 位的系统开销得到3 2 位的系统性能。a r m 9 系列包括 a r m 9 2 0 t ，舢己m 9 2 2 t 和a r m 9 4 0 t3 种类型。 a r m 9 系列处理器的主要特点： 支持3 2 位a r m 指令集和1 6 位t h u m b 指令集的3 2 位r i s c 处理器； 五级整数流水线； 单一的3 2 位a m b a 总线接口； m m u 支持g r m d o wc e ，p a l mo s ，s y m b i a no s ，l i n u x 等； m p u 支持实时操作系统，包括v x w o r k s ： 统一的数据c a c h e 和指令c a c h e 。 a r m 9 e 系列 a r m 9 e 系列处理器使用单一的处理器内核提供了微控制器、d s p 和j a v a 应用系统 的解决方案。a r m 9 e 系列处理器提供了增强的d s p 处理能力，非常适合那些需要同时 使用d s p 和微控制器的应用场合。其中的a r m 9 2 6 f j s 包含了j a z z d e 技术，可以通过 硬件直接运行j a v a 代码，提高系统运行j a v a 代码的性能。a r m 9 e 系列包括a r m 9 2 6 e j s ， 删9 4 6 e s 和a j r j m 9 6 6 e s3 种类型。 a r m 9 e 系列处理器在a r m 9 系列基础上还有以下特点： 包括了d s p 指令集； 集成的实时跟踪和调试功能； 可选的v f p 9 浮点处理协处理器； 在实时控制和三维图像处理时主频可达到2 1 5m f l o p s 。 a r m i o e 系歹l j a r m i o e 系歹i j 处理器有高性能和低功耗的特点。它所采用的新的体系及新的节能模 0 第2 章a r m 和f p g a 介绍 式，提供了6 4 位的读取写入( 1 0 a d s t o r e ) 体系，支持包括向量操作的满足i e e e 7 5 4 的 浮点运算协处理器，系统集成更加方便，拥有完整的硬件和软件可开发工具。a r m i o e 系列包括a r m l 0 2 0 e ，a r m l 0 2 2 e 和a r m l 0 2 6 e j s3 种类型。 a b m i o e 系列处理器在a r m 9 e 系列基础上还有以下特点： 六级整数流水线； 可选的v f p1 0 浮点处理协处理器； 在实时控制和三维图像处理时主频可达到6 5 0m f l o p s ； 并行读取写入( 1 0 a d s t o r e ) 部件。 2 2f p g a 2 2 1f p g a 的发展简史 随着微电子设计技术与工艺的发展，数字集成电路经历了电子管、晶体管、中小规 模集成电路、超大规模集成电路( v l s l c ) 和专用集成电路( a s 配) 等发展阶段。a s i c 虽然存在一定的优势，如成本低，可靠性高，尺寸小等，但是a s i c 的缺陷也是显而易见 的，正如第l 章所提到的，a s i c 存在设计周期长，初期投资大，灵活性差等缺点。可编 程逻辑器件芷是为了弥补a s i c 的缺陷而产生的，可编程逻辑器件使得开发者在实验室就 能设计、更改大规模数字逻辑，自行研制芯片并马上投入使用 9 1 。 可编程逻辑器件随着微电子制造工艺的发展取得了长足的进步。可编程逻辑器件的 发展经历了下面三个阶段： 可编程只读存储器( p r o m ) 、紫外线可擦除只读存储器( 嚣p r o m ) 和电可擦除 只读存储器( e 2 p r o m ) ，只能完成简单逻辑功能； 可编程阵列逻辑( 黝吨) 和逶震阵列逻辑( g a l ) ，能完成中大规模的数字逻辑 功能； 复杂可编程逻辑器件( c p l d ) 和现场可编程逻辑器件( f p g a ) ，可以完成超大 规模的复杂组合逻辑与时序逻辑。 基于a r m 和f p g a 的图像处理系统研究 随着工艺技术的发展与市场需要，f p g a c p l d 向着高集成、高速度、低功耗的方 向发展。新一代的f p g a 集成了中央处理器( c p u ) 、数字信号处理器( d s p ) 内核和软 处理器( 如n i o si t ) ，可在一片f p g a 上完成软硬件协同设计，从而实现片上可编程系 统( s o p c ，s y s t e m o np r o g r a m m a b l ec h i p ) 。 2 2 2f p g a 的基本结构 f p g a 由6 个基本部分组成，分别为可编程输入输出单元、基本可编程逻辑单元、 嵌入式块r a m 、丰富的布线资源、底层嵌入功能单元和内嵌专用硬核等，如图2 1 所示 t 9 l o 底层嵌入 功能筚元 丰誊的 布线资灏 可鳙程 r ，濞元 基本可辘程 逻髯单元 iiii iii ii ii _ iii 酋 一 一i1 日_ il 曩i i i 一一翻iii 舅ii 一 、l i ii _ 一一i 翻_ ii 、聱蜂 iii 嗣一i 誓蜀一ll 曼ii _ i ti iii 目iii 翻lii 、 萱 。，嗣 il ili 一_ 一i ，i 二ll 一_ 内嵌专用硬核 h i r dc l r e 嵌 式攀琢 h 图2 - 1f l e a 结构图 下面对每个基本单元做简单介绍。 可编程输入输出单元 输入输出单元是芯片与外界电路的接口部分，完成不同电气特性下对输入输出信 号的驱动与匹配需求。为了使f p g a 有更灵活的应用，目前大多数f p g a 的输入输出单 元被设计为可编程模式，即通过软件的灵活配置，可以适配不同的电气标准与i o 物理 特性；可以调整匹配阻抗特性，上下拉电阻；可以调整输出驱动电流的大小等。 基本可编程逻辑单元 ，雌糖阻暑l 第2 章a r m 和f p g a 介绍 基本可编程逻辑单元是可编程逻辑的主体，可以根据设计灵活地改变其内部连接与 配置，完成不同的逻辑功能。f p g a 一般是基于s r a m 工艺的，其基本可编程逻辑单元 由查找表( l u t ) 和寄存器( r e g i s t e r ) 组成。查找表完成纯组合逻辑功能。f p g a 内部 寄存器结构相当灵活，可配置为带同步异步复位和置位、时钟使能的触发器( f f ，f i i p f l o p ) ，也可以配置成为锁存器( l a t c h ) 。f p g a 一般依赖寄存器完成同步时序逻辑设计。 一般来说，比较经典的基本可编程单元的配置是一个寄存器加一个查找表，但不同厂商 的寄存器和查找表的内部结构有一定的差异，而且寄存器和查找表的组合模式也不同。 嵌入式块r a m 嵌入式可编程r a m 模块可以大大拓展f p g a 的应用范围和灵活性。嵌入式块r a m 可以被灵活配置为单端口r a m ( s p r a m ，s i n g l ep o r t r a m ) 、双端口r a m ( d o u b l ep o r t s r a m ) 、伪双端口r a m ( p s e u d od p r a m ) 、c a m ( c o n t e n ta d d r e s s a b l em e m o r y ) ，f i f o ( f i r s ti nf i r s to u t ) 等常用存储结构。f p g a 内部没有专门的r o m 单元，但是可以通过 对r a m 赋初值并保持该初值来实现。c a m 即内容地址存储器，其内部的每个存储单元 都包含一个内嵌的比较逻辑，写入c a m 的数据会和其内部存储的每一个数据进行比较， 并返回与端口数据相同的所有内部数据的地址。可见，c a m 与r a m 恰恰相反。f i f o 为先进先出队列式存储结构。f p g a 内部实现r a m 、r o m 、c a m 、f i f o 等存储结构都 可以基于嵌入式块r a m 单元，并根据需求自动生成相应的粘合逻辑( g l u el o g i c ) 以完 成地址和片选等控制逻辑。 丰富的布线资源 布线资源连通f p g a 内部所有单元，连线的长度和工艺决定着信号在连线上的驱动 能力和传输速度。这些布线资源根据工艺、长度、宽度和分布位置的不同被划分为不同 的等级，分别为：全局性的专用布线资源，完成器件内部的全局时钟和全局复位置位的 布线；长线资源，完成器件分区( b a n k ) 间的一些高速信号和一些第二全局时钟信号的 布线；短线资源，完成基本逻辑单元间的逻辑互连与布线；其他，基本逻辑单元内部还 有着各种布线资源和专用时钟、复位等控制信号线。实现过程中，设计者一般不需要直 接选择布线资源，而是由布局布线器自动根据输入的逻辑网表的拓扑结构和约束条件选 择可用的布线资源连通所用的底层单元模块。 底层嵌入功能单元 基于a r m 和f p g a 的图像处理系统研究 一般指通用程度较高的嵌入式功能模块，比如p l l ( p h a s el o c k e dl o o p ) ，d l l ( d e l a yl o c k e dl o o p ) ，d s p ，c p u 等。随着f p g a 的发展，这些模块被越来越多地嵌 入到f p g a 的内部，满足了不同场合的需求，也使f p g a 由传统的硬件设计手段逐步过 渡为系统级设计平台。 内嵌专用硬核 内嵌专用硬核主要指那些通用性相对较弱，针对性较强的硬核，它主要用于某些高 端通信市场，如s e r d e s ( 串并收发单元) 。 2 2 3f p g a 的特点 f p g a 芯片的规模越来越大。单片f p g a 内部可以容纳上百万个晶体管，芯片 的规模越大所能实现的功能就越强，同时也更适于实现片上系统( s o c ) 。 开发过程投资小。f p g a 芯片在出厂之前都做过严格的测试，而且f p g a 设计 灵活，发现错误时可直接更改设计，减少了投片风险，节省了许多潜在的花费。 现在不但许多复杂系统使用f p g a 完成，甚至设计a s i c 时也要把实现f p g a 功能样机作为必需的步骤。 f p g a 可以反复地编程、擦除。在不改变外围电路的情况下，设计不同片内逻 辑就能实现不同的电路功能。所以，用f p g a 试制功能样机，能以最快的速度 占领市场。甚至在有些领域，因为相关标准协议发展太快，设计a s i c 跟不上 技术的更新速度，只能依靠f p g a 完成系统的研制与开发。 f p g a 开发工具智能化，功能强大。现在，应用各种工具可以完成f p g a 开发 从输入、综合、实现到配置芯片等一系列功能。还有很多工具可以完成对设计 的仿真、优化、约束、在线调试等功能。这些工具易学易用，可以使设计人员 更能集中精力进行电路设计，快速将产品推向市场。 f p g a 内嵌c p u 或d s p 内核，支持软硬件协同设计，可以作为片上可编程系统 ( s o p c ) 的硬件平台。 f p g a 内部内嵌高性能a s i c 的硬核( h a r dc o r e ) 。通过这些硬核可以完成某些 高速复杂设计( 如s p 4 2 、p c ie x p r e s s 、f i b e r - c h a n n e l 等通信领域成熟标准和 第2 毒a r m 秘f p g a 介绍 接口等) ，提高系统的工作频率与效能，减轻工程师任务量，规避了研发风险， 加速了研发进程。 2 2 。4f p g a 的设计流程 完整的f p g a 设计流程一般包括电路设计与输入、功能仿真、综合、综合后仿真、 实现、布线后仿真与验证、板级仿真验证与调试等主要步骤，如图2 - 2 所示 9 1 。 电路设计与输入 电路设计与输入是指通过某些规范的描述方式，利用e d a 工具实现硬件电路构思。 常用的设计输入方法有硬件搦述语言( h d l ) 和原理图设计输入方法等。器前进行大型 工程设计时，最常用的设计方法是h d l 设计输入法，其中影响最为广泛的h d l 语言是 v h d l 和v e r i l o gh d l 。它们的共同特点是利予由顼向下设计，利于模块的划分与复用， 可移植性好，通用性好，设计不因芯片的工艺与结构的不同而变化，更利于向a s i c 的 移植。 功能仿真 电路设计完成后，要用专用的仿真工具对设计进行功能仿真，验证电路功能是否符 合设计要求。功能仿真有时也被称为前仿真。通过仿真能及时发现设计中麓错误，加快 设计进度，提高设计的可靠性。 综含优化 综合优化是指将h d l 语言、原理图等设计输入翻译成由与、或、非门，r a m ，触 发器等基本逻辑单元组成的逻辑连接( 网表) ，并根据目标与要求( 约束条件) 优化所生 成的逻辑连接，输出鼹表文件，供f p ( 淑起p l d 厂家的布局布线器进行实现。 综合后仿真 综合完成后需要检查综合结果是否与原设计一致，徽综合后仿真。在仿真时，把综 合生成的标准延时文件反标注到综合仿真模型中去，可估计门延时带来的影响。综合后 仿真虽然比功能仿真精确一些，但是只能估计门延时，不能估计线延时，仿真结果与布 线后的实际情况还有一定的差距，并不十分准确。这种仿真的主要耳的在于检查综合器 的综合结果是否与设计输入一致。 - 1 3 基于a r m 和f p g a 的图像处理系统研究 实现与布局布线 综合结果的本质是一些由与、或、非门，触发器，r a m 等基本逻辑单元组成的逻 辑网表，它与芯片实际的配置情况还有较大差距。此时应该使用f p g a c p l d 厂商提供 的软件工具，根据所选芯片的型号，将综合输出的逻辑网表适配到具体f p g a c p l d 器 件上，这个过程就叫做实现过程。因为只有器件开发商最了解器件的内部结构，所以实 现步骤必须选用器件开发商提供的工具。在实现过程中最主要的过程是布局布线( p 氓 p l a c ea n dr o u t e ) ：所谓布局( p l a t e ) 是指将逻辑网表中的硬件原语或者底层单元合理地 适配到f p g a 内部的固有硬件结构上，布局的优劣对设计的最终实现结果( 在速度和面 积两个方面) 影响很大；所谓布线( r o u t e ) 是指根据布局的拓扑结构，利用f p g a 内部 的各种连线资源，合理正确连接各个元件的过程满足设计的时序条件。f p g a 的结构相 对复杂，为了获得更好的实现结果，特别是保证能够，一般采用时序驱动的引擎进行布 局布线，特别是不同的时序约束，获得的布局布线结果一般有较大差异。 时序仿真与验证 将布局布线的时延信息反标注到设计网表中，所进行的仿真就叫时序仿真或布局布 线后仿真，简称后仿真。布局布线之后生成的仿真时延文件包含的时延信息最全，不仅 包含门延时，还包含实际布线延时，所以布线后仿真最准确，能较好地反映芯片的实际 工作情况。通过布局布线后仿真能检查设计时序与f p g a 实际运行情况是否一致，确保 设计的可靠性和稳定性。布局布线后仿真的主要目的在于发现时序违规( t i m i n g v i o l a t i o n ) ，即不满足时序约束条件或者器件固有时序规则( 建立时间、保持时间等) 的 情况。 板级仿真与验证 在有些高速设计情况下还需要使用第三方的板级验证工具进行仿真与验证，以便较 好地分析高速设计的信号完整性、电磁干扰( e m i ) 等电路特性等。 调试与加载配置 设计开发的最后步骤就是在线调试或者将生成的配置文件写入芯片中进行测试。主 要调试工具为示波器和逻辑分析仪。 第2 章a r m 和f p g a 介绍 图2 - 2f p g a 设计流程图 1 s 基于a r m 和f p g a 的图像处理系统研究 第3 章系统设计 本章介绍本论文所研究的系统的设计思路。 3 0 1 系统结构 前文已经提列，本系统是基于a r m + f p g a 架构，系统框图如图3 1 所示。核心芯片 为a r m 和f p g a ，其余外部设备与芯片包括f l a s h 存储器、s d r a m 存储器、d a c 数模 转换芯片、v g a 显示器等。 3 2 系统划分 图3 - l 系统框图 典型的图像处理系统一般由以下三部分组成：图像输入模块，图像处理模块，图像 输出模块。在本系统中，a r m 负责图像输入，同时作为系统的控制单元，主要功能是提 供待处理图像数据及图像处理命令，通过图像处理命令控制f p g a 完成图像处理；f p g a 负责图像处理与图像显示，同时作为系统的执行单元，主要功能是完成图像处理命令的 解释与执行，处理前后图像数据的调