（机械设计及理论专业论文）基于fpga的视频跟踪系统设计及在900t运梁车上的应用.pdf

摘要 摘要 本文的研究目的是建立一个图像处理的平台，能够实现视频图像处理系统 的小型化和智能化，满足工程车辆现场使用的各种复杂工况和环境。在设计过 程中，广泛查阅了相关资料，借鉴了国内外各种工程车辆的视频处理系统，比 较了不同的方法的优劣，提出了基于f p g a 的实现方案，设计一种集视频探测 技术、图像处理和智能监控平台为一体的工程车辆视频跟踪系统。 本文设计了基于f p g a 的图像采集卡，并要对其工作模式进行了配置和编 写了采集控制模块，在采集控制模块的控制下，将数字图像数据正确无误的存 储到了s r a m 中。本文根据a r m 原理及其时序关系，设计了a r m 控制模块。 对采集的图像数据进行读取并进行了路面图像的路径拟合算法。 在算法编写过程中，对于9 0 0 t 运梁车行驶路面具有标识线的情况，通过近 视野内采用直线车道模型的方法识别车道标识线，再根据拟合出的直线参数求 出车辆相对的位置偏移和角度偏移。最后进行了完整的用于9 0 0 t 运梁车的视频 跟踪系统的程序编写。 通过我们的理论分析，算法设计，系统调试和应用情况仿真来看，该系统 完全满足大型工程车辆的视频监控和安全预警功能，可以应用于各种复杂工况 下的工程车辆控制系统中，具有较为广阔的应用前景。 关键词：f p g a ，a r m ，道路识别，标识线，9 0 0 t 运梁车 a b s t r a c t a b s t r a c t t h er e a s e r c hp u r s o s eo ft h i st h e s i si st ob u i l dap l a t f o r mf o ri m a g ep r o c e s s i n g ， w h i c hc a l lb eu s e dt om i n i m i z ea n di n t e l l i g e n z et h ev i d e oi m a g ep r o c e s s i n gs y s t e m ， a n dm a k ei ta p p l i c a b l ei nv a r i o u sa n dc o m p l i c a l b es i t u a t i o n s i nt h ed e s i g n i n gp r o c e s s ， r e l a t i v ed a t ai nb r o a da r e ah a sb e e ns e a r c h e d ，v i d e op r o c e s s i n gs y s t e m so fv a r i o u s e n g i n e e r i n gv e h i c l e sa r eu s e df o rr e f e r e n c e ，t h em e r i t sa n dd e m e r i t so fd i f f e r e n t m e t h o d sa r ea n a l y s e d ，t h e nt h ef p g a - b a s e dp r o g r a mi sc h o o s e d ，w h i c hc a ni n t e g r a t e t h ev i d e oc o l l e c t i o nt e c h o l o g y 、i m a g e p r o c e s s i n gt e c h n o l o g y a n d i n t e l l i g e n t m o n i t o r i n gp l a t f o r n l f p g a b a s e di m a g ec o l l e c t i o np c bi sd e s i g n e di nt h i st h e s i s ，t h ec o n f i g u r a t i o nf o r i t sw o r k i n gm o d ea n dc o n t r o l l i n gm o d u l ea r ep r o g r a m m e d u n d e rt h ec o n t r o l lo ft h e c o n t r o l l i n gm o d u l e ，i m a g ed a t aa r es t o r e di ns r a mc o r r e c t l y aa n nm o d u l ei sa l s o d e s i g n e da c c o r d i n gt oa r mt h e o r ya n dt i m e i n gr e l a t i o n ，w h i c hi su s e df o rt h er e a d i n g o fi m a g ed a t aa n df i t n e s sa l g o r i t h mo ft h er o a dm a r kl i n e d u r i n gt h ea l g r o r i t h mp r o g r a m m i n gp r o c e s s ，i nt h ec i r c u m s t a n c e st h a tt h er o a do n w h i c h9 0 0 tt r u c ki sd r i v e dh a sam a r kl i n e ，t h es t r a i g h tl i n em o d em e t h o di su s e dt o r e c o g n i z et h em a r kl i n ei na n e a rv i e w , t h e nt h ep o s i t i o ne x c u r s i o na n da n g l ee x c u r s i o n a r ey i e l d e da c c o r d i n gt ot h es t r a i g h tl i n ep a r a m e t e r s ，a sl a s t ，t h ec o m p l e t ep r o g r a mf o r t h ea p p l i c a t i o no f9 0 0 tt r u c kv i d e ot r a c k i n gs y s t e ma r ep r o g r a m m e d o u rt h e o r ya n a l y z a t i o n ，a l g r i t h o md e s i g n ，s y s t e mt e s ta n df i n a l a p p l i c a t i o n p r o v e dt h a tt h i ss y s t e mi st o t a l l yq u a l i f i e df o rl a r g e s c a l ee n g i n e e r i n gv e h i c l e s v e d i o p r o c e s s i n g , c a nb eu s e di nv a r i o u se n g i n e e r i n gv e h i c l e s c o n t r o l l i n gs y s t e m ，a n dh a sa b r o a dp e r s p e c t k e yw o r d s ：f p g a ，a r m ，r o a dr e c o g n i t i o n ，m a r kl i n e , 9 0 0 tt r u c k 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如下 各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学 位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存 论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务； 学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在 不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术 活动。 学位论文作者签名： 声砑 年专月矽日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月日年月日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名彦玛 1 年3 月矽日 第一章概述 第一章概述 1 1 课题研究背景、目的及意义 高速铁路是大幅提高我国交通运输能力的新世纪工程之一，仅以京沪高速铁 路为例，其全线总长1 3 0 0 多公里，全线桥梁总数8 4 0 余座，长约7 2 0 公里以上，占 线路总长的5 0 以上，桥梁工程量巨大，其中9 0 为中小跨度桥梁。 高速铁路桥梁架设的特点是构件吊重大、尺寸大，运梁车的作用是运输预应 力混凝土箱梁到架桥机下喂梁。本课题所依据的是9 0 0 型运梁车，该运梁车主要 用于运输跨度为3 2m 、2 4m 、2 0m 的双线整体箱形p c 梁，并能与架桥机配合完 成相应的架梁作业、驮运架桥机实现桥间短途转场，或穿越双线单洞隧道。其中 3 2 m 的箱梁重量为9 0 0 吨。 当运梁车运输特大型箱梁在制梁场和所架桥梁之间的路基行走时，由于运梁 车自身载重量很大，车辆在已架完的轨道梁上行驶时不能超出规定的基线范围， 否则安全和轨道梁受力都不允许。如何使车辆行驶时严格按照路面的标识线行 走，一直以来，是一个特别是关注的问题。目前，开车司机则基本上是依靠自身 驾驶技术和感觉来控制车辆，稍有不慎就会造成事故。因此，研究一种车辆视频 跟踪系统用于辅助驾驶员驾驶运梁车或者是对运梁车进行自动驾驶是非常必要 的。 目前，已有许多研究单位致力于视频跟踪系统应用于大型工程车辆的研究， 并且取得了很大的进展。由于对大型车辆控制的关键技术之一是对道路状况进行 检测，而目前这些视频跟踪系统中的道路检测技术都还存在着一定的不足，在较 差的道路环境下，例如正午阳光直射、雨雪、阳光偏照引起的反光等，道路检测 效果就下降很多。 为了真正实现视频跟踪系统的实时性、鲁棒性和准确性，尚有许多研究工作 要做。机器视觉在软件和硬件上都还有很大的发展空间，软件方面需要改进、完 善视觉算法，硬件方面需要不断提高处理器计算能力、视觉传感器的性能。这两 个方面的发展是相互促进的。从应用角度来看，虽然视觉技术尚不成熟，但市场 已经有相应的需求。在这种条件下，人们需要向着两个方面努力：既要考虑实时 性，又要在现有计算能力的基础上完善算法，提高道路识别的可靠性。另一方向 即是利用现有技术，在某些特定的应用方向上为市场制造一些特定的产品，如车 辆离线报警、防撞报警等。 随着社会不断发展，随着高速铁路和公路建设的日益增多，应用于运梁车的 第一章概述 视频跟踪系统设计会越来越受人们重视，因此应用于9 0 0 t 运梁车的视频跟踪系 统研究具有重要的理论意义和实际应用价值。 1 2 应用于9 0 0 t 运梁车的视频跟踪系统概述 图1 1 运梁车视频跟踪系统 应用于大型运梁车的视频跟踪技术研究是一种综合性的现代化科学技术，它 涉及到人工智能，计算机视觉、机械设计、控制和计算机新的体系结构等学科， 它在军事、民用和科学研究等领域广泛的应用前景，吸引了各国政府和大公司的 注意。从八十年代中后期开始，世界主要发达国家对工程车辆智能化开展了一系 列卓有成效的研究工作。由于路标识别技术是智能车辆视觉导航系统中的重要的 关键技术，也是智能车辆视觉导航技术水平的一个重要标志，因此本文介绍的视 频跟踪系统在算法编写上也采用了路标识别技术。 根据运梁车的实际运行需求，如图1 1 所示，当设计视频跟踪系统时，需要 采用c c d 摄像头采集路面图像信息，在运梁车的行驶路面上，具有根据要求划定 的路面标识线。摄像头采集路面图像以后( 此时的路面图像含有路面标识线) ， 将视频信号送入视频跟踪系统，视频跟踪系统要对图像进行一系列的图像处理， 并进行拟合算法编写，并将编写所得的参数送入运梁车的执行机构和报警系统， 从而可以保证运梁车沿着路面标识线安全平稳的行驶。 在上述的视频跟踪系统处理过程中，采集路面图像信息是根本性的一步。在 实际生活中，驾驶员通过视觉可以获得9 0 以上的环境信息，例如交通标志、交 通信号、车道线、车道形状、车辆、道路标记、障碍物等，很显然，可以考虑应 用机器视觉来理解道路环境，即采取摄像头等工具进行路面图像采集。基于视觉 导航的视频跟踪系统研究最早可追溯到6 0 年代末，由于实时图像处理的计算量非 常大，而当时的计算能力十分有限，只有少数几个研究小组开展这方面研究。随 着技术的不断发展，目前的计算机硬件水平为实时图像处理提供了可能：一方面， 处理器和存储器的价格不断下降，商用计算机的体积不断变小，而性能有了显著 的提高，例如目前的商用笔记本电脑可以满足一般实时图像处理的要求；另一方 2 第一章概述 面，c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像头费用低廉，体积小，此外图像处理算法 有柔韧性和适应能力强等特点。因此视觉导航在视频跟踪系统的研究中有广阔的 应用前景。下文将对目前已有的图像处理系统比较，从而选择出最优的图像处理 系统方案。 1 3 图像处理系统综述 一个基本的数字图像处理系统由图像输入、图像存储、图像输出、图像通信、 图像处理和分析5 个模块组成，如图1 2 所示。 图1 2 图像处理系统的组成不恿图 0 图像输入也称图像采集或图像数字化，它是利用图像采集设备( 如数码照相 机、数码摄像机等) 来获取数字图像，或通过数字化设备( 如图像扫描仪) 将要 处理的连续图像转换成适于计算机处理的数字图像。 图像存储部分用来存储图像数据，图像所包含的信息量非常大，因而能存储 图像也需要很大的空间。在数字图像处理系统中，大容量和快速的图像存储器是 必不可少的。用于图像处理和分析的数字图像存储器可分为三类：处理和分析过 程中使用的快速存储器、在线或联机存储器、不经常使用的数据库( 档案库) 存 储器。 图像输出部分用来显示经处理或未经处理的图像，以供分析、识别和理解， 或将处理结果永久保存。前者称为软拷贝或显示，使用设备包括c r t 显示器、 液晶显示器和投影仪等。后者称为硬拷贝，使用设备包括照相机、激光拷贝和打 印机等。 图像通信模块的作用是对大量的图像数据进行传输和通信。其主要是对图像 进行压缩编码，而图像数据的压缩和编码技术也就成为数字图像处理的关键技术 之一。 3 第一章概述 数字图像处理和分析模块包括处理算法、实现软件和计算机，它是数字图像 处理系统的核心。一般分为通用图像处理、专用图像处理系统和图像处理芯片三 种形式。通用视频图像处理一般以通用计算机为基础，如大型机，小型机，工作 站，微机等，其中较普及的是以微机为基础的视频图像处理系统；专用视频图像 处理一般是针对嵌入式应用而产生和发展起来的，通常以d s p ，可编程逻辑等 为基础。 1 3 1 通用视频图像处理系统 通用视频图像处理系统是随着计算机技术的发展而发展起来的，应用较普 及，一般以微机为基础。通用视频图像处理系统的模型如图1 3 所示。图像输 入部分一般采用c c d ( c h a r g ec o u p l ed e v i c e ，电荷耦合器件) 摄像机；图像采 集卡部分完成图像的采集和显示，图像采集卡与p c 机的连接方式为p c i 方 式，p c 机的c p u 负责图像的处理，p c 机的内存用于存储图像数据。图像数 据的特点是数据量大，计算量大，非常耗费机时。在通用视频图像处理系统中， p c 机的c p u 用于对图像数据作运算或处理。由于p c 机是基于冯诺依曼架 构的，本质上是顺序执行的。对于大数据量的图像处理，处理速度慢，实时性不 好。 图1 3 通用视频图像处理系统 1 3 2 专用视频图像处理系统 专用视频图像处理系统主要是针对应用于嵌入式应用领域而发展起来的。随 着数字信号处理器件和可编程逻辑的发展，为数字图像处理准备了硬件基础。 1 3 2 1 基于d s p 的专用视频图像处理系统 基于d s p 的专用视频图像系统采用运算速度较快的d s p 芯片，如近年来 4 第一章概述 t i 推出的定点指令d m 6 4 2 芯片，具有处理能力达5 7 6 0 m i p s ，片内集成了图 像输入接口，两级高速缓存，提供d m a 等特点，方便了图像处理应用的开发。 1 3 2 2 基于f p g a 的专用视频图像处理系统 近年来，可编程逻辑的发展非常快，尤其是大容量，速度较快的f p g a ( f i e l d p r o g r a m m a b l eg a t ea r r a y ) 上可以实现片上可编程系统s o p c ( s y s t e mo n p r o g r a m m a b l ec h i p ) 。既可以利用f p g a 的大容量逻辑资源，又可以使用s o p c 这个嵌入式开发工具，使用f p g a 可以充分利用硬件上的并行性，从本质上改 善图像处理的速度，使对大数据量的图像处理达到实时性，使用s o p c 的好处 在于：可以将v h d l 模块模块化，挂在a v a l o n 总线上，集成到n i o s i i ( a l t e r a 提供的精简指令c p u ) 上，在此基础上，进行软件算法开发，加快 开发周期。 本文的基于f p g a 的视频图像处理硬件系统模型如图1 4 示。 图1 4 基于f p g a 的视频图像处理系统 c c d 摄像机输入p a l d 制的模拟实时图像数据，经采集卡s a a 7 1 1 3 的 a d 转换后，形成7 2 0p i x d sy u v 4 ：2 ：2 格式的数字化图像数据；在f p g a 中经 采集模块的采集，将7 2 0 x5 7 6 大小的整幅实时图像数据经过灰度提取、二值化 处理、开窗处理以后存储在存储芯片s r a m 中，通过对f p g a 中断的响应和时 序的操作，a r m 实验平台从s r a m 中取出数据，并且对图像数据进行边界点提 取、直线拟合等算法编写。 1 3 3 基于f p g a 的视频图像处理系统的意义 在图像的实时处理场合，图像数据的吞吐量大，运算量大，对图像处理系统 性能提出了极高的要求。用p c 机来做实时图像处理，由于p c 机的结构是基 于冯诺依曼的复杂指令计算机，本质上是顺序执行指令，不能实现并行处理， 5 第一章概述 故实时性很差，或能实时处理的图像大小有限；用数字信号处理专用芯片来做实 时图像处理，由于数字信号处理专用芯片采用数据与程序空间相分离的哈佛结 构，加上数字信号处理专用芯片比较适合做复杂的算法，可以实现一定的并行处 理能力和容易实现一些算法，故用来做图像处理比p c 机有一定优势。用f p g a 来做实时图像处理，由于可编程逻辑的大容量、灵活性，可以实现图像的极大的 并行处理能力，速度可以比p c 机和数字信号处理芯片快，可以实现s o p c ( 片 上可编程系统) ，利用n i o s i i 这一可定制的，精简指令处理器，以加快系统的 开发。利用f p g a 做为视频图像处理系统的开发，还可以实现对设计加密以实 现知识产权的保护。采用f p g a 做为开发的载体，还需配置一个c p l d 来储存 设计的代码。很多c p l d 都有可加密性，故可对设计进行加密以保护知识产权， 又不影响对系统的更改和升级。 1 4 本论文主要研究内容及结构 本文根据9 0 0 t 运梁车的实际运行环境，即是在道路有标识线的情况下，通 过比较不同图像处理系统的特点，确定了基于f p g a 的视频跟踪图像处理系统。 所以本课题要重点解决的问题是：路面图像数据采集的实时性、系统的数据处理 的准确性。 本文内容具体安排如下： 第一章阐明本课题的研究背景、目的、要求和意义，以及对当今存在的各 种不同图像处理系统的特点阐述。 第二章重点介绍了基于f p g a 的专用视频图像处理系统的特点及原理。 第三章确定了基于f p g a 的视频图像处理系统总体方案，对于主要的控制 器和视频图像转换器进行了大致介绍。采用大容量f p g a 器件，用可编程技术进 行图像的实时应用研究。视频采集采用p h i l p s 公司的s a a 7 1 1 3 来实现，在设 计采集模块的时候，充分利用了输出的数字化图像数据格式的特点，用最少的时 间完成了数据的准确采集。并采用飞利浦l p c 2 2 9 4 控制器进行算法处理。 第四章在上一章的基础上，重点介绍整个系统的硬件设计，对于每个有代 表性的电路设计都给出了具体详细的说明。 第五章根据系统要求，给出了系统的软件设计。 第六章介绍视频跟踪在9 0 0 t 运梁车上的应用情况，给出了硬件安装示意 图和软件实验要求。 最后为全文的结论，简要概括了本文研究的主要内容及取得的成果，并对课 题的进一步研究提出了展望。 6 第二章基于f p g a 的专用视频图像处理系统 第二章基于f p g a 的专用视频图像处理系统 2 1 可编程逻辑器件 可编程逻辑器件( p l d p r o g r a m m a b l el o g i cd e v i c e s ) 是一种由用户编程以 实现某种逻辑功能的新型逻辑器件。它诞生于2 0 世纪7 0 年代，在2 0 世纪8 0 年代以后，随着集成电路技术和计算机技术的发展而迅速发展起来的。 可编程逻辑器件自问世以来，p l d 经历了从p r o m 、p l a 、p a l 、g a l 到 f p g a 、i s p l s i 等高密度p l d 的发展过程。在此期间，p l d 的集成度、速度不 断提高，功能不断增强，结构趋于更合理，使用变得更灵活方便。p l d 的出现 打破了由中小型通用型集成电路和大规模专用集成电路垄断的局面。与中小规模 通用型集成电路相比，用p l d 实现数字系统，有研制周期短、先期投资少、无 风险、修改逻辑设计方便、小批量生产成本低等优势。随着可编程逻辑器件性能 价格比的不断提高，e d a 开发软件的不断完善，现代电子系统的设计将越来越 多地使用可编程逻辑器件，特别是大规模可编程逻辑器件。如果说一个电子系统 可以像积木堆积起来的话，那么现在构成许多电子系统仅仅需要3 种标准的积 木块一一微处理器、存储器和可编程逻辑器件，甚至只需一块大规模可编程逻辑 器件。 p a l ( p r o g r a m m a b l ea r r a yl o g i c ) 器件是2 0 世纪7 0 年代末期出现的一种 低密度、一次性可编程逻辑器件。 g a l ( g e n e r i ca r r a yl o g i c ) 器件是继p a l 器件之后，在2 0 世纪8 0 年代中 期推出的一种低密度可编程逻辑器件。它在结构上采用了输出逻辑宏单元 ( o l m c o u t p u tl o g i cm a c r oc e l l ) 结构形式，在工艺上吸收e e p r o m 的浮栅技 术，从而使g a l 器件具有可擦除、可重新编程、数据可长期保存的结构特点。 p l d ( p r o g r a m m a b l el o g i cd e 啊c e ) 是万门以上的复杂可编程逻辑器件，采用 c m o se p r o m e e p r o m 、快闪存储器和s r a m 等编程技术，从而构成高密度、 高速度和低功耗的可编程逻辑器件。 2 2 现场可编程门阵列( f p g a ) f p g a 是现场可编程门阵列( f i e l dp r o g r a m m a b l eg a t e a r r a y ) 的简称。f p g a 器件及其开发系统是开发大规模数字集成电路的新技术。它利用计算机辅助设 计，绘制出实现用户逻辑的原理图、编辑布尔方程或用硬件描述语言等方式作为 设计输入：然后经一系列转换程序、自动布局布线、模拟仿真的过程；最后生成 7 第二章基于f p g a 的专用视频图像处理系统 配置f p g a 器件的数据文件，对f p g a 器件初始化。这样就实现了满足用户要 求的专用集成电路，真正达到了用户自行设计、自行研制和自行生产集成电路的 目的。 f p g a 相对于c p l d 而言，其结构特点在于f p g a 是基于查找表 ( 1 0 0 k - u p t a b l e ) 的。查找表( 1 0 0 k - u p t a b l e ) 简称为u j t ，u j t 本质上是一个 r a m 。f p g a 中多使用4 输入的u 厢，所以每一个u j t 可以看成一个有4 位地址线的1 6 x1 的r a m 。当用户通过原理图或v h d l 语言描述了一个逻辑 电路以后，c p l d f p g a 开发软件会自动计算逻辑电路的所有可能的结果，并把 结果事先写入r a m ，这样，每输入一个信号进行逻辑运算就等于输入一个地址进 行查表，找出地址对应的内容，然后输出即可。 下面是一个4 输入与门的例子： 表2 1 输入与门 实繇逻辩电路l u t 昀突现露式 a 广1 i 地址线 a 输出 ：昌i ) 一“ b 1 6 x l 从捆 d 伍耵) di) i a ，b ，c ，d 输入逻辑输 地址 r a 魏中存貉的内容 0 0 0 0o0 0 0 00 0 0 0 100 0 0 1 0 00 1 1 1 111 1 i 11 f p g a 的内部结构为逻辑单元阵列( l c a ) 。l c a 由3 类可编程单元组成： 周边的输入输出模块( i o b ) ，核心陈列是可配置逻辑块( c l b ) 以及各模块问 的互连资源。互连资源由各种长度的连接线段组成，其中也有一些可编程的连接 开关，它们用于逻辑块之间，逻辑块与输入输出块之间的连接。f p g a 的内部 结构示意图如下图示。 f p g a 的内部连线是分布在c l b 周围，而且编程的种类和编程点很多，使 得布线相当灵活，因此在系统速度方面低于c p l d 的速度。芯片逻辑利用率： 由于f p g a 的c l b 规模小，可分为两个独立的电路，又有丰富的连线，所以 系统综合时可进行充分的优化，以达到逻辑最高的利用。芯片功耗：高密度可编 程逻辑器件h d p l d 的功耗一般在0 5 w 2 5 w 之间，而f p g a 芯片功耗 0 2 5 r o w - 5 m w ，静态时几乎没有功耗，所以称f p g a 为零功耗器件。 第二章基于f p g a 的专用视频图像处理系统 l t “r i ，l 双，l c l 蹑苍片的内部结构 图2 1f p g a 结构示意图 2 3 片上可编程系统s o p c 片上可编程系统s o p c 是s y s t e mo nap r o g r a m m a b l ec h i p 缩写。s o p c 是 基于f p g a 解决方案的s o c ( s y s t e mo nc h i p ) ，s o c 是将一个完整产品的各功 能集成在一个芯片中，可以包括有c p u 、存储器、硬件加速单元( a 、，处理器、 d s p 、浮点协处理器等) 、通用i o ( g p i o ) 、u a r t 接口和模数混合电路( 放大器、 比较器、a d 、d a 、射频电路、锁相环等) ，甚至延伸到传感器。微机电和微广 电单元。( 如果把c p u 看作是大脑，则s o c 就是包括大脑、心脏、眼睛和手的 系统。) 构成s o p c 的方案有如下多种途径。 2 3 1 基于f p g a 嵌入i p 硬核的s o p c 系统 即在f p g a 中预先植入嵌入式系统处理器。目前最为常用的嵌入式系统大多 采用了含 有a r m 的3 2 位知识产权处理器核的器件。尽管由这些器件构成的嵌入式 系统有很强的功能，但为了使系统更为灵活完备，功能更为强大，对更多任务的 完成具有更好的适应性，通常必须为此处理器配置许多接口器件才能构成一个完 9 第二章基于f p g a 的专用视频图像处理系统 整的应用系统。如除配置常规的s r a m 、d r a m 、f l a s h 外，还必须配置网络通 信接口、串行通信接口、u s b 接口、v g a 接口、p s 2 接口或其他专用接口等。 这样会增加整个系统的体积、功耗，而降低系统的可靠性。但是如果将a r m 或 其他知识产权核，以硬核方式植入f p g a 中，利用f p g a 中的可编程逻辑资源 和口软核，直接利用f p g a 中的逻辑宏单元来构成该嵌入式系统处理器的接口 功能模块，就能很好地解决这些问题。对此，a l t e r a 和x i l i n x 公司都相继推出 了这方面的器件。例如，a l t e r a 的e x e a l i b u r 系列f p g a 中就植入了a r m 9 2 2 t 嵌入式系统处理器；x i l i n x 的v i r t e x i ip r o 系列中则植入了i b mp o w e r p c 4 0 5 处 理器。这样就能使得f p g a 灵活的硬件设计和硬件实现更与处理器的强大软件功 能有机地相结合，高效地实现s o p c 系统。 2 3 2 基于f p g a 嵌入l p 软核的s o p c 系统 将m 硬核直接植入f p g a 的解决方案存在如下几种不够完美之处： 由于此类硬核多来自第3 方公司，f p g a 厂商通常无法直接控制其知识 产权费用，从而导致f p g a 器件价格相对偏高。 由于硬核是预先植入的，设计者无法根据实际需要改变处理器的结构， 如总线规模、接口方式，乃至指令形式，更不可能将f p g a 逻辑资源构 成的硬件模块以指令的形式形成内置嵌入式系统的硬件加速模块( 如 d s p 模块) ，以适应更多的电路功能要求。 无法根据实际设计需求在同一f p g a 中使用多个处理器核。 无法裁减处理器硬件资源以降低f p g a 成本。 只能在特定的f p g a 中使用硬核嵌入式系统，如只能使用e x c a l i b u r 系列 f p g a 中的a r m 核，v i r t e x i ip r o 系列中的p o w e r p c 核。 如果利用软核嵌入式系统处理器就能有效地克服解决上述不利因素。 目前最有代表性的软核嵌入式系统处理器分别是a l t e r a 的n i o s 和n i o si i 核， 及x i l i n x 的m i c r o b l a z e 核。特别是前者，即n i o sc p u 系统，使上述五方面的问题得到很 好地解决。 在2 0 0 0 年，a l t e r a 发布了n i o s 处理器，这是a l t e r ae x c a l i b l l l 嵌入处理 器计划中第一个产品，它成为业界第一款为可编程逻辑优化的可配置处理器。 a l t e r a 的n i o s 核是用户可随意配置和构建的3 2 位1 1 6 位总线( 用户可选的) 指令集和数据通道的嵌入式系统微处理器m 核，采用a v a l o n 总线结构通信接口， 带有增强的内存、调试和软件功能( c 或汇编程序程序优化开发功能) ：含由f i r s t s i l i c o ns o l u t i o n s ( f s 2 ) 开发的基于j t a g 的片内设备( o c i ) 内核( 这为开发者 l o 第二章基丁= f p g a 的专用视频图像处理系统 提供了强大的软硬件调试实时代码，o c i 调试功能可根据f p g aj t a g 端口上接 收的指令，直接监视和控制片内处理器的工作情况) 。此外，基于q u a r t u si i 平台 的用户可编辑的n i o s 核含有许多可配置的接口模块核，包括：可配置高速缓存 ( 包括由片内e s b 、外部s r a m 或s d r a m ，1 0 0 m b 以上单周期访问速度) 模 块，可配置r s 2 3 2 通信口、s d r a m 控制器、标准以太网协议接口、d m a 、定 时器、协处理器等。在植入( 配置进) f p g a 前，用户可根据设计要求，利用 q u a r t u si i 和s o p cb u i l d e r ，对n i o s 及其外围系统进行构建，使该嵌入式系统在 硬件结构、功能特点、资源占用等方面全面满足用户系统设计的要求。n i o s 核 在同一f p g a 中被植入的数量没有限制，只要f p g a 的资源允许。此外，n i o s 可植入的a l t e r af p g a 的系列几乎没有限制，在这方面，n i o s 显然优于x i l i n x 的m i c r o b l a z e 。 另外，在开发工具的完备性方面、对常用的嵌入式操作系统支持方面，n i o s 都优于m i c r o b l a z e 。就成本而言，由于n i o s 是由m t e r a 直接推出而非第3 方产 品，故用户通常无需支付知识产权费用，n i o s 的使用费仅仅是其占用的f p g a 逻辑资源费。因此，选用的f p g a 越便宜，则n i o s 的使用费就越便宜。 特别值得一提的是，通过m a t l a b 和d s pb u i l d e r ，或直接使用v h d l 等硬件 描述语言设计，用户可以为n i o s 嵌入式处理器设计各类加速器，并以指令的形 式加入n i o s 的指令系统，从而成为n i o s 系统的一个接口设备，与整个片内嵌入 式系统融为一体。例如，用户可以根据设计项目的具体要求，随心所欲地构建自 己的d s p 处理器系统，而不必拘泥于其他d s p 公司已上市的有限款式的d s p 处 理器。 n i o s i i 是a l t e r a 公司2 0 0 4 年6 月推出的第二代软核处理器。n i o s i i 系列3 2 位r i s c 嵌入式处理器具有超过2 0 0 d m i p 的性能，在f p g a 中的实现成本只有 3 5 美分，由于处理器是软核的形式，具有很大的灵活性，用户可以在多种系统 设置总和中进行选择，达到性能、特性和成本目标。 下面介绍s o p c 设计流程。 在采用n i o si i 处理器设计嵌入式系统时，一般遵循如下的流程： 1 分析系统需求说明，包括功能需求和性能要求等； 2 建立q u a r t u si i 工程，建立顶层实体； 3 调用s o p cb u i l d e r 生成一个用户定制的系统模块( 包括n i o si i 及标准 外设模块) ； 4 将s o p c 系统模块集成到硬件工程中，并添加一些模块，可以是a l t e r a 公司提供的l p m 模块、第三方提供的或用户自己定制的模块； 5 在顶层实体中，将s o p c 系统模块、a l t e r a 的l p m 或用户自定义的模块 第二章基于f p g a 的专川视颠嘲像处理系统 连接起来； 6 分配引脚和编译工程，编译生成系统的硬件配胃文件s o f p o f 文件； 7 下载工程，验证，将配置文件下载到盯发扳上进行验证； 8 软件开发，开发可以使用i d e 开发环境，也可以使用s d ks h e l l ； 9 编译软件工程生成可执行文件e l f ； 1 0 调试程序将硬件配置文件下载到开发板，将可执行文件下载到r a m ， 直到软硬件协同工作。 在上面的过程中用到的软件有q u 缸t i i 、n i o s 儿s d ks h e l l 或n i o s i i i d e 、 m o d d s i r a 等，如果进行d s p 的开发，还会用到m a l l a b 和d s p b u i l d c r 。q u a r t u s i i 用来建立硬件的系统，其中包括s o p cb u i l d e r 工具s o p cb u i l d e r 用来建立 s o p c 系统模块，q u a r t u s l l 支持多种设计方式，如原理图。硬件描述语言等，硬 件描述语言的方式支持v h d l 和v e r i l o g 。软件丌发使用n i o s l is d k s h e l l 或n i o s i ii d e ， d e 开发环境采用图形化的开发环境使用方便直观。而s d ks h e l l 采 用命令窗口的方式进行程序的调试。m o d e l s i m 是h d l 编译仿真软件，用于对设 计的硬件系统进行r t l 级的仿真。 下图22 和图2 , 3 分别表示了s o p cb u i l d e r 开发流程和综台设计流程。 “# s b 。u i 9 l t 。l e ， f _ i i 面面i i i i 而i n l 矗r p c ! ： f s y a t o mt d g t b o n c h ：2 1 0 。鼎。d 州n t k n 圉2 2s o p c b u l l e t 设计流程 第二章基于f p g a 的专用视频图像处理系统 硬抖开发值罔o u a r t u si i f i s o p cb u i l d e r 倒2 3 综台硬什开发流程 第三章视频图像处理系统整体方案 第三章视频图像处理系统整体方案 3 1 基于f p g a 的视频跟踪系统整体方案框图 基于f p g a 的视频跟踪系统的整体方案如图3 1 所示： l l c 。 i n t 。f i1 lf e e d b 剐 ：k a r m c c d h o d 摄像 s a a d a t a 、 7 11 3v e r t 。 _ 机 v v o 7 0 1 。卜 f p g a c s 。 o 。 、v 阿 - 趔-s r a m - 旦蝤l - a d d r 、 d a t a ： 图3 1 硬件系统框图 系统由三部分组成，包括s a a 7 11 3 图像数据采集卡，可编程逻辑f p g a 芯 片，实现控制算法的a r m 控制器芯片。采集卡的作用是接收来自c c d 摄像机 的p a ld 制全电视信号( c v b s ) ，输出i t u 6 5 64 ：2 ：2 格式的数字化图像 数据，通过f p g a 的时序控制及一系列的图像处理，将处理后的数据缓存在 s r a m 中，然后送入a r m 实验平台中进行控制算法的编写。 3 2f p g a 芯片c y c l o n e e p lc 2 0 介绍 本文采用f p g a 芯片是a l t e r a 的c y c l o n e 系列芯片中的c y c l o n e e p l c 2 0 。其内核供电采用1 5 v ，0 。1 3 u m 工艺，功耗更低。逻辑资源达2 0 0 6 0 个 逻辑单元( l e ，l o g i ce l e m e n t s ) ，片内r a m 的容量为2 8 8 k b i t s 。a l t e r ac y c l o n e f p g a 是目前市场上性价比最优且价格最低的f p g a 。c y c l o n e 器件具有为大批 量价格敏感应用优化的功能集，这些应用市场包括消费类、工业类、汽车业、计 算机和通信类。其可用资源特点如下： c y c l o n ef p g a 具有多达2 0 0 6 0 个逻辑单元，容量是以往低成本f p g a 的 1 4 第三章视频图像处理系统整体方案 四倍。 c y c l o n e 器件的逻辑资源可用来实现复杂的应用。 c y c l o n e 器件中m 4 k 存储块提供了2 8 8 k b i t 存储容量，能够被配置来支持 多种操作模式，包括r a m 、r o m 、f i f o 及单口和双口模式。片内r a m 速度 较快。 支持低成本的串行配置芯片，可以节约配置芯片的成本。 c y c l o n e 器件支持各种单端i o 接口标准，如3 3 v 、 2 5 一v 、1 8 v 、 i ，v r r l 、l v c m o s 、s s t l 和支持6 6 m 和3 3 m ，6 4 位和3 2 位p c i 标准。 c y c l o n e 器件具有多达1 2 9 个兼容l v d s 的通道，每个通道数据率高达 6 4 0 m b p s 。 c y c l o n e 器件具有两个可编程锁相环( p l l ) 和八个全局时钟线，提供健全 的时钟管理和频率合成功能，实现最大的系统性能。c y c l o n ep l l 具有多种高级 功能，如频率合成、可编程相移、可编程延迟和外部时钟输出。这些功能允许设 计者管理内部和外部系统时序。 c y c l o n e 器件支持诸如p c i 等串行、总线和网络接口，可访问外部存储器 件和多种通信协议如以太网协议。 c y c l o n e 器件具有高级外部存储器接e l ，允许设计者将外部单数据率( s d r ) s d r a m ，双数据率( d d r ) 、s d r a m 和d d rf c r a m 器件集成到复杂系统设 计中，而不会降低数据访问的性能。支持各种i p ( i n t e l l e c t u r a lp r o p e r t y ) 核，包 括a l t e r a 和a l t e