（交通信息工程及控制专业论文）基于FPGA的道路环境图像采集压缩系统研究与开发.pdf

摘要 基于视频的多功能道路综合信息检测系统采集的视频和图像数据通常都是 海量级的，为了便于这些数据的传输与存储，需要对它们进行快速和高效的压缩。 传统的基于工控机与采集卡的图像压缩处理系统，其性能受到工控机c p u 速度 和总线带宽的限制，且成本较高，可扩展性较差。如何采用f p g a 器件对视频和 图像数据进行硬压缩，提高系统的运行速度和压缩效率是本论文主要解决的问 题。 论文首先对国内外图像信息采集及压缩技术和f p g a 技术的发展现状进行了 综述，在对用户需求进行详细分析的基础上，设计了一种基于f p g a 的高性价比 的j p e g 压缩编码方案。然后根据v i r t e x i ip r ox c 2 v p 3 0f p g a 器件内部结构 的特点，设计了满足实际需求的视频解码电路，并在f p g a 硬件上对j p e g 压缩 编码算法进行了实现，该实现过程分为三个步骤：( 1 ) 采用多个乘法器的同时工 作的方式，运用流水式输入并行输出快速运算来实现离散余弦变化；( 2 ) 根据之 字扫描的特点，将之字扫描内嵌到量化过程中，同时将所有的除法运算转变成高 效的乘法运算，以节省处理时间；( 3 ) 根据编码系数的自身特性将图像信息中的 直流系数( d c ) 与交流系数( a c ) 采用各自适宜的方法进行编码。最后将开发 的基于f p g a 的压缩系统与基于p c 机的压缩系统进行了性能对比。 试验结果表明：基于f p g a 的硬件压缩系统在压缩时间和压缩比上明显要优 于基于p c 机的系统，而且压缩质量与p c 机相当，可满足实际工程应用的需求。 关键词：f p g a 、j p e g 、离散余弦变化、量化、之字扫描、编码 a b s t r a c t v i d e od a t aa n di m a g ed a t ac o l l e c t e db yav i d e o b a s e dm u t i f u c n t i o n a li n s p e c t i o n s y s t e mo fc o m p r e h e n s i v ei n f o r m a t i o no fr o a d w a ya r eu s u a l l yp r o d i g i o u s ，a n dt h e y n e e dt ob e c o m p r e s s e dr a p i d l y a n d e f f i c i e n t l y f o rt h ec o n v e n i e n c eo fd a t a t r a n s m i s s i o na n ds t o r a g e b e s i d e st h eh i g hc o s ta n dp o o re x t e n s i b i l i t y , t h ep e r f o r m a n c e o ft r a d i t i o n a l i m a g ec o m p r e s s i o na n dp r o c e s s i n gs y s t e m sb a s e do ni n d u s t r i a l c o m p u t e r sa r el i m i tt ot h ec p us p e e d sa n db u sb a n d w i d t h s t h u sh o w t os p e e d u pt h e s y s t e ma n di m p r o v et h ec o m p r e s s i o ne f f i c i e n c yt h r o u g hh a r d w a r ec o m p r e s s i o ni nu s e o ff p g ad e v i c e si st h ep r i m a r yp r o b l e mt os o l v ei nt h et h e s i s f i r s t ，t h et h e s i sr e v i e w e di m a g ea c q u i s i t i o na n dc o m p r e s s i o nt e c h n i q u e sa n d f p g a t e c h n i q u e sa th o m ea n da b r o d ，a n dd e s i g n e dah i g hp e r f o r m a n c e - p r i c er a t i o j p e gc o m p r e s s i n ga n de n c o d i n gs c h e m eb a s e do nf p g a a f t e rt h ed e t a i l e du s e r r e q u i r e m e n ta n a l y s e s a c c o r d i n gt ot h es t r u c t u r ec h a r a c t e r i s t i c so fv i r t e x i ip r o x c 2 v p 3 0 ，av i d e od e c o d i n gc i r c u i tt h a tm e e t st h er e q u i r e m e n t si sd e s i g n e da n dt h e j p e gc o m p r e s s i o na l g o r i t h mi si m p l e m e n t e do nf p g a t h ep r o c e d u r ei sd i v i d e di n t o t h r e es t e p s ：( 1 ) u s i n gt h ec o n c u r r e n tw o r ko fm u l t i p l em u l t i p l i e r , d i s c r e t ec o s i n e t r a n s f o r m ( d c t ) i sr e a l i z e dw i t hs e r i a li n p u ta n dp a r a l l e lo u t p u t ；( 2 ) z i g z a gs c a ni s i n t e g r a t e di n t ot h eq u a n t i f i c a t i o np r o c e d u r e ，a n da l lt h ed i v i s i o n sa r ec o n v e r t e di n t o e f f i c i e n tm u l t i p l i c a t i o n st or e d u c et i m e ；( 3 ) a c c o r d i n gt ot h ef e a t u r e so fe n c o d i n g c o e e f f i c i e n t s ，s u i t a b l em e t h o d sa r ea p p l i e dt o t h ee n c o d i n gp r o c e d u r e so fd c c o e f f i c i e n t sa n da cc o e f f i c i e n t so fi m a g e sr e s p e c t i v e l y f i n a l l y , ap e r f o r m a n c e c o m p a r i s o no ft h ed e v e l o p p e df p g a b a s e dc o m p r e s s i o ns y s t e ma n dt h ep c - b a s e d c o m p r e s s i o ns y s t e mi sc a r r i e do u t e x p e r i m e n tr e s u l t ss h o wt h a tf o rf p g a b a s e ds y s t e m ，i t sc o m p r e s s i o nq u a l i t yi s e q u i v a l e n tt o t h a to fp c ，a n ds u p e r i o rt op c b a s e ds y s t e mi nt i m ea n dr a t i oo f c o m p r e s s i o n ，a n d c a nm e e tt h en e e d so fp r a c t i c a la p p l i c a t i o n k e yw o r d s ：f p g a ，j p e g , d c t , q u a n t i z a t i o n ，z s c a n ，e n c o d i n g 长安人学硕十论文 第一章绪论 道路交通问题是本世纪以来，工业发达国家一直为之困扰的问题。随着我国工业、 商业等各个行业的快速发展，道路交通日趋繁忙；其中的问题愈演愈烈，必然会对道路 交通安全产生不良的影响。对影响道路交通安全的因素进行分析，对保障道路交通安全 具有重大影响的除了人、车外还有道路环境。由于道路环境对交通安全有重大的影响， 所以对道路环境信息的采集与处理对预防和减少交通事故有重要的意义。 1 1 论文的课题来源、研究目的及意义 1 1 1 课题来源 本课题来源于陕西省交通厅信息中心与长安大学合作的项目“公路视频地理信息采 集及管理技术研究”。 1 1 2 课题研究的目的及意义 随着我国经济的快速发展，道路交通建设也得到了迅速的发展。1 9 9 8 年以来，中国 以每年超过2 0 0 0 亿元的投资用于公路建设，2 0 0 2 年公路建设投资更是达到3 2 11 7 3 亿 元【l 】。特别是在2 0 0 8 年1 1 月，国家为了应对金融危机，提出了扩大内需来刺激经济增 长的计划，出台了总额约4 万亿人民币的投资计划，在这些资金中，预计约有4 5 会被 投入到交通设施建设中【2 1 。国家计划在未来几年中继续加快铁路、公路和机场等重大基 础设施建设，重点建设一批客运专线、煤运通道项目和西部干线铁路，完善高速公路网建 设。所以毋庸置疑，今后的公路建设速度和规模仍将继续保持强劲的势头。然而，与公 路硬件设施建设的发展状况相比，目前我国道路管理的现代化程度和技术水平仍然滞 后。 一直以来，我国在道路管理中，采用传统的人工方式对路产信息进行采集，采用基 于文本数据库的方式对路产信息进行管理。这种采集方式工作量大，耗费人力资源多， 效率低下已经难以满足日益增长的路产采集的需要；而且文本数据库的路产信息管理方 式缺乏直观的表达，难以让管理者直观的了解各个路产的位置与完好状况，已无法满足 现代路产管理的需要。而基于视频的道路综合信息采集与管理系统，在路产信息采集时， 节省大量的人力资源，具有很高的采集效率；在路产信息的后期管理中，由于路产信息 都以直观的视频( 图像) 的形式展示给管理者，便于管理者的对路产信息的各项管理。 在基于视频的道路综合信息采集与管理系统中，通过多路图像采集器对多样化的道 1 第一章绪论 路环境信息的进行图像( 视频) 采集。由于采集得来的图像( 视频) 数据占据了大量的 空间，不利于信息的存储与传输；因此，采集来的信息必须通过数据压缩系统进行有效 数据提取，压缩信息的存储空间，以利于信息的传输及后续处理。在传统的视频采集系 统中，图像采集与压缩过程都在p c 机中完成，图像压缩耗费较大的计算机资源。在本 道路综合信息采集与管理系统中，p c 机不但需要做视频( 图像) 信息的采集与压缩， 还需要对采集来的数据进行后续的处理如存储等。如果依旧采用这种方式完成图像的采 集与压缩，将造成p c 机超负荷，很多数据都等待p c 机的处理，图像压缩时间必然被 延长，导致图像信息的丢失；因此传统的这种基于p c 的图像压缩系统以无法满足这种 基于视频的道路综合信息采集与管理系统对海量图像信息的压缩需求。因此，将耗费大 量计算机资源的图像采集和压缩过程与图像信息的其他处理工作分开是必要的。本文致 力于独立于p c 机的图像信息压缩系统的研究与开发。通过本系统对采集得来的道路环 境信息进行压缩，减轻p c 机的负担，提高系统的综合性能。 1 2 论文的研究背景 1 2 1 道路环境信息检测技术的国内外发展现况 在道路检测技术方面，国外已经有3 0 多年的研究历史。近些年，随着高新技术的 发展道路检测技术有着质的突破。各国根据各自的国情和需求，采用了不同的研究思路 和方法，形成了不同风格的检测技术与检测设备。 2 0 世纪7 0 年代初期以路面损坏自动采集设备取代人工量测的研究。法国道路管理 部门研制开发了路面摄影车，使风吹日晒环境下的现场损坏测量工作转为室内对胶片的 处理、并借助计算机进行人工判读和数据记录。七十年代后期，在美国联邦公路管理局 的资助下，加州j e tp r o p u l s i o n 实验室于1 9 7 8 年开始尝试使用视频技术来检测车辆的运 行，并取得了初步的进展。 2 0 世纪8 0 年代中后期，西方发达资本主义国家美国、日本、法国等由于路网管理 和路面管理系统发展的需要，纷纷开展了以路面损坏实时采集设备( 硬件) 和路面损坏 图像的计算机图像自动处理系统( 软件) 为主要内容的研究与开发工作1 3 1 。 2 0 世纪9 0 年代初期，其研究成果陆续被发表出来，开发成设备的检测系统有美国 的自动化路面图像分析仪和路面裂缝评价系统、日本的路面损坏自动测量系统等。这个 阶段是该领域研究发展最迅速、成果最多的阶段。其研究水平达到图像采集自动化，实 现了介于3 0 - 1 2 0 k m h 之间的采集速度，图像处理自动化程度也较高。但由于当时计算 2 长安大学硕士论文 机的技术水平所限，处理l 英里路面车道的时间为1 5 分钟l 小时，甚至更长。摄像精 度达到可清晰记录3 m m 宽裂缝左右的水平，损坏识别正确率在6 0 9 5 左右【4 】。 美国乔治亚州理工学院的y i c h a n gt s a i ，z h a o h u aw a n g 和c h i e n - t a iy a n g 提出了一 种基于g p s g i s 的实时应急响应系统，通过基于巡逻区域的最短路径搜索算法实现了巡 逻车辆的定位和派遣。该系统可以提供车辆的可靠定位信息，整合警察局、消防队、急 救中心和医院的位置、处理能力和可用性等信息以便进行任务的优化分配，提供实时环 境下的空间搜索标准有效确定最优的人员、车辆派遣安排。 进入2 l 世纪后，由于计算机和数字技术的飞速发展，性能更高的路面检测系统相 继问世，同时出现了集裂缝测量、平整度测量、车辙测量、前方照相摄像等多功能予一 体的高度集成化的多功能检测车。 我国道路采集检测技术起步较晚，由于道路检测车的核心技术具有相应的知识产 权，因此早期我国只能依赖进口国外的设备。从2 0 世纪8 0 年末才陆续开展了一些道路 检测技术的研究和道路检测产品的研发，现阶段，我国的道路信息采集检测技术基本已 覆盖了各种主要的检测技术，开始向智能化与高度集成化进一步发展。目前我国较新的 相关研发成果有以下几种： ( 1 ) 武汉立得空间技术公司道路交通行业实景化综合信息采集车 系统由c c d 摄像机、计算机控制单元、平整度仪、激光车辙检测仪和g p s 接收机 组成。功能包括公路可视化影像库建立、路网桥梁业务数据融合、平整度测量、病害检 测和目标地物理题测量。系统特点：以公路综合信息采集车为依托，通过地图方式实现对 公路信息可视化的管理；通过实时动态可视化的数据，实现在可视化中心对突发事件的 处理；实现公路维护信息、设施信息从宏观( 高分辨率卫星影像) 到微观( 现场地面遥 感影像) 的图片管理，并为历史信息管理提供数据源；保障公路畅通，实现出行服务信 息的在线、动态发布。 ( 2 ) 哈工大国畅( a u t od e t e c t o r ) 多功能道路检测车 哈工大国畅( a u t od e t e c t o r ) 多功能道路检测车采用激光测距与航天惯导组合技 术测量路面纵向双轮迹真实断面；采用红外激光测距技术，实现全车道宽度和可变断面 间距的车辙形状测量；采集光电编码器技术实现了路面损坏状况图像的连续采集及与车 速的完全自动匹配；采用高强光源闪光照明系统，实现全天候连续检测；采用数字图像 处理技术实现了路面裂缝、坑槽、沉陷等损坏的自动识别。 ( 3 ) 武汉武大卓越z o y o n r t m 智能道路检测车 3 第一章绪论 武汉武大卓越( z o y o n ) 研究开发的z o y o n r t m 智能道路检测车集成和应用了 现代信息技术，以机动车为平台，将光电、i t 和3 s 技术集成一体。在车辆正常行驶状 态下，能自动完成道路路面图像、路面形状、道路设施立体图像、平整度及道路几何参 数等数据采集、分析、分类与存储。z o y o n r t m 智能道路检测车可为高速公路、高等 级公路、城市市政道路、机场跑道等路面提供裂缝病害检测、车辙及路形病害检测、平 整度检测、道路附属设施检测【5 1 。 另外我国陆续从国外进口了一些较先进的道路检测仪器和养护设备，引进了一些养 护技术。 我国虽然在道路自动检测技术上取得很大的进步，但依然存在很多不足之处： 1 ) 进口仪器设备价格昂贵，引进技术涉及知识产权问题，难以推广； 2 ) 国内仍处于研究阶段，道路信息采集技术还不成熟，并缺少相应的技术标准； 3 ) 数据采集效率和准确性有待进一步提高，信息采集有待于进一步智能化； 4 ) 外围的设备如传感器种类繁多，没有规范的接口电路。 因此就国内目前情况看，宜尽快组织力量，投入资金，并在国内外已有成果基础上， 从道路快速检测设备、技术等方面，深入系统地开展道路快速检测技术的研究，发展我 国自主知识产权的道路快速检测技术，提升我国道路检测技术的规范和行业标准，促进 我国道路检测技术的发展、应用及实施。 1 2 2 基于f p g a 技术的图像处理的国内外发展现况 在我国图像处理系统的研制起步比较晚，同样是采用机箱式结构，主流计算机采用 小型机。直到8 0 年代中期到9 0 年代初期，该阶段的特点是小型化，外部结构不再是机 箱式而是插卡式。通过把图像卡插到计算机内，即可和计算机构成图像处理系统。在国 内成功研制的图像卡主流机采用p c ，计算机总线采用s i a 总线。9 0 年代初开始，随着 p c i 总线技术的成熟，使得采用p c i 总线的图像卡逐步取代采用s i a 总线接口的图像卡， 该类产品在w i n d o w s 平台上编制图像处理软件。另外出现一种采用大规模集成电路或专 用芯片取代计算机的脱机图像处理系统。9 0 年代末，d s p 技术在国内逐步成熟，其相 关产品被广泛应用到图像处理系统中。随着大规模、超大规模可编程逻辑器件技术的逐 步成熟，近些年f p g a 技术在图像处理系统中运用也越来越广泛，其并行处理等优势令 其在图像处理领域中占有重要的地位。目前，计算机和p c i 接口图像采集卡仍是图像处 理系统的主流配置。但随着半导体技术的飞速发展、f p g a 技术的高速发展及其芯片成 4 长安大学硕二l 二论文 本的降低，基于f p g a 的图像处理系统的开发与应用得到广泛的推广。 在图像处理系统中，其系统组成受多方面因素的影响，特别是受计算机性能及电子 技术的影响。传统的图像处理系统包括上个世纪8 0 年代的以图像帧存为中心的图像处 理结构和上个世纪9 0 年代出现了以计算机内存为中心的图像处理系统。以图像帧存为 中心的图像处理系统的结构如图1 1 所示。随着新型p c i 总线的问世，出现了以计算机 内存为中心的图像处理系统，为了提高图像处理的速度，在系统中添加了硬件处理模块， 其结构如图1 2 所示。 图1 1以图像帧存为中心的图像处理结构 摄像头 图像数字化 图像帧存 + 硬件处理 t i g h t 接口 内存 显存 图1 2以内存为中心的图像处理结构 随着微处理器并行处理能力的提高，图像传感器及存储设备成本的降低，d s p ( 数字 信号处理) 器件以及大规模、超大规模可编程逻辑器件技术的逐步成熟与广泛应用，致 使图像处理在算法与体系结构上都有明显的发展。在众多图像处理系统中，f p g a 凭借 其具备并行处理等众多优势，被越来越多的用户所青睐。 贝尔实验室的研究人员基于a l t e r ae p f 8 1 5 0 0 系列的f p g a 研制出实现图像处理 和神经网络的s i m d 结构的处理器【7 】。如图1 3 所示。如图所示，在一个f p g a 芯片中 设计多个并行的数据处理单元( p e ) ，大大的提高了处理器的整体处理效率。实验中应 用图1 3 所示的处理器进行二值图像卷积运算，将其结果与n e t 3 2 处理器和p e n t i u m 处 理器进行对比，其效率明显提高，如表1 1 所示。 随着f p g a 技术的发展，应用f p g a 技术开发的图像信息的处理系统，被广泛的应 5 第一章绪论 用到汽车行业中。如车载会议电视、车载可视电话、车载机器视觉等7 1 。随着f p g a 技 术的融入，图像处理系统在其结构上有了明显的变换，由原先的串行处理向并行处理转 型。同时许多图像处理任务( 如图像压缩) 和通信接口等现在都可用低成本可编程逻辑器 件实现。 图1 32 x 2 f p g a 实现的处理器 表1 1 不同处理器间卷积算法比较 t e m p l a t es i z e 贝尔实验室处理器 n e t 3 2 k p e n t i u m 4 * 41 5 m s6 2 5 m s1 1 4 m s 8 * 8 6 m s6 2 5 m s 2 3 8 m s 1 6 1 1 62 4 m s6 2 5 m s9 6 1 m s 中国铁道部基础设施检测中心应用f p g a 模块设计较为告诉的图像处理系统，用于 轨距轨向检测。由于f p g a 的并行处理能力，使系统具有了同时处理8 个通道的钢轨断 面图像信息的能力，提高了系统的实时；实现系统的动态检测【引。 2 0 0 5 年6 月，富士通采用f p g a 技术开发服务机机器人。其中f p g a 主要负责图像 信息的高速处理。该f p g a 的工作频率为9 0 m h z 。由于开发了图像处理l s i ( l a r g e s c a l e i n t e g r a t i o n ) 提高了处理速度，因此可以在行走进程中进行视觉识别。 6 长安大学硕士论文 随着f p g a 技术的发展，其规模的不断扩大，且f p g a 具有高效的并行处理的能力， 使用f p g a 技术在图像处理系统中得到进一步的推广。 1 3 本文的主要研究内容及章节安排 本课题是陕西省交通厅信息中心与长安大学合作的项目。课题的目的是对快速实现 图像压缩算法进行研究与实现。本论文的主要任务是在f p g a 的硬件平台上实现采集图 像的硬压缩，为图像处理系统提供快速、便携的压缩模块。 论文的主要内容包括如下几点： 1 ) 根据图像处理技术的发展需求，对现阶段的图像压缩技术做深入的研究，提出 符合实际需求的图像压缩系统方案。 2 ) 根据总体解决方案，提出以f p g a 为处理核心的图像硬件压缩方案。 3 ) 根据系统方案进行f p g a 、视频解码器进行选型，以满足系统设计的需求。 4 ) 图像压缩系统的外围电路设计与研究。 5 ) f p g a 上并行压缩算法研究与实现。 6 ) 基于f p g a 的j p e g 压缩编码系统的仿真验证及结论。 7 ) 对课题总结及进一步的完善建议。 7 第二章系统总体方案设计 第二章系统总体方案设计 2 1 系统功能需求分析 本系统的主要功能就是对采集得来的大量图像信息通过基于f p g a 的图像压缩系统 进行快速的压缩，保留有用信息，使图像信息占据较小的存储空间，达到图像信息量压 缩的目的。其主要功能框图如图2 1 所示。 f p g a 面阵相机1 存储器 面阵相机1 同轴 电缆 环境景观图片 信息( j p e g ) 压缩 压缩后数 面阵相机1 据存储 面阵相机l 路面信息 ( j p e g ) r 。，。1 ；。i ，。， 压缩 线阵相机 图2 1 系统主要功能图 如系统主要功能图2 1 所示，在本系统中，采用了4 个j v c 面阵c c d 相机对道路 景观信息采集，主要用于道路两旁和沿道路方向的景观图像信息的采集。面阵相机数据 为( p a l 制式) 视频流，为了保证视频播放时的流畅性与连贯性，必须保证每个通道每 秒至少采集2 5 帧图像( 图像大小为7 6 8 * 5 7 6 * 3 b y t e ) ，即4 帧图像的采集时间为4 0 m s ， 在4 0 m s 内要完成4 幅标清图像的压缩与存储，否则会出现丢帧现象；其主要性能指标 如表2 1 所示1 9 1 。 系统采用了一路d a l s ap i r a n h a 2 线阵相机进行路面信息的采集，该线阵相机的 线速率为2 4 k h z ，其像素为4 0 9 6 1 ，为了查看路面信息，将线阵相机采集1 0 0 0 线，作 为一帧用于图像信息的压缩及传输n 0 1 。为了避免路面图像信息的丢帧，必须在4 2 m s 内 完成一帧的线阵图像的压缩；其主要性能指标如表2 2 所示。 r 长安大学硕士论文 表2 1 面阵相机应用的主要技术指标 特性参数 分辨率7 6 8 木5 7 6 1 2 4 b i t 帧间隔 4 0 m s 个数 4 数据输出格式同轴电缆 视频制式 p l a l 表2 2 线阵相机应用的主要技术指标 特性参数 分辨率4 0 9 6 x l 数据采集速率 1 6 0 m h z 线速率2 4 k h z 像元大小7 u m 个数 l 数据输出格式 c a m e r al i n k 增益士1 0 d b 相机尺寸 8 5 x 8 5 x 5 4 m m 系统中采用的存储器为希捷5 0 0 gs t 3 5 0 0 3 2 0 n s 的大容量存储器，其主要性能指标 如表2 3 所示。 表2 3 希捷存储器主要技术指标 i特性 参数 i容量 5 0 0 g 缓存 3 2 m 接口类型s a t a i l 接口速率3 0 0 m s 转速 7 2 0 0 ，m i n 9 第二章系统总体方案设计 2 2 系统总体方案对比与选择 在现阶段国内外图像处理系统中，图像信息压缩处理的实现方式可以分为两大类： 采用工业控制计算机系统为主控单元，配合p c i 接口图像采集卡完成图像采集，进而在 工控机中完成采集信息压缩及存储。计算机完成大容量的图像信息压缩处理以及后期数 据存储等全部工作，且全部计算机资源交给用户管理，利于系统的二次开发。其系统的 原理与结构如图2 2 所示【1 1 】。 眨同 ， 工业相机r 斗 眨正r 工业相机 屹囫 - - 丁业相机r - + 眨正r 工业相机 屹画 - 工业相机广_ 眨玉厂 历冒簟霍震影 辫鬻翮 图像采集卡 p c i 总线 工控机 图2 2 工控机为核心的图像压缩系统结构图 如图2 2 所示，工控机给图像采集卡发送图像采集命令，采集卡接到采集命令后， 触发采集相机进行图像采集；同时将采集得来的大量图像源信息通过p c i 接口发送给工 控机；工控机机再通过图像压缩算法对图像信息进行信息软压缩；最后将压缩后的数据 进行存储和其他处理。 这种以工控机为核心系统的优点是缩短开发时间，使得产品可以尽快进入市场。但 是这种方案存在很大的限制，其一，由于处理一路视频信号需要一个专门的图像采集卡与 一台工控机，成本很高，而且不便于系统维护和扩展；其二，系统中所有的处理行为都 由p c 机完成，则对p c 机的性能具有较高的要求；其三，系统的实时性受到计算机运 算速度的限制。 另外一种方案是基于f p g a 的结构。本结构的主要组成部分有：视频采集器( 工 业相机) ，视频解码器，图像压缩器，数据存储等其他外围电路。该结构的工作原理为： 1 0 长安大学硕士论文 通过视频解码器将视频源的图像信息转换成图像压缩器所需的数据格式，然后图像压缩 器对输入的数据进行信息压缩，最后将处理后的压缩数据进行存储。其结构如图2 3 所 不。 图2 3 基于f p g a 的图像压缩系统结构 图像压缩器模块是该系统的核心，也是该系统的难点。主要任务是将解码后占据大 量空间的图像信息进行压缩处理。在该系统中一个f p g a 芯片里可以集成多个图像压缩 器，实现多路图像压缩，降低了系统的成本；此外该图像压缩器是基于硬件实现的，压 缩系统中的，多个处理可以并发进行，提高了处理速度；再者基于f p g a 的系统由于体 积较小，更便于系统的携带、安装及扩展，更具市场竞争力。两种方案的主要技术指标 对比如表2 4 所示。 表2 4 两种方案的主要技术指标对比 、 方案 蕊入 基于p c 机图像压缩方案基于f p g a 图像压缩方案 占用p c 机资源高无 图像压缩并行性低高 图像压缩效率低 高 图像丢帧现象高低 开发周期 短 长 系统成本 高低 可扩展性 低高 市场竞争力弱强 综上所述，我们选用了第二套方案，基于f p g a 为核心的图像压缩方案进行系统的 第二章系统总体方案设计 设计。 2 3 基于f p g a 的图像压缩技术路线 图像压缩器是是本论文研究的重点，其主要功能是对采集得来的道路环境图像进行 压缩处理，以适应信息的传输与存储。图像压缩格式很多，在目前市场上比较流行的有 g i f 和j p g 格式 1 2 , 1 3 l 。 g i f ( g r a p h i c si n t e r c h a n g ef o r m a t ) 是由美国c o m p u s e r v e 开发的一种图像压缩格式。 它可以支持多达2 5 6 中颜色，具有极佳的压缩效率。g i f 采用一种改良的l z w 压缩算 法，通常称为g i f l z w 压缩算法。l z w 压缩的原理：提取原始图像数据中的不同图案， 基于这些图案创建一个编译表，然后用编译表中的图案索引来替代原始光栅数据中的相 应图案，减少原始数据大小 1 4 , 1 5 】。 j e p g ( 联合摄影专家组) 是一个国际化的致力于连续变化的静态图像的压缩标准， 包括在灰度等级和彩色方面。这个标准被设计成支持广泛的连续变化图像的应用程序。 由于每个应用程序都有不同的需求，所以j e p g 标准拥有两个基本的压缩方法。基本的 d c t 方法是指定的有损压缩，以及可预测的理论也是指定的有损压缩。本文用到的图像 压缩标准为j p e g 格式，其流程图如图2 4 所示。 图2 4j p e g 图像压缩算法流程 随着半导体技术和集成电路的飞速发展，很多f p g a 芯片上已嵌入如m i c r o b l a z e 、 p o w e r p c 等软核处理器1 1 8 l 。所以在f p g a 上完成图像压缩就有两套方案：其一，首先在 p c 机上完成图像压缩算法，然后再将算法移植到f p g a 上，通过f p g a 内部嵌入的软 核完成图像压缩；此方案在设计过程中，思路较为简单，但是压缩算法依旧是在软核处 理器中运行完成的，仍然是串行方式实现图像压缩，而且这种方案系统的实时性，可靠 性都受到了嵌在f p g a 上的处理器运算速度的限制。其二，将图像压缩算法流程中的各 个步骤运用f p g a 中的资源设计成各个硬件模块实现形式，这样应用硬件压缩的方式实 1 2 长安大学硕士论文 现并行压缩的目的，提高了系统的实时性，避免了重要数据的丢失。综上所述，本文使 用第二种方案实现图像的压缩。 2 4 系统设备及硬件选型 f p g a 可编程逻辑器件 f p g a 是本系统中最重要最核心的的部件。它完成系统中图像采集控制，图像压缩 的所有算法。由于压缩算法比较复杂，所消耗的资源也比较多，所以所选的f p g a 器件 应该具备如下条件： 1 高速的处理能力； 2 具有强大的d s p 处理功能； 3 具有并行处理能力。 为了满足上述要求，本设计选用x i l i n x 公司提供的面向高端应用的v i r t e x 系列的 f p g a ，其中v i r t e x 2p r ox c 2 v p 3 0 其核电压为1 5 v ，工作时间可以高达4 2 0 m h z ，具有 高速的处理能力；内嵌了多个1 8 1 8 硬核乘法器，提高了d s p 处理能力，同时还具有 了完全的系统时钟管理模块功能，多达1 2 个d c m 模块，具有了较强的并行处理能力， 满足了本系统的设计需求【1 9 1 。 视频解码器 f p g a 要对图像信息进行处理，首先必须通过视频解码器，将模拟的视频信号转化 成符合i t u rb t 6 5 6 标准的数字信号。本系统采用t i 公司的超低功耗t v p 5 1 5 0 a m 芯 片对视频信号进行a d 转换。 t v p 5 1 5 0 a m 是超低功耗、支持n t s c p a l s e c a m 等格式的高性能视频解码器， 在正常工作时，它的功耗仅11 5m w ，并且具有超小封装( 3 2 脚的t q f p ) ，因此非常适 用于便携、批量大、高质量和高性能的视频产品。它可以接收2 路复合视频信号( c v b s ) 或1 路s - v i d e o 信号【2 0 1 。 1 3 第三章f p g a 原理及系统外围电路设计与实现 第三章f p g a 原理及系统外围电路设计与实现 3 1f p g a 工作原理与简介 3 1 1f p g a 工作原理 f p g a 是在p a l 、g a l 、e p l d 、c p l d 等可编程器件的基础上进一步发展的产。它 是作为a s i c 领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了 原有可编程器件门电路数目有限的缺点。 由于f p g a 需要被反复烧写，它实现组合逻辑的基本结构不可能像a s i c 那样通过 固定的与非门来完成，而只能采用一种易于反复配置的结构，查找表可以很好地满足这 一要求。目前，主流f p g a 都采用了基于s r a m 工艺的查找表结构，也有一些军品与 宇航级f p g a 采用f l a s h 或熔丝与反熔丝工艺的查找表结构。可通过烧写文件改变查找 表内容的方法来实现对f p g a 的重复使用【2 1 1 。 根据数字电路的基本知识可以知道，对于一个n 输入的逻辑运算，不管是与或非运 算还是异或运算，最多只有2 n 种结果。所以事先将相应的结果存放于一个存储单元中， 就实现了电路的逻辑运算功能。f p g a 的原理也就是如此，它通过烧写文件去配置查找 表的内容，从而相同的电路情况下实现不同的逻辑功能。 查找表( l o o k u p t a b l e ) 简称叫t ，l u t 本质上就是一个r a m 。目前，f p g a 中 多使用4 输入的l u t ，所以每一个l u t 可以看做一个有4 位地址线的1 6 1 的r a m 。 当用户通过原理图或h d l 语言描述了一个逻辑电路后，f p g a 开发软件会自动计算逻 辑电路的所有结果，并把结果事先写入r a m 。这样，每输入一个信号进行逻辑运算， 就等于输入一个地址进行查表，找到地址对应的内容后输出即可f 2 0 1 。 下面给出一个4 输入与门电路的例子来说明l u t 实现逻辑功能的原理。使用l u t 实现4 输入与门电路的真值表如3 1 所示。 从表3 1 中可以看到，l u t 具有和逻辑电路相同的功能。实际上，l u t 具有更快的 执行速度和更大规模。 由基于l u t 的f p g a 具有很高的集成度，其器件密度从数万门到数千万门不等，可 以完成极其复杂的时序逻辑电路与组合逻辑电路，所以它适用于高速，高密度的高端数 字逻辑电路设计领域【2 2 1 。 1 4 长安大学硕士论文 表3 1l u l 实现4 输入与门电路的真值 实际逻辑电路l u t 的实现方式 d ，c ，b ，a逻辑输出r a m 地址r a m 中存的内容 0 0 0 0o 0 0 0 00 0 0 0 lo o o o lo 1 1 1 1 ll l l ll 3 1 2v i r t e x i ip r ox c 2 v p 3 0f p g a 芯片结构 v i r t e x i ip r ox c 2 v p 3 0f p g a 芯片主要由以下几个部分组成：可编程输入输出单 元、数字时钟管理模块、可配置逻辑块、嵌入式r a m 、丰富的布线资源、内嵌的底层 功能单元和内嵌专用硬件模块【1 9 】。 1 可编程输入输出单元( i o b ) 可编程输入输出单元简称i o 单元，是芯片与外界电路的接口部分，用于完成不同 电气特性下对输入输出信号的驱动与匹配要求。f p g a 内的i o 按组分类，每组都能独 立地支持不同的i o 标准。通过软件的灵活配置，可适配不同的电气标准与i o 物理特 性，可以调整驱动电流的大小，可以改变上、下拉电阻。目前，i o 频率越来越高，一 些高端的f p g a 通过d d r 寄存器技术可以支持高达2 g b s d 的数据速率。 外部输入信号可以通过i o b 模块的存储单元输入到f p g a 的内部，也可以直接输入 到f p g a 的内部，当外部输入信号经过i o b 模块的存储单元输入f p g a 内部时，其保 持时间( h o l dt i m e ) 的要求可以降低，通常默认为0 。 为了便于管理和适应多种电气标准，f p g a 的i o b 被划分为若干组( b a n k ) ，每个b a n k 的接口标准由其接口电压v c c o 决定，一个b a n k 只能有一种v e t o ，但不同的b a n k 的 v c c o 可以不同。只有相同电气标准的端口才能连接在一起，v e t o 相同是接口标准的基 本条件。 2 数字时钟管理模块( d c m ) 所选的f p g a 芯片提供了多大1 2 个的数字时钟管理模块，用于完成分频，倍频，降 低抖动。 3 可配置逻辑块( c l b ) c l b 是f p g a 内的基本逻辑单元。c l b 的实际数量和特性会依器件的不同而不同， 1 5 第三章f p g a 原理及系统外围电路设计与实现 但是每个c l b 都包含一个可配置开关矩阵，此矩阵由4 或6 个输入、一些多路复用器 和触发器组成。开关矩阵是高度灵活的，可以对其进行配置，以便处理组合逻辑、移位 寄存器或r a m 。c l b 由多个s l i c e 和附加逻辑构成，如图3 1 所示。每个c l b 模块不 仅可以用于实现组合逻辑、时序逻辑，还可以配置分布式r a m 和分布式r o m 。 图3 1c l b 结构示意图 s l i c e 是x i l i n x 公司定义的基本逻辑单位，一个s l i c e 由两个4 6 输入的查找表函数、 进位逻辑、算术逻辑、存储逻辑和函数复用器组成。其中算术逻辑包含一个专用与门和 一个异或门，专用与门用于提高乘法器的效率，一个异或门可以使一个s l i c e 实现2 b i t 全加操作；进位逻辑由函数复用器和专用进位信号组成，用于实现快速的算术加减法操 作；函数发生器用于实现分布式r a m 、u j t 或移位寄存器；进位逻辑包括两条快速进 位链，用于提高c l b 模块的处理速度。 4 嵌入式块r a m ( b r a m ) 块r a m 可以配置为单口r a m 、双口r a m 、内容地址寄存器( c a m ) 以及f i f o 等常用的存储器结构。其中c a m 在路由的地址交换器中有广泛的应用。除了块r a m ， 还可以将f p g a 中的l u t 灵活的配置成r a m 、r o m 和f i f o 等结构。块r a m 的数量 也是芯片选型的一个重要因素。 1 6 长安人学硕士论文 单片块r a m 容量为1 8 k b i t ，即位宽为1 8 b i t ，深度为1 0 2 4 。可以根据需要改变其位 宽和深度，但是要满足两个原则：首先修改后容量不得大于1 8 k b i t ，其次位宽最大不能 超过3 6 b i t 。当然，可以将多片块r a m 级联起来，此时只受限于块r a m 数量，不受上 面两条限制。 5 丰富的布线资源 布线资源分4 类： 1 全局布线资源，用于芯片内部全局时钟和全局复位置位的布线。 2 长线资源，用以完成芯片b a n k 间的高速信号和第二全局时钟信号的布线。 3 短线资源，用于完成基本逻辑单元之间的逻辑互连和布线。 4 分布式布线资源，用于专有时钟，复位等控制信号线。 设计者不需要直接选择布线资源，布局布线器可自动连通各个模块单元。 6 内嵌底层功能单元 内嵌功能模块主要指d l l ( d e l a yl o c k e dl o o p ，延迟锁定环) 、p l l ( p h a s el o c k e d l o o p ，锁相环) 、d s p 和c p u 等软处理核即内嵌处理器( e m b e d d e dp r o c e s s o r ) 。由于集 成了丰富的内嵌功能单元，从而使得f p g a 成为系统级的设计工具，具备了软、硬件联 合设计的能力，逐步向s o c 平台过度。 d l l 和p l l 具有类似的功能，可以完成时钟高精度、低抖动的倍频和分频，以及占 空比调整和移相等功能。 7 内嵌专用硬核 内嵌专用硬核是相对底层嵌入的软核而言的，指f