（控制理论与控制工程专业论文）基于FPGA技术的水下视频压缩编码器的研制.pdf

基于f p g a 技术的水下视频压缩编码器研制 摘要 近年来，海洋资源的开发和国防建设技术内涵的延伸和功能的扩展给水下探 测和信息处理带来了新的应用和发展空间，视频探测作为一种重要的水下目标探 测识别的手段受到了广泛的重视，自主水下航行器( a 【) 和水声通信技术的飞速 发展进一步推动了人们对水下视频图像领域的研究。在视频探测系统中，如何将 视频探测数据有效存储，或经由水声信道或无线电信道实时、有效地传输到图像 处理系统是其中的基础和关键技术之一。 由于水声信道带宽严重受限特性及a u v 图像数据存储空间有限等影响，使 得视频图像压缩编码成为水下目标视觉识别应用的关键技术。小波变换具有较好 的时频局部化性能和与人眼视觉特性相符合的多分辨率分析能力，因而被广泛应 用于图像压缩中。而提升小波变换由于不依赖于傅立叶变换，在空间域就能完成 小波变换，具有更适合硬件实现的特点。 本文根据水下目标视觉探测识别应用的需要，详细比较和论证了水下视频压 缩编码器设计和实现方案，并最终确定了采用基于f p g a 的d s p 开发平台，利 用s o p c 技术进行软硬件协同设计，以满足数据处理高速、灵活性和通用性的目 标。论文首先分析了水下视频图像的特点和水声信道传输的特性，视频图像的采 集，介绍了小波变换的基本理论及压缩算法的选取，然后针对选取的小波算法进 行压缩系统的搭建。 论文的第一个重要研究内容是如何利用f p g a 进行视频数据流的实时采集 和存储，包括视频图像捕捉、解码、d m a 控制器的设计以及软件程序设计等。 论文的第二个重要研究内容是基于提升小波变换的视频压缩算法的f p g a 实现，运用a j t c r a 的d s pb u i l d e r 开发工具进行设计，包括色度空间转变，提升 小波变换，码书生成等模块口核设计及软件编写等。 最后，根据本系统实际研究开发结果，总结分析了系统的特点，并对下一步 设计工作进行了展望。 关键词：水下视频压缩；s o p c ；d s pb ui id e r ；提升小波变换； d e sig no fu n d e r w a t e rvid e od a t ac o m p r e s sio ns y s t e m b a s e do nf p g a a b s t r a c t i nr e c e n ty e a r s ，t h e e x t e n d i n gc o n n o t a t i o na n dt h ee x p a n d i n gf u n c t i o no ft h e o c e a ne x p l o i t a t i o na n dn a t i o n a ld e f e n c et e c h n o l o g yh a v ec r e a t e dan e w s p a c eo f a p p l i c a t i o n a n d d e v e l o p m e n t f o rt h eu n d e r w a t e rd e t e c t i o na n ds i g n a l p r o c e s s i n g v i s u a ld e t e c t i o nt e c h n o l o g ya sa ne f f e c t i v e l ys u p p o r t i n go fu n d e r w a t e r n o n - a c o u s t i cd e t e c t i o nw a sr e c i v e db r o a da t t e n t i o n t h ea d v a n c e si na u t o n o m o u s u n d e r w a t e rv e h i c l e ( a u v ) a n du n d e r w a t e rc o m m u n i c a t i o nt e c h n o l o g yh a v ep r o m o t e d as u r g eo fr e s e a r c hi nt h ef i e l do fu n d e r w a t e rv i d e o e f f e c t i v ed a t as t o r a g ea n dd a t at r a n s m i s s i o ni na c o u s t i co rr a d i oc h a n n e lw e r et h e b a s i so fv i s u a ld e t e c t i o n d u et ot h el i m i t e db a n d w i d t ho fa c o u s t i cc h a n n e la n d s t o r a g es p a c ef o rv i d e od a t a ，u n d e r w a t e rv i d e oc o m p r e s s i o nt e c h n o l o g yb e c a m et h e k e y t ou n d e r w a t e rv i s u a ld e t e c t i o n b e c a u s eo ft h eb e t t e rt i m e f r e q u e n c yl o c a l i z a t i o n a n dm u l t i r e s o l u t i o n a n a l y s i s ， w a v e l e tt r a n s f o r mw a s w i d e l y u s e di n i m a g e c o m p r e s s i o n b e c a m el i f t i n gw a v e l e tt r a n s f o r m a t i o nd o e sn o tr e l yo nt h ef o u r i e r t r a n s f o r m a t i o n ，i tc a nc o m p l e t et h ew a v e l e tt r a n s f o r m a t i o ni nt h es p a c er e g i o n ，a n di s m o r es u i t a b l ef o rt h ec h a r a c t e r i s t i co fh a r d w a r ea c h i e v e m e n t w i t ht h en e e do fu n d e r w a t e rv i s u a ld e t e c t i o n ，t h i sd i s s e r t a t i o nc o m p a r e sa n d d e m o n s t r a t e si nd e t a i lt h ed e s i g na n da c h i e v e m e n ts c h e m eo ft h eu n d e r w a t e rv i d e o c o m p r e s s i o ne n c o d e ri nt h i sp a p e r , f i n a l l y , f p g ac h i pi sc h o s e na st h eh a r d w a r e d e v e l o p i n gp l a t f o r mf o rt h ep r o j e c t ，a n ds o p ct e c h n o l o g yi su s e dt oc o n d u c t c o o p e r a t i v ed e s i g n i n go fs o f t w a r ea n dh a r d w a r e ，s oa st om e e tt h ed e m a n do fh i g h s p e e dp r o c e s s i n ga n df l e x i b i l i t y , a n dm e e tt h eg e n e r a la v a i l a b i l i t y t h ep a p e rf i r s t a n a l y s e st h ec h a r a c t e r i s t i co fu n d e r w a t e rv i d e oi m a g e ，a n dt h es p e c i f i cp r o p e r t yo ft h e a c o u s t i cc h a n n e lt r a n s m i s s i o n ，t h ec o l l e c t i o no fv i d e oi m a g e ，i n t r o d u c e sb a s i ct h e o r y o fw a v e l e tt r a n s f o r m a t i o n ，a n dt h es e l e c t i o no fc o m p r e s s i o na l g o r i t h ma tf i r s t ，t h e n b u i l d st h es y s t e mo fc o m p r e s s i o n a g a i n s tm i n o rw a v e l e t - a l g o r i t h m 1 h ep a p e r sf i r s ti m p o r t a n tr e s e a r c hc o n t e n ti sh o wt oc a p t u r ea n ds t o r et h ev i d e o d a t as t r e a mr e a lt i m eb yf p g a i n c l u d i n g ：t h ev i d e os i g n a lc o l l e c t i o n ，s t o r a g e ，d m a c o n t r o l l e rd e s i g na n ds o f t w a r ep r o g r a m m i n g t h ep a p e r ss e c o n di m p o r t a n tr e s e a r c hc o n t e n ti st h er e l i z i n go fl i f t i n gw a v e l e t c o d i n gb yf p g a , d e s i g nw i t ha l t e r ad s pb u i l d e r i n c l u d i n g ：t h ei pc o r ed e s i g no f c o l o rs p a c et r a n s f o r m a t i o n ，l i f t i n gw a v e l e tc o d i n g ，c o d e b o o kg e n e r a t i o na n ds o f t w a r e p r o g r a m m i n g f i n a l l y , c h a r a c t e r i s t i c so ft h i ss y s t e ma r es u m m a r i z e db a s e do nt h ea c t u a lr e s u l t o ft h er e s e a r c ha n dd e v e l o p m e n to ft h i ss y s t e m ，a n dt h ef u t u r ed e s i g n i n gw o r ki sa l s o p r o s p e c t e d k e y w o r d s ：u n d e r w a c e rv i d e oc o m p r e s s i o n ；s o p c ；d s pb u ii d e r ；li f t i n g w a v e i e tc o d i n g ： 2 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 ( 洼；麴逡壹墓丝置墓缱型岂明趁：奎拦亘窒或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：哥清 签字日期：爿墩阵手月如日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：于乡寿 导师签字： 卫盘l 氢 签字日期：对年4 月如日 签字日期：留年乒月如日 基于f p g a 技术的水下视频压缩编码器的研制 1 引言1 1 2 1 世纪是海洋的世纪，海洋是人类生存和发展的重要领域，海洋中有丰富 的生物、矿物、化学资源有待开采。海洋不仅为人类提供丰富的物质资源，而且 在现代战争中具有重要的战略地位。因此开展水下目标识别的研究，在国民经济 和军事上都具有重要的价值和意义。 长期以来，水下目标探测识别主要以声呐探测为主，并取得了较大的进步， 但随着减声降噪技术的发展，声呐探测遇到许多新的挑战。海洋环境是极其复杂 的，其背景噪声很大，这样使得声呐探测的灵敏度受到了较大的限制，因此非声 探测技术将在水下目标探测方面发挥重要作用。非声探测主要是利用水下目标的 光、磁、电、温度等特性进行探测和识别，其中水下视频图像信号能直接、快速 的反映水下变化，直观的显示了水下目标的情况和特点，给科学研究带来极大的 方便，是目前重点研究的领域之一。 作为水下探测设备主要搭载平台，自主水下航行器( a i m ，被广泛的应用于 军事和民用领域。例如，在民用领域，可以用于铺设管道、海底勘测、海洋数据 收集、水下设备维护和维修；在军事领域可以用于侦察、布雷、探测扫雷、援潜 救生等。 传统通信主要通过光纤将获得的图像传送回母船，但是光纤的长度极大的限 制了的探测范围。卫星通信具有频带范围宽、传输速率快、信道容量大等优点， 因而可以实现图像和多媒体等直观性比较强的通信业务。但是由于在卫星通信 时，需要浮出水面，影响了其连续工作能力和战时水下探测的隐蔽性。由于声波 在水下良好的传播特性，使得图像数据以无线的方式传到母船成为可能，已经成 为广大科学家研究的重点。 水声信道是一个传输特性十分复杂的频率选择性衰落信道。研究表明，进行 水下数据传输时，水下传感器与母船的通讯有效带宽被限制在1 0 k h z 量级上。 对于一幅的2 5 6 * 2 5 6 的8 位灰度图像进行传输时，数据大小为 2 5 6 木2 5 6 木8 = 5 2 4 2 8 8 b i t ，假设水声信道的传输数据率为3 0 k b p s ，如果不经过压缩 直接通过水声信道传输，需要1 7 5 秒，根本无法保证视频信号的实时传输。另 外由于搭载设备空间有限，使得视频图像存储数据也有限，因此必须对水下图像 进行有效压缩。 视频图像可以看作是由一系列静止图像组成的，它除了具有空间冗余，还具 有较强的时间冗余，因此对视频压缩倍数要远远高于静止图像的压缩倍数。例如， 利用水声信道实时传输单色电视图像，图像压缩比必须达到1 2 5 0 ：1 以上，而前 面提高的静止图像只需要1 7 5 倍的压缩。由于视频通信所需要的带宽远远超过 基于f p g a 技术的水下视频压缩编码器的研制 水声无线信道的带宽，因此借助于视频图像对水下目标进行探测识别，除了需要 高速的图像信号处理系统，在经水声信道传输前还需要对图像进行有效压缩。水 下视频压缩与普通视频压缩有相似之处，都是去除视频图像空间、时间等冗余信 息，但是由于水声信道带宽的受限特性和水下图像低对比度以及细节模糊等特 点，使得水下视频图像压缩与因特网、光纤、空气中无线传输中的视频压缩有着 很大不同。 下面将首先介绍目前视频图像压缩编码发展现状，然后结合水声信道特性和 水下图像特点对目前水下视频图像压缩编码发展现状进行介绍。 1 1 水下视频压缩系统的研究现状 由于在水下图像信号高速处理中的作用，水下视频图像压缩的研究受到人们 极大的关注。但作为一种新兴的研究领域，其研究成果目前还较少，目前商品化 的水声m o d e m 可提供的数据传输速率一般为几k b s ，利用有限带宽的水声信道 实时传输视频图像的关键技术为：一是高效的视频图像压缩技术，二是高效的水 声m o d e m 研制乜1 。本研究主要是针对水下视频图像和水声信道的特点，选择高效 的视频图像压缩技术，研制水下视频图像压缩编码器。 目前大多数的水下图像传输试验系统还是采用传送静态图像的方式，即每一 帧图像采用独立压缩编码的方式，没有考虑帧间存在的时间冗余。为了达到可接 受的视频质量，一般要求最低帧速为1 0 帧秒。 目前国内嘲以及日本嘲、葡萄牙1 等早期研制的水下图像压缩传输系统， 采用的都是静态图像的压缩方法，一般采用j p e g 压缩方式，需要的支持的信道 传输速率在1 6 k b p s - - 3 0 k b p s 范围之内，因为没有考虑帧间的时间冗余，所以压 缩比不高，一帧图像一般需要几秒的时间来完成传输。 国外近些年来在水下视频图像压缩编码的研究现状： 文献订3 中，科研人员设计了一个用在a u v 上，利用水声信道进行水下图像 传输的系统。该水声传输系统能够在1 6 0 0 米远的距离上，实现水下静止图像的 传输。系统传输速率可以达到1 6 k b p s ，实现了每秒钟1 帧的速率传输1 6 0 1 2 0 象素的彩色静止图像。 日本国际电信电话公司在其研制的水下航行器a e l 0 0 0 基础上开发了一套水 声图像传输系统嘲，该系统基于j p e g 图像压缩标准对采集的水下图像进行压缩 编码，采用q p s k 调制方式，可以实现1 6 k b p s 传输速率，最大通信距离是1 2 0 0 米。利用该系统在水下进行实验时，a u v 成功的将加1 0 0 米深处的海底图像传 送回水面母船。在此基础上，科研人员开始研制新一代的图像传输系统，系统传 输速率己经达到3 2k b p s 。 2 基于f p g a 技术的水下视频压缩编码器的研制 1 9 9 4 年，h o a gd e 和i n g l ev k 在研究水下静止图像的压缩编码时指出，由 于海洋环境中恶劣的照明条件，水下图像通常都具有低对比度和低细节的特征， 使得水下图像有别于一般图像，水下图像压缩编码算法应该充分利用图像的这种 特征来提高压缩比。在实验中，他们首次将小波变换应用于水下图像处理，并与 j p e g 算法进行比较母1 。经过实验研究表明，小波变换技术适用于水下图像低比 特率条件下的压缩编码，而j p e g 算法在水下图像压缩中的效果不好。1 9 9 5 年， h o a gd e 和i n g l ev i c 又将小波变换技术应用于水下视频图像的压缩编码们，用 小波变换代替m p e g 算法中的离散余弦变换进行实验，证明了小波变换在水下 视频低码率压缩方面有较好的应用前景。 1 9 9 6 年，e a s t w o o dr l 和f r e i t a gl e 等人为了有效利用带宽受限的水声信 道，对水下激光图像、摄像机采集图像和声纳图像压缩编码算法进行了研究【1 1 】。 采用j p e g 标准算法和基于小波变换的算法进行实验对比，结果表明在高压缩率 下基于小波变换的e p i c 编码压缩算法能够较好的重构水下图像，图像质量好于 j p e g 算法。 文献【1 2 1 中，h o a gd e 等人针对水声信道带宽受限特性和水下图像特点，对 水下视频图像压缩编码进行了实验。他们采用基于小波变换的e c v q 编码算法， 该算法将小波变换、矢量量化和运动估计补偿等技术相结合，根据统计模型得到 量化码书。水下图像压缩编码实验结果显示：在极低码率传输条件下采用e c v q 算法时，图像解码后具有较好的主观质量。 目前视频压缩模块体系结构的硬件实现方式包括标准单元a s i c 、a s s p ，以 及数字信号处理( d s p ) 和f p g a ( h e l dp r o g r a m r a a b l eg a t ea r r a y ) 等可编程解决方 案。 从以上国内外的研究现状可以看出：在水下视频压缩传输方面，国内与国外 还存在较大差距。此外，国外在这方面的研究还远没有达到非常实用和完善的程 度，目前仅可以实时传送1 3 标准电视分辨率的黑自视频图像，还未见进行水下 彩色视频图像压缩编码硬件系统的研究，更未出现成熟的专利技术。 1 2 课题来源 本课题来源于“十一五 国家高技术研究发展计划( 8 6 3 计划) 海洋技术领 域的“深海探测与作业技术主题下的子课题水下机器人视频图像高压缩比编 码关键技术研究。 1 3 水下图象特点及水声信道传输特性 无论是研制无脐带电缆限制的r o v s ( r e m o t e l yo p e r a t e dv e h i c l e s ) ，还是 3 基于f p g a 技术的水下视频压缩编码器的研制 研制完全自治的a u v s ( 自治水下机器人) ，都必须克服利用水声信道实时传送水 下视频图像的障碍。 水声通信是利用声波作为信息载体在海水中传播实现的，而海水信道是一个 非常复杂的传播信道。时变多径效应、随机起伏、可用带宽有限等不利因素对水 声通信影响非常严重，使得水声通信呈现载波频率低、传输速度慢的特点。 声波在水中传播时能量的衰减与声吸收、散射、反射以及信号的频率等因素 有关，特别是在远距离传输和高频应用中，能量损失特别严重，导致水声通信系 统的可用带宽严重受限。研究表明n 射，在近距离通信系统中可以达到1 0 0 k h z 的 带宽范围；对于中距离通信系统，信道带宽在1 0 k h z 的量级上；而对于远距离 通信系统，信道带宽在几k h z 之内。a u v 与母船进行数据通信属于中距离通信， 其有效带宽被限制在1 0 k h z 量级上，假若对2 5 6 * 2 5 6 的8 位灰度图像进行传输 时，不经过压缩直接传输需要几十秒的时间，如果视频图像通过水声信道传输则 需要的时间更多。这将会严重影响视频图像信号的有效处理，因此在传输之前必 须对视频图像进行低比特率压缩。 水下图像具有较低对比度和细节模糊的特点，在利用视频图像对水下目标进 行探测识别时，判断目标的主要依据是水下物体的整体特征。与一般视频图像压 缩要求不同，由于对于水下目标细节信息要求不高，另外考虑到水声信道带宽受 限这特性，因此要求在保证目标整体特征的情况下对水下视频图像进行高比特 率的压缩，以便于水声信道传输。 1 4 本文的主要研究内容 本文在满足数据传输速率为1 6 k b p s 的要求，即每秒可传输图像1 0 1 5 帧的 技术要求下，首先搭建视频图像采集系统，进行视频图像的实时采集，然后根据 水下视频图像的特点，在保证重建质量的前提下，选择有利于硬件实现的视频压 缩算法，在搭建的视频采集平台上，实时实现水下视频图像的高压缩比编码。设 置每帧图像分辨率为：1 7 6 x1 4 4 个像素。 ( 1 ) 按照课题提出的实时性要求，依据水下环境的特点，对视频数据处理方案 进行论证，采用s o p c 技术，选择基于f p g a 的d s p 设计方案，并完成系统硬件电 路的搭建。 ( 2 ) 在基于f p g a 的设计中对系统软硬件进行合理划分，并进行模块化处理， 设计视频图像采集系统，使视频数据流能够在软硬件的协同处理下取得良好的实 时效果。 ( 3 ) 根据水下视频成像过程中，光照条件非恒定以及图像对比度低等特点，在 保证图像重建质量的前提下，对比选择具有高压缩比率的水下彩色视频图像压缩 4 基于f p g a 技术的水下视频压缩编码器的研制 编码，运用面向d s p 开发的系统级工具d s pb u i l d e r ，在m a t l a b 和q u a r t u si i 环 境下完成水下视频压缩编码器p 核设计、仿真和实验，完成其外围硬件接口模 块体系结构方案设计和搭建，并实现外围接口标准化，以达到利用有限带宽的水 声信道，向水面工作站实时传输水下视频图像的目标。 1 5 本课题研究的重要意义及系统主要功能 1 5 1 本课题的重要意义 该研究的成功将去掉目前r o v s 对脐带电缆的依赖，提高r o v s 的机动性和适 应性；对于自主作业的a u v s ( 自治水下机器人) ，可以把现场采集的视频信息经 由水声信道顺利传输到表面工作站，以供人工跟踪与监视机器人的运动和作业， 为人工实时观察、探测海底场景以及对机器人进行导航和在线任务规划等服务。 本研究课题是水下机器人的重要关键技术之一，具有重要研究价值和广阔应用前 景。 1 5 2水下视频压缩编码器的主要功能 本课题就是以水下机器人为应用背景，根据水下视频成像过程中，光照条件 非恒定以及图像对比度低等特点，在保证图像重建质量的前提下，研究具有高压 缩比率的水下灰度、彩色视频图像压缩编码的硬件实现，达到利用有限带宽的水 声信道，实时采集水下视频图像，并向水面工作站实时地传输水下视频图像的目 标。 ( 1 ) 视频图像采集 设计了一种使用f p g a 芯片对视频解码芯片进行控制的视频图像采集系统。 该系统在f p g a 芯片内部构造1 2 c 接口控制视频解码芯片a d v 7 1 8 1 b 进行模拟视频 信号的数字化，并在f p g a 芯片内部构造i p 核进行视频图像采集控制和存储操作， 从而实现了视频图像的实时采集和数据存储。 ( 2 ) 视频压缩 视频压缩部分采用在a l t e r a 的可编程器件f p g a 上进行d s p 设计的方案。选 用高性能的小波算法进行视频压缩编码。在视频编码器内，d s p 和f p g a 就能够 进行流水操作，有效提高编码器性能。此外，为了便于压缩算法的硬件实现，小 波变换采用小波提升算法，其复杂度只有传统卷积小波变换的一半左右，且实时 性好，运算简单，有利于硬件实现。 ( 3 ) 视频监控 在水下视频压缩编码器的前期设计中，为方便实验，在前述视频采集系统平 5 基于f p g a 技术的水下视频压缩编码器的研制 台上，运用一种基于聚类的动态背景建模与运动目标分割的方法实现运动目标分 析，可实现复杂场景下动态背景的自动建模、更新和运动目标自动提取，达到实 时监控的目的。 6 基于f p g a 技术的水下视频压缩编码器的研制 2 系统总体方案设计 2 1 数字信号处理技术实现的几种方案 为了满足数字信号处理( d s p ) 技术领域中的各种需求以及顺应d s p 市场 的发展，d s p 应用系统的实现方式和目标器件的品种类型、结构特点乃至开发 技术本身都经历着不断的改善和变革。 d s p 作为数字信号算法的实现方案有多种，对于不同的应用领域、适用范 围和指标要求，可以选用不同的解决方案和d s p 系统的实现器件。目前，为 了完成d s p 的开发与应用，可选的目标器件有如下4 类n 铂： d s pp r o c e s s o rd s p 处理器： a s i c s ( a p p l i c a t i o n - s p c c i f i ci n t e g r a t e dc i r c u i t s ) 专用集成电路； a s s p s ( a p p l i c a t i o n s p e c i f i cs t a n d a r dp r o u c t s ) 专用标准电路模块； f p g a 。 d s pp r o c e s s o r 主要是指目前最常用的基于c p u 架构的器件，通过软件指 令的方式完成d s p 算法。早期的d s p 处理器( 如大多数d s p 实验室中采用的 t m s 3 2 0 v c 5 4 0 2 ) t n , 有一个乘法器，而现在的处理器( 如c 6 0 0 0 系列) 中，有 的已达8 个乘法器，工作性能有了很大的提高。 p r o c e s s o r 在硬件结构上的不断改进，并没有摆脱传统c p u 的工作模式。 因而，尽管拥有多个硬件乘加器，使用了环形叠代的方法进行乘法操作，且许 多d s p 处理器还拥有使用多乘法器的并行指令，用于加速算术运算，然而由 于其顺序的工作方式、较低的数据处理速率，以及缺乏实时工作的性能，使其 至今仍只适合于低端的数字信号处理。 传统的d s p 开发者通常都选用d s p 处理器来构成d s p 应用系统。d s p 处 理器的优势主要是具有很好的通用性和灵活性，有适用于各种d s p 算法实现 的通用硬件结构。除了选用的是d s p 处理器以及应用程序加载工作方式外， 与普通单片机应用系统十分相似，只要将调试好的机器码放在程序r o m 中， 就能使系统正常工作。因此通过这种硬件结构，能对实现各种数据处理的程序 进行有效的执行。由此可知，这种灵活性几乎是没有限制的，因为，只要能用 对应指令程序表达出d s p 算法，其硬件结构都能接受并执行。 然而，各种算法可实现的灵活性与各种技术指标的可实现性，以及硬件结 构的可变性完全是两回事。 a s s p 和a s i c 是专门针对完成某种d s p 算法的集成电路器件，因此在性能 指标、工作速度、可靠性和应用成本上优于d s p 处理器。如卷积相关器 i m s a l 0 0 、f f t 处理器a 4 1 1 0 2 、复乘加器组p d s p l 6 1 1 6 、求模相角器 7 基于f p g a 技术的水下视频压缩编码器的研制 p d s p l 6 3 3 0 、变频信号解调器h s p 5 0 2 1 4 等等。其优秀的工作性能主要源于特 定的算法全部由a s s p 和a s i c 中的硬件电路完成。a s s p 是半定制集成电路， 在许多d s p 算法的实现方面( 如f i r ，i i r 滤波器) 都优于d s p 处理器，但在功 能重构，以及应用性修正方面缺乏灵活性；a s i c 虽然有一定的可定制性，但开 发周期长，而且有一个最小定制量，因此应用风险和开发成本过高，正在逐渐 失去其实用性。 现代大容量f p g a 以其相关的开发技术在可重配置的d s p 应用领域，以及 d s p 数据大吞吐量和数据的纯硬件处理方面，有独特的优势。f p g a 面对传统的 d s p 处理器诸多难以克服的技术瓶颈，已有了突破性的应用。在各种d s p 应用 场合，f p g a 具有全硬件的用户可定制性以及重配置性，即。可根据需要随时通过 改变f p g a 中构成d s p 系统的硬件结构来改变系统的功能、技术指标、通信方 式、硬件加密算法、编解码方式等等。 这种结构变化可以由d s p 开发者在开发时完成，也能在d s p 系统投入使用中 随时“在系统 更改，这就是所谓的可重配置特性。所以，基于f p g a 实现的d s p 系统，具有完全的硬件结构可定制性，包括总线结构的可定制性，存储器的可定 制性，硬件加速器模块的结构与数量的可定制性，以及大量的m a c ( 乘加器) 模块 的可选性，系统设计中的硬件结构可变性称为可定制性，即c u s t o m i z e d ；系统 设计完成后，成为产品后仍能随开发者甚至用户的要求随时进行硬件结构重构 的，称为可重配置性，即( r e c o n f i g u r a b l e ) 。 相比之下，传统的数字信号处理( d s p ) 的解决方案的问题有n 射： ( 1 ) 工作速度慢，如t m s 3 2 0 c 5 4 0 2 1 0 1 6 的处理速度仅0 i g m a c s ，与其相关的 “d s p 实验开发系统上的a d 、d a 的工作速度仅有4 0 k h z ，属于语音频率范 围。对于信号的采样和输出频率范围都比较低，能完成的实验项目较少，大多数 通信领域中的实验无法完成( 如d d s 、f s k 等) 。而f p g a 系统的d s p 处理速度 可达7 0 g g t a c s ，相关的a d 、d a 的工作速度达数十至数百m h z ，可达射频范围； ( 2 ) 在数字通信领域，如软件无线电领域中将无能为力； ( 3 ) 由于系统完全基于特定的d s p 处理器，对于协议更新、通信格式改变、硬 件工作模式转换等要求，硬件系统无法进行实时或非实时的重构，而f p g a 具有 重配置功能，因而十分容易实现； ( 4 ) 尽管使用了j t a g 调试手段，但本质上仍然沿用了传统的c p u 调试方法， 对于许多不同的d s p 器件，将对应不同硬件结构、汇编语言和开发工具，因此 开发设计技术难以标准化和规范化，开发效率极低； ( 5 ) 难以纳入先进的s o c 开发技术及相关的自顶向下的系统级设计及优化； ( 6 ) 开发者只能被动地跟随和使用市场上已有的d s p 器件，无法根据既定的设 计系统的技术指标要求、结构特点、未来的硬件升级可能性、性价比估算等等必 8 基于f p g a 技术的水下视频压缩编码器的研制 要因素设计自己的d s p 硬件系统。 基于f p g a 和s o p c 技术的现代d s p 技术完全突破了传统d s p 系统和设计技 术的瓶颈，克服了传统方案的诸多劣势j 在高频高速的d s p 设计和应用领域拓 展了自己全新的空间。使用f p g a 完成d s p 功能，能在许多实用领域综合d s p 处 理器与a s i c a s s p 器件的优点，再加上f p g a 本身的诸多优势，即能有效克服传 统d s p 系统的弱点。相比传统的d s p 设计方式，基于f p g a 的d s p 设计具有如下优 势： ( 1 ) 速度优势。由f p g a 构成的d s p 电路可以同样以并行或顺序方式工作。在 并行工作方面，f p g a 与a s i c a s s p 相当，远优于d s p 处理器。对d s p 处理器需 要大量运算指令完成的工作，f p g a 只需一个时钟周期的时间就能完成。而在顺 序执行方面，f p g a 也比d s p 处理器快，因为f p g a 中可以使用各种状态机，或使 用嵌入式微处理器来完成，并且，每一顺序工作的时钟周期中都能同时并行完成 许多执行，而d s p 处理器却不能。 ( 2 ) 灵活性。f p g a 的灵活性远胜于a s i c a s s p ，也胜于d s p 处理器。与通用 d s p 解决方案相比，f p g a 器件在不牺牲灵活性的条件下，提供了更高的性能。 利用硬件描述语言可实现并行和串行f i r 滤波器、f f t 浮点运算、f f t 定点运算 世 写宁o ( 3 ) 可重构。a s i c 在一些特殊功能的表现上相当好，而且相当省电。然而， a s i c 不能重新组态，在产品发展的过程中，它的功能无法任意修正或改进。因 此，任何的线路改版都需要重新设计并且重新制造，这些步骤不仅增加开发成本， 而且造成产品快速上市的障碍。相反地，f p g a 是一种可以重复改变组态的电路， 特别适合产品发展时需要不断变更设计的应用，有效节省产品上市的时间。f p g a 的修正不需要变更硬体，仅仅需要更改软体即可。这大大节省研发的成本，而且 仅需要下载新的程序便可以达到产品上市后的升级功能。 现在f p g a 己经成为多种数字信号处理( d s p ) 应用的强有力解决方案。硬件 和软件设计者可以利用可编程逻辑开发各种d s p 应用解决方案。可编程解决方 案可以更好地适应快速变化的标准、协议和性能需求。随着新的f p g a 体系的出 现，d s pi p 核和工具数量的增加，采用可编程逻辑的d s p 应用继续增加。f p g a 相对于多个高端d s p 处理器，具有集成优势和更低的系统成本。a l t c r a 公司的可 编程方案，如高效能f p g a 器件、i p 核和嵌入处理器，己成为现代d s p 应用的 高效替代方案。 2 2 总体方案设计 水下视频压缩编码器由数据的采集、存储、压缩三部分组成。视频采集部 9 基于f p g a 技术的水下视频压缩编码器的研制 分将摄像头采集的原始视频通过a v 接口输入，主控芯片f p g a 通过工2 c 总线配 置解码芯片，由解码芯片解码视频数据送入f p g a 内部硬件逻辑进行色度空间转 换，将y c b c r 信号转换成r g b 信号。视频存储部分将采集到的视频信号以乒乓 操作存储到视频缓存，并负责压缩结果的存储。视频压缩部分采用提升小波算 法，基于f p g a 的d s p 设计方案，运用a l t e r a 公司的面向d s p 开发的系统级工 具d s pb u i i d e r 和m a t l a b 算法设计、仿真环境，完成压缩算法的实现。图2 一l 是视频压缩系统样机，由核心板和扩展板组成。 2 2 硬件平台设计方案 2 2 1设计原则 图2 - i 视频编码器样机 一、视频传输实时| 生要求 运动图象极大的数据量和水声信道传输带宽有限的特点对系统实时性提 出更高的要求，当通过c c d 摄像机捕获到视频信号后，视频信息应能够实时存 储，并在显示终端上实时重现，要求在保证图像质量的基础上能得到较高的压 1 0 基于f p g a 技术的水下视频压缩编码器的研制 缩比。因此要保证压缩编码器内部硬件软件合理划分，使其内部软件与硬件协 同流水工作，以达到视频采集的连续性和数据压缩的实时性。 二、考虑整个系统的升级能力 原则上，在实时性允许的条件下，能够用软件完成的功能，就不用硬件， 这样不仅仅节省了成本，而且也提高了系统的可靠性。在实时性能够保证的情 况下，用软件代替硬件是很合算的。使用s o p c 设计的优点在于允许设计人员 可以在多个设计中使用相同的处理器。软件的可编程性使整个系统能够灵活修 改直到产品配置完善为止。如果使用合适的存储器，如f l a s h ，则可以通过软 件下载在现场配置并升级系统。这种能力可以使设计人员不必报废整个设计就 能更好地适应不断变化的需求。在本系统中，采用了a l t e r a 公司的n io si i 处理器，在需要的情况下，仅用软件对处理器模块升级就可以达到目的，而不 用改变硬件结构。 o 2 2 2 处理器选择 在系统硬件平台方案的确定中，处理器是最重要的，它是嵌入式系统的核心 部件，同时处理器的选择往往会限制其它器件和操作系统的选择，操作系统的选 择又会限制开发工具的选择。由于嵌入式系统设计的差异性极大，因此选择是多 样化的。在选择处理器时要考虑的主要因素有： 曲处理性能：一个处理器的性能取决于多个方面的因素，如时钟频率，内 部寄存器的大小，指令是否对等处理所有的寄存器等。对于许多需用处理器的嵌 入式系统设计来说，目标不是在于挑选速度最快的处理器，而是在于选取能够完 成作业的处理器和i o 子系统。 b ) 技术指标：当前，许多嵌入式处理器都集成了外围设备的功能，减少了 芯片的数量，降低了整个系统的开发费用。开发人员首先考虑的是，系统所要求 的一些硬件能否无需过多的胶合逻辑( g lg l u el o g i c ) 就可以连接到处理器上。其 次是考虑该处理器的一些支持芯片，如d m a 控制器，内存管理器，中断控制器， 串行设备、时钟等的配套。 c ) 软件支持工具。仅有一个处理器，没有较好的软件开发工具的支持也是 不行的，因此选择合适的软件开发工具对系统的实现会起到很好的作用。 d ) 硬件部件选择的其它因素：为使产品尽快发售，以获得竞争力，应尽可 能购买比较成熟的硬件；软件对硬件的依赖性，软件是否可以在硬件没有到位的 时候并行设计或先行开发；在c p u 及架构的选择上，一个原则是：只要有可替 代的方案，尽量不要选择常用操作系统尚不支持的硬件平台。 综合以上因素，我们选择f p g a 作为水下视频压缩编码器的处理器，同时运 用面向d s p 开发的系统级工具d s pb u i l d e r 在m a t l a b 和q u a r t u s1 i 环境下完成水 基于f p g a 技术的水下视频压缩编码器的研制 下视频压缩编码器口核设计、仿真和实验，完成其外围硬件接口模块体系结构 方案设计和搭建，并实现外围接口标准化。 f p g a 即现场可编程门阵列，是8 0 年代中期出现的高密度可编程逻辑器件 ( p l d ) ，它是在p a lg a l e p l d 等可编程器件的基础上进一步发展的产物。它 是作为专用集成电路( a s i c ) 领域中的一种半定制电路而出现的，既解决了定制电 路的不足，又克服了原有可编程器件门电路数有限的缺点。具有小型化、低功耗、 多功能、数字化、标准化、系列化、集成度高、保密性好、可无限次反复编程、 并有现场模拟调试验证的优点。如a l t e r s 公司的c y c l o n ei i 、s t r a t i x 、a c e x 、a p e x 系列，x i l i n x 公司的s p a r t a n 、r t e x 系列以及l a t t i c e 公司的t s p l s i 、 i s p m a c h 4 0 0 0 v b c z 、i s p x p g a 系列等。f p g a 采用逻辑单元阵列l c a ( l o g i c c e l la r r a y ) ，其内部包括可配置逻辑模块c l b ( c o n f i