（信号与信息处理专业论文）基于h264的网络视频监控的fpga实现研究.pdf

中文摘要摘要随着科学技术的发展与公共安全保障需求的提高，视频监控系统在工业生产、日常生活、警备与军事方面的应用越来越广泛。采用基于f p g a 的s o p c 技术、h 2 6 4 压缩编码技术和网络传输控制技术实现网络视频监控系统，在稳定性、功能、成本与扩展性等方面都有着突出的优势，具有重要的学术意义与实用意义。本课题所设计的网络视频监控系统由以n i o si i 为核心的嵌入式图像服务器、相关网络设备与若干p c 机客户端组成。嵌入式图像服务器实时采集图像，采用h 2 6 4 编码算法进行压缩，并持续监听网络。p c 机客户端可通过网络对服务器进行远程访问，接收编码数据，使用h 2 6 4 解码算法重建图像并实时显示，使监控人员有效地掌握现场情况。在嵌入式图像服务器设计阶段，本文首先进行了芯片选型与开发平台选择。然后构建图像采集子系统，采用双缓存乒乓交换的方法设计图像采集用户自定义模块。接着设计双n i o si i 架构的s o p c 系统，阐述了双软核设计中定制连接、内存芯片共享、数据搬移、通信与互斥的解决方法。同时完成了网络服务器的设计，采用p c o s i i 进行多任务的管理与调度。h 2 6 4 视频压缩编解码算法设计与实现是本文的重点。文中首先分析h 2 6 4 标准，规划编解码器结构。接着设计了1 6 x 1 6 帧内预测算法，并设计宏块扫描方式，采用两次判决策略进行预测模式选择。然后设计4 x 4 子块扫描方式，编写整数变换与量化算法程序。熵编码采用e x p g o l o m b 编码与c a v l c 相结合的方案，针对除拖尾系数之外的非零系数值编码子算法，实现了一种基于表示范围判别的编码方法。最后设计了网络传输的码流组成格式，并针对编码算法设计相应解码算法。使用v c + + 完成算法验证，并进行测试，观察不同参数下压缩率与失真度的变化。算法验证完成后，本文进行了p c 机客户端设计，使其具有远程访问、h 2 6 4解码与实时显示的功能。同时将h 2 6 4 编码算法程序移植到n i o si i 中，并将嵌入式图像服务器与若干客户端接入网络进行联合调试，构建完整的网络视频监控系统。实验结果表明，本系统视频压缩率高，监控图像质量良好。充分证明了系统软硬件与图像编解码算法设计成功。本系统具有成本低、扩展性好及适用范围广等优点，发展前景十分广阔。关键词：网络视频监控，s o p c ，n i o si i ，h 2 6 4 ，熵编码英文摘要a b s t r a c tw i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g ya n dp u b l i cs e c u r i t yd e m a n d si n c r e a s e ，v i d e os u r v e i l l a n c es y s t e mi sw i d e l yu s e di ni n d u s t r i a lp r o d u c t i o n , d a i l yl i f e ，p o l i c ea n dm i l i t a r ya f f a i r s t h en e t w o r kv i d e os u r v e i l l a n c es y s t e mw h i c hu s e ss o p ct e c h n o l o g yb a s e do bf p g a ，h 2 6 4c o d i n gt e c h n o l o g ya n dn e t w o r kt r a n s m i s s i o nc o n t r o lt e c h n o l o g yi sa d v a n c e di ns t a b i l i t y , f u n c t i o n , c o s ta n de x p a n d a b i l i t y , s ot h ed e s i g no fi th a sg r e a ta c a d e m i ca n dp r a c t i c a ls i g n i f i c a n c e t h en e t w o r kv i d e os u r v e i l l a n c es y s t e md e s i g n e di nt h i st h e s i si sc o m p o s e do fe m b e d d e di m a g es e r v e rw i mn i o si is o f t - e o r e c o r r e l a t i v en e t w o r ke q u i p m e n ta n dan u m b e ro fp cc l i e n t s e m b e d d e di m a g es e l - v e rc a p t u r e sr e a l - t i m ei m a g e sa n dc o m p r e s s e st h e mw i t hh 2 6 4c o d i n ga l g o r i t h ma n dl i s t e ni nn e t w o r kc o n t i n u o u s l y p cc l i e n t sm a ya c c e s st h es e r v e rt h r o u g hn e t w o r k , a n dr e c e i v ee n c o d e dd a t a , t h e nu s eh 2 6 4d e e o d i n ga l g o r i t h mt or e c o n s t r u c ti m a g e sa n dm a k er e a l t i m ed i s p l a y s ot h es u r v e i l l a n tc a nw e l lk n o wt h es i t u a t i o n d u r i n gt h ed e s i g no fe m b e d d e di m a g es e r v e r , t h i st h e s i sf i r s t l ys e l e c t sc h i pa n dd e v e l o pk i t s e c o n d l y , t h ei m a g ec a p t u r es u b s y s t e mi sc o n s t r u c t e da n dt h ei m a g ec a p t u r ec u s t o m i z i n gm o d u l ei sd e s i g n e dw i t l ld u a lc a c h ep i n g - p o n ge x c h a n g e t h i r d l y ,t h es o p cw i t hd u a ln i o si ia r c h i t e c t u r ei sd e s i g n e da n dt h em e a l 塔t oi m p l e m e n tc u s t o m i z a t i o n , s h a r i n go ft h em e m o r yc h i p ，d a t at r a n s f e ra n ds y n c h r o n i z a t i o nb e t w e e nt h ed u a lc p u sa r ei n t r o d u t e d m e a n w h i l e ，t h en e t w o r ks e r v e rw h i c hu s e sl t c o s i it oi m p l e m e n tm u l t i t a s km a n a g e m e n ta n ds c h e d u l i n gi sd e s i g n e d t h ed e s i g na n dr e a l i z a t i o no f h 2 6 4v i d e oc o m p r e s s i o na l g o r i t h ma r et h ee m p h a s e so f t h i st h e s i s i nt h i sp a p e r , h 2 6 4s t a n d a r di sa n a l y z e d ，a n dt h ea r c h i t e c t u r e so f e n c o d e ra n dd e c o d e ra r ep r o g r a m m e d t h e n1 6 x 1 6i n t r ap r e d i c t i o na l g o r i t h ma n dm a c r o b l o c ks c a ns e q u e n c ea r ed e s i g n e d ，a n dt h et w i c ej u d g i n gs t r a t e g yi su s e df o rp r e d i c t i o nm o d es e l e c t i o n t h es c a ns e q u e n c eo f4 x 4s u b - b l o c ki sa l s od e s i g n e d ，a n dt r a n s f o r m a t i o na n dq u a n t i z a t i o np r o g r a m sa r ec o m p l e t e d t h ee n t r o p yc o d i n gi nt h i sp a p e rc o n s i s t so fe x p g o l o m bc o d i n ga n dc a v l c am e t h o db a s e do ns c a l ej u d g e m e n ti sd e s i g n e dt or e a l i z et h ea l g o r i t h mo fe n c o d i n gn o n z a oc o e f f i c i e n tl e v e l l a s t l y , f o r m a to ft h eb i t s t r e a mw h i c hi st r a n s m i t t e dt h r o u g hn e t w o r ki sd e s i g n e d ，a n dt h ed e c o d i n ga l g o r i t h mi sd e s i g n e dt o o t h ee n e o d e ra n dd e c o d e ra r ev e r i f i e dw i t hv c + + a n dt h et e s t t oo b s e r v et h ec o m p r e s s i b i l i t ya n dd i s t o r t i o nw i t hd i f f e r e n tp a r a m e t e r si sc a r r i e do u t 1 i i重庆大学硕十学伊论文a f t e ra l g o r i t h mv e r i f i c a t i o ni sc o m p l e t e d ，p cc l i e n t ，w h i c hh a sf u n c t i o n so fn e t w o r ka c c e s s ，h 2 6 4d e c o d i n ga n dr e a l t i m ed i s p l a y , i sd e s i g n e d s i m u l t a n e o u s l y ,t r a n s p l a n th 2 6 4e n c o d i n gp r o g r a mt on i o si i f i n a l l y , e m b e d d e di m a g es e r v e ra n dan u m b e ro fp cc l i e n t sa r ec o n n e c t e di n t on e t w o r kt od e b u ga n dt h en e t w o r kv i d e os u r v e i l l a n c es y s t e mi sr e a l i z e d e x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h ec o m p r e s s i b i l i t yo ft h i ss y s t e mi sh i g ha n dt h eq u a l i t yo fs u r v e i l l a n c ei m a g ei sg o o d ，w h i c he v i d e n t l yp r o v et h a tt h ed e s i g n so fs o f t w a r e h a r d w a r ea n di m a g ec o d i n ga l g o r i t h ma r es u c c e s s f u l t i l i ss y s t e ma d v a n c e si nl o wc o s t ，g o o de x p a n d a b i l i t ya n dw i d ea p p l i c a b i l i t y , w h i c hh a sb r o a dp r o s p e c t sf o rd e v e l o p m e n t k e y w o r d s ：n e t w o r kv i d e os u r v e i l l a n c e ，s o p c ，n i o si i ，h 2 6 4 ，e n t r o p yc o d i n g独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重迭太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作r 明确的说明并表示谢意。学位论文作者签名：夏博签字日期：三叼年二月，日学位论文版权使用授权书本学位沦文作者完伞了解重废厶堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权重麽盍堂町以将学位论文的全部或部分内容编入有关数据库进行检索，口- 以采用影印、缩印或扫描等复制手段保存、汇编学位论文。保密() ，在年解密后适用本授权书。本学位论文属于不保密( v ) 。( 请只在j ：述1 个括号内打“”)学位论文作者签名：斑博导师签名：j 、签字几期：功力年易月皇日月，日扩j1 绪论1 绪论1 1 研究背景及意义科学技术的发展与公共安全保障需求的提高，使得视频监控系统在工业生产与日常生活中的应用越来越广泛。在安全监控中，往往需要检测安全区域边界或者特定区域内的活动，其具体监测是细致而连续的过程，它可以由人来完成，但是人执行这种长期枯燥的例行监视是不可靠的，而且费用也很高。网络视频监控系统实时采集现场视频图像，采用高效的压缩算法对图像进行压缩编码，并通过网络将实时图像编码数据传送到远程监控端。监控端接收编码数据进行解码恢复图像，同时实时刷新显示，使监控人员不必在特定的监控室中，而只要在网络的任一位置接入均可有效地掌握现场情况，给用户的使用带来很大的便利。其适用范围包括：工业生产方面，工厂可用来检测生产线上是否有异常，特别是在生产区域环境不适合人直接观测的情况下；生活安全方面，保安部门可用于楼宇安全监控，超市、仓库防盗，家庭也可用来随时了解居室内有无安全问题；警备与军事方面，警备部门可用于监狱预警，防止出现重大安全事故，边防部门可用于特定区域自动监测非法越境等。采用嵌入式系统实现网络视频监控系统的关键部分已成为业界公认的发展趋势。嵌入式系统( e m b e d d e ds y s t e m ) ，是“嵌入式计算机系统”的简称，它是相对于通用计算机系统而言的。其定义为：以计算机技术为基础，软硬件可裁减，从而能够满足实际应用中对功能、可靠性、成本、体积、功耗等严格要求的专用计算机系统【1 1 。嵌入式系统通常由嵌入式处理器、相关外围设备、嵌入式操作系统和应用软件等几大部分组成，是具有特定功能或用途的、可独立工作的计算机软硬件集合体。嵌入式系统的核心为嵌入式处理器，包括嵌入式微控制器、嵌入式d s p处理器、嵌入式微处理器与嵌入式片上系统s o c 。s o c 的设计理念使集成电路发展成为集成系统，电子整机的绝大部分功能可以集成到一块芯片中，具有极高的综合性。基于f p g a 实现的可编程s o p c 系统具有集成度高、实时性好、体积小、功耗低等突出优势，并且便于维护与升级，是电子信息技术的热点。由于实时采集的视频图像的数据量非常大，如果直接进行网络传送将严重影响到系统的工作效率，必须对图像进行压缩。但监控系统本身的特点要求经过编解码处理后，监控端恢复的图像须尽可能接近原始图像，以保证监控人员对现场状况的正确掌握。因此，采用适当的压缩编码算法，在可以接受的信息损失条件下用尽可能少的比特数来传输原图像，是网络视频监控系统实现的关键。h 2 6 4 标准是由r r u tv c e g 和i s o i e cm p e g 联合组成的n 叮开发的最新一代视频压缩重庆大学硕士学伊论文标准，h 2 6 4 的编解码框架从本质上与以前提出的标准类似，也是基于混合编码的方案。但它采用“刚归基本”的简洁设计，不用众多的选项，并充分发挥了现有编码技术的优点，在很多方面做了较大的改进，编码质量非常高。同时加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利f 对误码和丢包的处理。故其应用范围较宽，可以满足不同速率、不同解析度以及不同传输或存储场合的需求【2 1 。本课题就是在这样的背景f 提出的。可见，构建基ff p g a 的s o p c 系统并设计h 2 6 4 压缩算法对图像进行编解码【3 】，同时结合相关外部设备来实现网络视频监控系统，具有重要的学术意义与实用意义。1 2 国内外研究现状1 2 1 视频监控系统的发展视频监控系统的发展大致町划分为三个阶段【4 】：2 0 世纪9 0 年代初及以前，主要是以模拟设备为主的闭路电视系统，称为第一代视频监控系统。其采用模拟视频线将来自摄像机的视频连接到监视器上，视频矩阵主机进行切换和控制。模拟视频监控系统由于模拟视频信号的传输对距离十分敏感，通常只适合于小范围的区域监控，而且无法进行联网，只能采取点对点的方式，使得布线工程量极大，局限性十分明显【5 】。2 0 世纪9 0 年代中期，利用计算机的高速数据处理能力进行视频的采集和处理，较大地提高了图像质量，增强了视频监控的功能。这种基于多媒体计算机的系统称为第二代视频监控系统，即模拟数字混合型视频监控系统。模拟数字混合型视频监控系统在实际工程中有着广泛应用，但由于系统中信息流的形态仍为模拟视频信号，系统的网络结构主要是一种单功能、单向、集总方式的信息采集网络，要求介质专用，因此系统的扩展能力较差。2 0 世纪9 0 年代末至今，网络带宽、计算机处理能力和存储容量迅速提高，视频信息处理技术快速发展，视频监控进入了全数字化的网络时代，称为第三代视频监控系统。同时，嵌入式技术在硬件和软件方面都出现了多次飞跃，能够满足更加复杂和灵活的应用需求。利用嵌入式技术、视频压缩编码技术和网络传输控制技术为核心实现网络视频监控，在稳定性、实时性、处理速度、功能、价格、扩展性等方面都有着突出的优势。目前在国内外市场上，主要推出的是数字控制的模拟视频监控和数字视频监控两类产品。前者技术发展已经非常成熟且性能稳定，而后者正迅速崛起，但仍需进一步完善和发展。视频监控系统正处在数控模拟系统与数字系统混合应用并逐渐向全数字系统过渡的阶段【6 】。21 绪论1 2 。2 图像压缩编码技术的研究现状国外对图像压缩编码技术的研究比较成熟，r r u - t 下属的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 主要制定了h 2 6 x 系列标准，包括h 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + 等。而i s o i e c 下属的活动图像专家组m p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ) 贝l j 主要制定了m p e g - x 标准，如m p e g 1 2 4 等。m p e g - 1 1 7 , 1 定于1 9 9 2 年，是m p e g 第一阶段的成果。它规定视频信息与伴音信息经压缩之后的数据速率上限为1 5 m b i t s ，从而可以在c d r o m 、可写光盘等介质上进行存储，也可以在局域网、i s d n 上进行视频与伴音信息的传输。该标准采用了帧内编码和帧间编码相互结合的编码方法，支持i 、p 、b 、d c 四种帧类型，其编码速率最高可达4 5 m b i t s s ，但随着速率的提高，其解码后的图像质量有所降低。m p e g 1 技术最成功的应用为v c d ，也被用于数字电话网络上的视频传输。m p e g 一2 【8 】制定于1 9 9 4 年，是在m p e g 一1 的基础上进一步发展成的音视频编码标准，主要目标是针对广播级的高质量音视频以及更高的传输率。m p e g 2 能够很好的处理隔行扫描的数字视频源，支持多输入视频序列的采样格式，并支持几种可选择的运动预测模式。其所能提供的传输率在3 q 0 m b s 间，在n t s c 制式下的分辨率可达7 2 0 x 4 8 0 。m p e g - 2 技术就是实现d v d 的标准技术，还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。为了适应多媒体通信的快速发展，i s o 于1 9 9 4 年开始制定m p e g - 4 标准【9 】。m p e g - - 4 标准主要由m p e g - 4 系统、m p e g - 4 音频和m p e g - 4 视频等基本部分和扩充的部分组成。m p e g - 4 视频编码的主要目标在于提供一种通用的编码标准，以适应不同的传输带宽、不同的图像尺寸和分辨率、不同的图像质量等，进而为用户提供不同的服务。与传统的基于像素的视频压缩标准不同，m p e g - 4 采用基于对象的视频编码方法【i 们，它不仅可以实现对视频图像数据的高效压缩，还可以提供基于内容的交互功能。此外，为了使压缩后的码流具有对于信道传输的鲁棒性，m p e g - 4 还提供了用于误码检测和误码恢复的一系列工具，这样采用m p e g - 4 标准压缩后的视频数据可以用于带宽受限、易发生误码的网络环境中。h 2 6 1 是i t u t 提出的作为h 3 2 0 终端使用的视频编解码建谢“】，制定于1 9 9 2年，常称为p x 6 4 k 标准，其中p 是取值为1 到3 0 的可变参数。p = i 或2 时支持四分之一中间格式( q c i f ) 的帧率较低的视频电话传输；p - - 6 时支持通用中间格式( c i f ) 的帧率较高的电视会议数据传输。p x 6 4 k 视频压缩算法也是一种混合编码方案，即基于d c t 的变换编码和带有运动预测差分脉冲编码调制( d p c m ) 的预测编码方法的混合。h 2 6 1 主要应用于i s d n 网上的视频会议系统，借助于电信行业提供的p x 6 4 k 带宽的通信线路，实现异地多方参加的电视会议。目前国际、国内几重庆大学硕十：学伊论文乎所有的( 电信、政府、企业等) 电视会议系统采用的压缩技术均源自h 2 6 1 标准。h 2 6 3 是i t u t 提出的作为h ，3 2 4 终端使用的视频编解码建议【l ”，制定f1 9 9 6年。它是基f 运动补偿的d p c m 的混合编码，在运动搜索的基础上进行运动补偿，然后运用d c t 变换和“z ，字形扫描游程编码，从而得到输出码流。h 2 6 3 在h 2 6 1建议的基础上，将运动矢量的搜索增加了半像素点搜索，同时又增加了无限制运动矢量、基于二语法的算术编码、高级预测技术和p b 帧编码等四个高级选项，从而达到了进一步降低码速率和提高编码质量的目的。h 2 6 3 标准能够满足现有信道所需要的压缩性能，并对信道误码提供一定的鲁棒性，从而成为新的低码率视频编码的主流标准。h 2 6 3 已广泛应用于可视电话、视频邮件、银行、企业及智能化住宅的远程视频监控等领域。h 2 6 4 是由i t u - tv c e g 和i s o i e cm p e g 联合组成的j 开发的最新一代视频压缩标准，其基本草案在2 0 0 2 年l o 月形成，最后的批准工作于2 0 0 3 年3 月完成。h 2 6 4 标准中有多个闪光之处【1 3 1 ，如统一的v l c 符号编码、高精度且多模式的位移估计、基f4 x 4 块的整数变换、分层的编码语法等。这些措施使得h 2 6 4算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。同时，h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应i p 和无线网络的应用。随着h 2 6 4 面目的逐渐清晰，许多系统厂商和芯片供应商正在加速开发能够与当前系统和硅体系结构相兼容的低成本h 2 6 4 产品。h 2 6 4 视频k 缩编码算法是本课题研究的重点，本文随后将对其进行详细的分析。国内对图像压缩编码技术的研究发展迅速，a v s ( 由数字音视频编解码技术标准工作组开发) 是中国自主制定的音视频编码技术标准【h 】。a v s 工作组成立于2 0 0 2年6 月，当年8 月开始了第一次的工作会议。经过7 次a v s 正式工作会议和3 次视频组附加会议，经历一年半的时间，审议了1 8 2 个提案，先后采纳了4 1 项提案，2 0 0 3 年1 2 月1 9 日a v s 视频部分终于定稿。a v s 视频当中具有特征性的核心技术包括：8 8 整数变换、量化、帧内预测、1 4 精度像素插值、特殊的帧问预测运动补偿、二维熵编码、去块效应滤波等。a v s 的主要特点是应用目标明确，技术有针对性。因此在高分辨率应用中，其压缩效率比现在在数字电视、光存储媒体中常用的m p e g - 2 视频提高一个层次。在压缩效率相当的前提下，又较m p e g 4 m a i np r o f i l e 的实现复杂度大为降低。目前，a v s 视频压缩编码技术可实现标准清晰度( c c i r6 0 1 或相当清晰度) 、低清晰度( c i f , s i f ) 等不同格式视频的压缩。1 3 本课题研究的内容与技术特色点本课题主要研究的内容为：根据目前图像压缩编码技术的发展现状，深入研究h 2 6 4 视频编解码标准，设计高效的视频压缩与解压缩算法。熟练运用基于f p g a41 绪论的嵌入式系统设计方法，设计以n i o si i 软核处理器为核心的s o p c 系统，并结合相关外围设备，实现具有视频采集、压缩编码与网络服务器功能的嵌入式图像服务器。同时设计p c 机客户端程序，使其可在网络的任一位置对图像服务器进行远程访问，接收编码数据并实时恢复图像，以便监控人员及时掌握现场的情况。从而构建整个网络视频监控系统。研究内容主要包括：根据当前监控系统的发展状况与课题的目标要求，并充分考虑本课题所选用的核心芯片与视频编解码算法的特点，进行网络视频监控系统的整体规划。以n i o si i 软核处理器为核心，结合所需的外设接口与功能模块，设计基于f p g a 的s o p c 系统，完成其定制与连接。分析c c i r 6 5 6 数字视频的数据与同步特征，使用硬件描述语言设计图像采集模块，使其能够无失真的采集现场图像，并将其作为用户自定义模块添加到s o p c 系统中。在n i o si ii d e 中设计嵌入式处理器的软件工程，完成采集控制、处理器间通信与网络管理功能的程序编写。研究h 2 6 4 标准，尽可能地查阅中英文资料，针对硬件平台和网络视频监控的特性，设计高效且易于实现的图像压缩编解码算法，并在p c 机上进行算法验证。针对部分编码子算法，设计速度较快，更适合在f p g a 上实现的处理方法。同时设计本系统专用的网络传输码流格式。将已经过验证的编码算法移植到n i o si i 中，完成嵌入式图像服务器的设计。设计客户端软件，将嵌入式图像服务器与若干客户端接入网络进行联合调试，解决出现的问题，构建完整的网络视频监控系统。除系统规划、硬件设计与程序编写等大量工作外，本文拥有较为突出的技术特色点：采用双n i o si i 架构的s o p c 来构建嵌入式图像服务器的核心部分，在一块f p g a 芯片内部实现了两个软核处理器来分担各个任务，c p u 间通过共享特定资源的方式进行信息交互，从而实现协同工作与并行处理，较大程度地提高了系统的工作效率。针对h 2 6 4 压缩算法中c a v l c 编码算法的除拖尾系数之外的非零系数值编码子算法，实现了一种基于表示范围判别的非零系数值编码方法。该方法不需要建立任何映射码表，仅使用加、减与移位运算，代码长度较短，运算速度较快，特别适合基于f p g a 进行硬件实现。5重庆大学硕十学位论文1 4 论文的组织结构本文的组织结构为：第一章介绍视频监控系统的发展与图像压缩编码技术的国内外研究现状，概述本文的内容与特色点。第二章规划出网络视频监控系统的总体方案，进行核心芯片的选型与开发平台的选择，并概略描述了h 2 6 4 算法。第三章设计实时图像采集子系统与双n i o si i 架构的s o p c 系统，构建嵌入式图像服务器。第四章设计适用f 本系统的压缩编码算法，并对涉及到的算法进行详细地讨论。第五章设计相应的解码算法与客户端程序，对编解码程序进行测试，并完成系统的联合调试。第六章总结全文所做的工作，指出系统的优势与不足，对进一步的改进与优化进行展望。62 系统总体方案2 系统总体方案2 1 系统总体规划本课题所设计的网络视频监控系统主要由摄像头、嵌入式图像服务器、若干p c 机客户端及相关网络传输设备组成，其总体方案如图2 1 所示。图2 1 系统总体方案f i g 2 1s y s t e mo v e r a l lp r o g r a mih 2 6 4 编码i网络交互kl h 2 6 4 解码i模拟图像、i算法ini算法i重建图像嵌入式图像编码致据传输p c 机客户端服务器图2 2 系统信息处理机制f i g 2 2s y s t e mi n f o r m a t i o np r o c e s s i n gm e c h a n i s m摄像头对监控现场的视觉信息进行光电转换，嵌入式图像服务器则实时地采集摄像头送入的图像信号，并使用h 2 6 4 编码算法对图像进行压缩编码，较大程度地降低网络传输时的数据量，同时持续监听有无网络连接请求。p c 机作为客户端可在网络的任一位置对图像服务器进行远程访问，发起连接请求。服务器监听到连接请求后，随即判断当前连接数是否已达系统可承受的最大连接数，如果没有达到，则建立连接，向客户端传送编码后的实时图像数据。客户端接收编码图7重庆大学硕i - 学付论文像数据，使用h ，2 6 4 解码算法重建图像并进行实时显示，使用户可以通过网络对现场进行远程监控。嵌入式图像服务器支持t c p i p 协议族，在进行实时图像数据传输的同时，对来自网络的客户端远程访问进行有效的管理。在系统能够承受的最大连接数范围内，多个客户端可以从网络的不同位置同时连接到图像服务器七察看现场情况。系统信息处理机制如图2 2 所示，所处理的图像为3 2 0 2 4 0 像素灰度图，每像素的位宽为8 b i t ，共2 5 6 个灰度级。2 2 开发平台的选择为增加系统的适用性，客户端的开发平台选择通用p c 机，设计软件选用v c + + 。这样使得监控人员叮在网络上的任意一台通用计算机上运行客户端程序，非常便捷。而嵌入式图像服务器要同时承担视频采集、图像压缩编码、网络服务器等多个任务。且必须保证实时性，这就要求其核心芯片具有较高的处理能力。另一方面，网络视频监控系统在军事警备、工业生产与日常生活等多个领域应用十分广泛，如果要成功开发一套适用性强同时又能实现量产的系统，就不得不尽量降低成本。因此，为嵌入式图像服务器选择开发平台就必须在性能与成本两个方面进行权衡。d s p 处理器和嵌入式硬核处理器通过顺序执行软件指令的方式完成数字信号处理算法，但其硬件结构的不可变性导致其总线的不可变性，固定的数据总线宽度已成为难以突破的瓶颈。而能够达到较高性能的例如t m s 3 2 0 d m 6 4 2 等芯片价格又十分昂贵，不利于成本控制。f p g a 具有灵活的町重配置特性，使系统易于修改、测试与升级。新型的f p g a芯片在原有的高密度逻辑宏单元的基础上嵌入了许多面向数字信号处理的专用硬核模块，包括可配置的r a m 、d s p 乘加模块等，能够更好地实现h 2 6 4 标准提出的诸多计算密集型算法。同时，结合大量的参数化的i p 软核，可以将图像处理系统的所有关键模块设计于同一块芯片中，形成s o p c 系统，减少硬件电路的面积和复杂度【。此外，本课题采用的h 2 6 4 标准相对于之前的图像压缩标准的一个重要优势在于通过不同的方式和方向分析像素冗余，预测要编码的图像内容的值，顺序执行的处理器只能依次计算每种方式和各个方向的预测值，即使是目前已提出的各种优化算法也还是要经过多次计算r 能得出结果，这将耗费大量的时间。而使用硬件描述语占设计的加速模块则町以充分利用f p g a 的并行性，同时在每种方式下和各个方向上进行计算，可在 e 常短的时间内得到最优的结剥1 ”。通过综合分析，本设计选用了a l t e r a 公司的c y c l o n ei ie p 2 c 3 5 f 6 7 2 c 6 型f p g a2 系统总体方案作为系统的核心芯片。c y c l o n ei i2 c 3 5 基于低成本架构，从设计之初就充分考虑了成本的节省问题，选择了较小的封装形式，采用1 2 v 、9 0 n ms r a m 工艺，具有高密度、低功耗的特点【1 8 1 。a l t e r a 公司推出的d e 2 开发板是采用c y c l o n ei i 芯片的优秀图像处理开发平台 1 9 1 。它以c y c l o n ei ie p 2 c 3 5 f 6 7 2 c 6 型芯片为核心，使用串行配置芯片e p c s l 6 为f p g a 配置备选方案，并同时提供8 mb y t e 的s d r a m 、5 1 2 kb y t e 的s r a m 、4 mb y t e 的f l a s h 存储器以及作为时钟源的5 0 m h z 和2 7 m h z 振荡器。视频输入输出方面外设包括t v 信号输入接口与可对n t s c p a l 制式的t v 信号进行模数转换的解码电路，1 0 位高速v g a 数模转换电路和v g a 输出接口。网络方面外设则提供了1 0 1 0 0 m 以太网控制电路及接口。此外，还附带l c d 显示屏、七段显示码管、l e d 、乒乓开关及按键等常用外设。鉴于此，本课题选择d e 2 开发板作为开发平台。本课题的f p g a 设计软件选用q u a r t u si i6 0 ，同时采用与之配套的s o p c 开发软件s o p cb u i l d e r 与集成开发环境n i o si ii d e 。2 3h 2 6 4 算法概述h 2 6 4 是由i t u tv c e g 和i s o i e cm p e g 联合组成的j 开发的最新一代视频压缩标准，被命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，也称为i t u th 2 6 4 建议和m p e g 4 第1 0 部分标准，于2 0 0 3 年3 月正式被i t u t 讨论通过并在国际上颁布。h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性，是本课题设计的重点。h 2 6 4 a v c 在设计上将整个编码系统分成视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n 删c t w o r k a b s t r a c t i o nl a y e r ) 两个具有不同概念的层浏捌，如图2 3 所示，图中的传输层与物理网络仅标示出了本系统设计所用到的类型。视频编码层v c l 主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、健壮性、可分级等特性的视频编码码流，是整个h 2 6 4 视频编码标准的核心部分，同时也是本文研究的重点。网络提取层n a l 主要负责将视频编码层v c l 产生的视频编码数据正确地映射到不同的传输网络中去。当v c l 产生的编码视频比特流将在某种特定网络中传输时，n a l 针对这种网络及其传输协议的特性，对v c l 的编码码流进行适合该网络及其传输协议的封装。这样h 2 6 4 就可以在面向不同的传输网络时，灵活的提供不同的封装方式，增强了网络的适应性。对于系统中处理与传输的图像数据，可将其从宏观到微观分为视频序列、图像帧、片( s l i c e ) 、宏块( m a e r o b l o c k ) 、予块( s u b - b l o c k ) - h - 个层次。视频序列由若干个图像帧组成，h 2 6 4 可将图像帧划分为独立解码的片，有利于抑制错误的蔓延，提9重庆大学硕十学伊论文高了解码的容错能力。片必须进一步划分为1 6 x 1 6 像素的宏块，每个片所包含的宏块个数是不定的。宏块还可根据需要划分为更小的子块。旱一呈温柏。申甲n a ld由ec。odernale n c o d柏。”if。伦由。+it r a n s p o r tl a y e rih 2 6 4t of i l elf o r m a tt c p i pilw i r e dn e t w o r k sl 图2 3h 2 6 4 算法的分层结构f i g 2 3h i e r a r c h i c a ls t r u c t u r eo f h 2 6 4a l g o r i t h m为提高压缩效率，去除图像序列的时间冗余度，同时满足多媒体等应用所必须的随机存取要求，h 2 6 4 把图像帧分成i 帧、p 帧和b 帧【2 1 1 。i 帧为帧内编码帧，编码时采用帧内预测编码和变换编码。p 帧为预测编码帧，采用前向运动补偿和预测残差的变换编码，由前面已解码的参考帧进行预测。b 帧为双向预测编码帧，采用双向运动补偿预测和预测残差变换编码。此外，新标准的高级版本中提出了s p和s i 帧的概念，用来实现在几个编码码流中任意切换田】。h 2 6 4 的核心算法包括帧内预测、高级运动估计与补偿、4 x 4 整数变换与量化、熵编码、环路滤波等【2 3 】。其中熵编码有两种方案：一种是基于e x p g o l o m b 码的一致变长编码( u v l c ) 和基于上下文的变长编码( c a v l c ) 相结合的变长编码( v l c ) ，编码主要采用查表的方式，其中u v l c 的表是固定的，而c a v l c 在编码过程中会根据周围宏块以及在之前编码的数据信息，选择不同的表，具有上下文自适应功能。另一种是基于上下文的自适应算术二进制编码( c a b a c ) ，为基于概率模型的统计估算【2 4 】。1 02 系统总体方案2 4 设计流程本文设计的主要流程为：首先进行嵌入式图像服务器的设计和实现。接着针对系统特点，进行h 2 6 4 编解码算法的分析、设计与实现，并使用v c + + 【2 5 l 进行验证与测试。然后完成p c 机客户端的设计。最后将h 2 6 4 编码算法移植到嵌入式图像服务器中，并同时将嵌入式图像服务器与若干p c 机客户端接入网络进行联合调试，构建完整的网络视频监控系统。3 嵌入式图像服务器的设计与实现3 嵌入式图像服务器的设计与实现3 1 嵌入式图像服务器结构嵌入式图像服务器是网络视频监控系统中最为关键的部分，它所采用的图像处理算法的优劣、对视频数据的吞吐能力及其实时性的强弱，很大程度上决定了整个系统的相关性能参数，并直接影响到用户在客户端对现场的监控。因此，嵌入式图像服务器的设计对整个网络视频监控系统而言尤为重要。3 1 1n i o si i 软核处理器简介在系统总体规划时，决定了选用基于f p g a 的n i o si i 软核处理器为嵌入式图像服务器的核心。n i o si i 是a l t e r a 公司推出的采用流水线技术和哈佛结构的通用r i s c 软核处理器，具备完整的3 2 位指令集、3 2 位数据通道和地址空间，处理器性能超过1 5 0 d m i p s t 2 酊。软核是指未被固化到硅片上，需借助e d a 软件对其进行配置并下载到可编程芯片( 如f p g a ) 中的m 核。n i o si i 处理器系统由n i o si ic p u 、一系列的外设接口与所需的功能模块组成，其c p u 分为标准型c n i o si i s ) 、经济氆( n i o si r e ) 与快速性m i o si v 0 ，可根据系统实时性要求与芯片资源进行选择。同时可以依据不同的任务需求添加和裁减提供的外设，还可以通过设计用户自定义模块与定制用户自定义指令来实现特定的功能，因此具有灵活性强，便于维护与升级等优势【2 ”。3 1 2 嵌入式图像服务器结构嵌入式图像服务器主要由视频采集子系统、n i o si i 处理器系统与内存、网络传输控制子系统和人机交互外设组成。视