（信号与信息处理专业论文）基于h264的视频监控系统的d+s+p实现.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡献的个人和集 体，均已在文中以明确方式标明。本声明的法律责任由本人承担。 学位论文作者： 碌l 纠 i 同期：m f 年j 月刃日 学位论文使用授权声明 本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。 根据郑州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部 门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州 大学可以将本学位论文的全部或部分编入有关数据库进行检索，可以采用影印、 缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学 位论文或与该学位论文直接相关的学术论文或成果时，第一署名单位仍然为郑 州大学。保密论文在解密后应遵守此规定。 学位论文作者： 厢易丫 l f i 期：m o 年，月；e t 摘要 摘要 从1 9 8 4 年c c i t t 发布第一个视频编码标准h 1 2 0 以来，视频压缩编码技术 获得了迅猛的发展，一系列视频编码标准陆续公布，从m p e g 1 到m p e g 4 ，从 h 2 6 3 到h 2 6 4 ，这些标准的发布极大推动了视频编码技术的进一步发展。h 2 6 4 编码技术以其编码灵活、高压缩率、好的网络适应性等优点在近几年得到了技 术人员的青睐。在视频编码压缩技术迅猛发展的同时，d s p 技术的发展也同新 月异，为h 2 6 4 编码算法的实时运行提供了硬件保障。 本文首先对h 2 6 4 的编解码器原理进行了详细的分析，对h 2 6 4 编解码算法 的结构框架进行了阐述，另外还重点分析了h 2 6 4 的具体技术以及其中包含的关 键技术如帧内预测技术、运动估计技术、整数d c t 变换技术及熵编码技术和环 路滤波技术。 在以d s p 为核心处理器的硬件系统方面，首先根据多媒体处理器 t m s 3 2 0 d m 6 4 2 芯片的内核和片上资源特点，给出了系统的整体硬件设计方案， 并对系统的几个主要模块如电源模块、时钟模块、e m i f 的配置与s d r a m 寄存 器的端口配置等一些主要模块进行了分析，并给出了电路的连接方法。 在系统的软件设计与代码优化上，在分析了系统的数据流程和程序处理流 程的基础上，对代码的移植做了详细地分析，并给出了部分代码的移植和优化 结果，最后在基于d m 6 4 2 的数字视频平台上实现了j m 8 6 版的b a s e l i n e 编解码 算法，给出了实验的结果。 关键词：视频监控，h 2 6 4 ，d m 6 4 2 ，运动估计 a b s t r a c t a b s t r a c t f r o m1 9 8 4 ，c c i t ti s s u e dt h ef i r s tv i d e oc o d i n gs t a n d a r d h 12 0 v i d e o c o m p r e s s i o nt e c h n o l o g yd e v e l o p m e n tr a p i d l y as e r i e so fv i d e oc o d i n g s t a n d a r d g r a d u a l l yr e l e a s e d f r o mt h em p e g - 1t om p e g - 4 ，h 2 6 3t oh 2 6 4 ，t h e s es t a n d a r d s o fv i d e oc o d i n gt e c h n o l o g yh a sg r e a t l yp r o m o t e dt h ef u r t h e rd e v e l o p m e n t i nr e c e n t y e a r s ，h 2 6 4e n c o d i n gt e c h n o l o g yh a sw o nt h ef a v o u ro ft e c h n i c a lp e r s o n n e lb e c a u s e o fi t s c o d i n gf l e x i b i l i t y , h i g hc o m p r e s s i o nr a t e ，a d a p t a b i l i t y t o n e t w o r k a d v a n t a g e s d u r i n gr a p i dd e v e l o p m e n to fv i d e oc o d i n gc o m p r e s s i o nt e c h n o l o g y , d s p t e c h n o l o g yd e v e l o p m e n ti sa l s oc h a n g i n gf o rh 2 6 4c o d i n ga l g o r i t h ma n dp r o v i d e s r e a l - t i m eh a r d w a r es e c u r i t y b a s e do nr e a d i n gal a r g eo fr e l a t e dl i t e r a t u r e ，f i r s t l y , t h i s p a p e ra n a l y s i s t h e p r i n c i p l eo fe n c o d e ra n dd e c o d e ro fh 2 6 4i nd e t a i l ，a l s oe x p o u n d e de m p h a t i c a l l y a n a l y z e dt h eh 2 6 4c o n c r e t et e c h n o l o g ya n dt h ek e yt e c h n o l o g yi n c l u d e st e c h n i q u e s ， s u c ha sf r a m ef o r e c a s tm o t i o ne s t i m a t i o n t e c h n i q u e s ，i n t e g e rd c tt r a n s f o r m t e c h n i q u ea n de n t r o p yc o d i n gt e c h n i q u ea n dl o o pf i l t e rt e c h n o l o g y i nt e r m so fh a r d w a r es y s t e mb a s e do nt h ed s p , b a s e do nt m s 3 2 0 d m 6 4 2 m u l t i m e d i ap r o c e s s o rc h i p so nt h ek e r n e la n dr e s o u r c e sc h a r a c t e r i s t i c s ，t h eo v e r a l l d e s i g ns c h e m eo fh a r d w a r e ，a n ds e v e r a lm a i nm o d u l es y s t e ms u c ha sp o w e rs u p p l y m o d u l e ，t h ec l o c km o d u l e ，t h ec o n f i g u r a t i o na n ds d r a me m i fr e g i s t e r so fs o m e m a i np o r tc o n f i g u r a t i o nm o d u l ea r ea n a l y z e d ，a n dt h em e t h o do fc o n n e c t i n gt h e c i r c u i t i nt h es y s t e mo ft h es o f t w a r ed e s i g na n dc o d eo p t i m i z a t i o n ，b a s e do nt h e a n a l y s i so fs y s t e md a t af l o wa n dp r o c e s sf l o w , t h i sp a p e ra n a l y s i st r a n s p l a n t a t i o no f c o d e ，a n dg i v e ss o m er e s u l t sa b o u tc o d et r a n s p l a n t a t i o na n dt h eo p t i m i z a t i o n i nt h e l a s t ，t h eb a s e l i n ed e c o d i n ga l g o r i t h mo fj m 8 6e d i t i o na l er e a l i z e db a s e do nd i g i t a l v i d e op l a t f o r m so fd m 6 4 2 ，t h ee x p e r i m e n t a lr e s u l t sa r eg i v e nf i n a l l y k e y w o r d s ：v i d e om o n i t o r i n g ，h 2 6 4 ，d m 6 4 2 ，m o t i o ne s t i m a t i o n 日录 目录 摘要i a b s t r a c t i i 第1 章绪论1 1 1 引言l 1 2 视频压缩的基本原理2 1 2 1 视频压缩的理论起源2 1 2 2 视频压缩的必要性2 1 2 3 视频i 鲥像信号压缩的可能一视频序列信息的冗余。3 1 2 4 视频图像编码质鼙的评价。3 1 3 数字视频压缩编码标准的发展历史5 1 3 1m p e g x 系列视频压缩标准6 1 3 2h 2 6 x 系列视频压缩标准7 1 4 选题的提出及选题背景9 1 5 本论文的主要工作9 第2 章h 2 6 4 视频编码标准分析1 l 2 1 引言1 1 2 2h 2 6 4 的视频编解码器原理1 2 2 2 1h 2 “的编码器原理。1 2 2 2 2h 2 “的解码器原理1 4 2 3h 2 6 4 编解码算法的结构框架1 4 2 3 1h 2 6 4 的档和层1 4 2 3 2h 2 6 4 支持的视频格式1 8 2 3 3h 2 6 4 的编码流格式1 8 2 4h 2 6 4 的具体技术1 9 2 4 1h 2 6 4 的帧结构2 0 2 4 2h 2 6 4 中的帧内预测技术2 1 n i 日录 2 4 3 运动估计技术2 4 2 4 4h 2 6 4 编码中的整数d c t 变换技术2 9 2 4 5 熵编码技术2 9 2 5 本章总结：3 0 第3 章视频监控系统的硬件设计3 l 3 1t m s 3 2 0 d m 6 4 2 芯片介绍3 1 3 1 1t m s 3 2 0 d m 6 4 2 多；! ! i l 体芯片3 l 3 1 2d m 6 4 2 的片上资源3 1 3 2 系统的硬件设计及组成3 3 3 3 系统的主要组成模块3 4 3 3 1 视频解码器雨i 编码器端口的配置3 5 3 3 2e m i f ( 外部存储器端口) 的配置3 7 3 3 3s d r a m 寄存器端口3 8 3 3 4 系统的电源配置3 9 3 3 5d m 6 4 2 的核心时钟配置4 0 3 4 本章总结4 1 第4 章视频监控系统平台的软件设计与代码优化4 2 4 1 集成开发环境1 c s 4 2 4 1 1 c c s 简j 1 4 2 4 1 2c c s 的组成4 2 4 1 3 c c s 平台的软硬件接口“ 4 2 系统的数据处理及工作流程4 4 4 2 1 系统中h 2 6 4 数据处理流程4 4 4 2 2 系统的程序工作流程4 5 4 3 算法的选择及算法流程4 7 4 4 h 2 6 4 代码的移植4 9 4 4 1 冗余代码的删除4 9 4 4 2 内存空间的分配。4 9 4 5 代码的优化5 2 4 5 i 项目级优化5 2 4 5 2 指令级优化k 5 3 4 6 本章小结5 5 i v 日录 第5 章系统测试与结果5 6 5 1测试平台与采用的h 2 6 4 编码说明5 6 5 2 本章小结5 6 第6 章总结5 7 参考文献5 8 附录6 0 致谢6 1 v 第1 帝绪论 第1 章绪论 1 1引言 数字视频技术在通信和广播领域获得了同益广泛的应用【l 】，特别是2 0 世纪 9 0 年代以来，随着通信技术和信号处理技术的快速发展，各种数字视频应用已 经广泛深入到我门的同常生活中，如视频监控、视频电话、视频会议和数字电 视等等。2 0 0 8 年，全国电话用户新增6 9 3 0 万户，总数达到9 8 2 0 3 4 万户。移动 电话用户共计6 4 1 2 3 万户，新增9 3 9 2 4 万户，我国已成为规模上世界第一的通 信大国。而视频信息以其直观性、确定性、高效性和广泛性的优点获得了越来 越广泛的应用。而视频信息包含的信息量大，但是它庞大的数据量和传输的高 带宽性又给视频信息的高效传输与存储造成了困难。 从网络传输的层面上来说：如一路可视电话或会议电视信号【2 1 ，其活动内容 少，要达到良好的质量，不压缩需约若干m b i t s ，压缩后需要3 8 4 k b i t s ；一路 高清晰度电视信号( h d m ，由于其信息量很大，不压缩需1 g b i t s ，通过m p e g 2 压缩后，还需2 0 m b i t s 。表1 1 是几种常用的视频图像格式的未压缩数据率，这 样大的数据根本无法在移动通信的环境中传输，哪怕在光网络环境下，当多用 户同时使用时，也会造成网络的拥塞。 表1 1 常见视频图像格式的朱压缩数据量 视频源每秒帧率分辨率 未压缩数据率( m b s ) n t s c3 0 7 2 0 4 8 0 1 2 5 p a l 2 57 2 0 5 7 6 1 2 5 v c r2 53 5 2 x 2 8 83 1 皿t v3 01 9 2 0 1 0 8 01 0 0 0 从硬盘序列存储的层面来说，未经过压缩的视频图像因其数据量太大，以 1 0 2 4 x1 0 2 4 图像为例，用8 b i t 量化的图像需1 m b 以上。陆地卫星l a n d s a t 3 的 分辨率为2 3 4 0 x3 2 4 0 ，4 个波段，采样精度为7 位，它的一幅图像的数据量为 2 3 4 0x3 2 4 0x7x4 = 2 1 2 m b ，按每天3 0 幅来计算，每天的数据量为2 1 2 第1 章绪论 3 0 = 6 3 6 g b ，每年数据量更是高达2 3 0 0 g b 。1 g b 的c d r o m 大约能存储1 分钟 的原始电视节目；h d t v 数据量约为1 2 g b i t s s ，1 g b 存6 秒钟h d t v 。 由此可见，未经压缩的视频图像直接传输或存储都是非常困难的，而且难 以进行商业的普及应用。所以视频图像压缩技术在现代信息化社会中起着重要 的作用，高压缩率、高质量的视频压缩技术的需求显得越来越迫切，它不但广 泛地应用在数字电视广播、视频实时通信、网络流媒体高清晰度电视( h d t v ) ) 等领域，而且在环境监测、卫星遥感、生物医学、军事雷达等方面也发挥着重 要的作用。 综上所述，视频信号由于信息量大，传输网络带宽要求高，就如一辆大卡 车只有在宽阔的马路上才能行使一样。所以视频信号的压缩就显得尤为必要， 视频信号在传输前先进行编码压缩，然后再进行传送，以便节省传送的带宽和 存储空间。 1 2 视频压缩的基本原理 1 2 1 视频压缩的理论起源 视频图像压缩的基本理论起源于2 0 世纪4 0 年代术期香农( s h a n n o n ) 的信 息理论i 3 1 ，1 9 4 8 年，c e s h a n n o n 在b e l l 系统技术杂志( b s t j ) 上发表的著名 论文“通信中的数学理论 ( am a t h e m a t i c a lt h e o r yo fc o m m u n i c a t i o n ) 是信息科 学发展的起点。为信息论的创立做出了独特的贡献。 1 2 2 视频压缩的必要性 从香农的编码定理我们知道，在不产生任何失真的前提下，通过合适的编 码，对一个信源符号的表示，平均可以任意接近于信源的熵。在这个理论的指 导下，出现了几种不同的无失真的信源编码方法1 4 j ，如h u f f m a n 编码、算术编码 ( a r t h m e t i cc o d i n g ) 、词典编码等，无失真编码虽然可以获得一定的码率压缩， 但其压缩效率非常有限，难以带来理想的压缩率。尤其对于复杂的视频图像， 无失真编码的压缩率很难超过2 。 相比于无失真压缩，有失真压缩编码由于能带来比较理想的压缩率而得到 了更广泛的应用与研究。有失真压缩的目的是去除视频图像数据中的信息冗余 2 第1 章绪论 及视觉不重要的细节分量，以尽可能少的数据来表示所处理的视频图像。常用 的有损压缩编码技术有预测编码、变换编码、统计编码、轮廓编码、模型编码 等。 1 2 3 视频图像信号压缩的可能一视频序列信息的冗余 通常情况下，视频图像序列中主要包括以下几种冗余信息1 5 j ： ( 1 )空问冗余：是指视频信号中同一幅图像内相邻或相近像素之间具有 的相关性。变换编码的目的就是去除这种冗余度，如d c t 变换、k c l 变换等； ( 2 )时间冗余：是指视频信号中不同帧图像的像素之间具有的相关性， 在运动幅度不大的视频序列中，其中的相关性尤为明显。可采用运动估计和补 偿技术来消除视频序列中的时间冗余； ( 3 )统计冗余：是指用于传输的码流中的符号之间的相关性。一般采用 熵编码技术消除统计冗余，如h u f f m a n 编码技术和算术编码技术等； ( 4 )心理视觉冗余：是指人眼对于视频序列中亮度信息的感知比色度信 息敏感，在记录原始图像数据时，则假定视觉系统是线性的和均匀的而同等对 待处理，于是就产生了比理想编码更多的数据，称之为视觉冗余； ( 5 )知识冗余：是指某些图像的理解和有些知识有很大的相关性： 从以上对视频图像数据中存在的冗余信息的分析，我们可以看出：视频序 列的压缩是可能和可行的，但是图像的压缩也是有一定的限度的，压缩率的高 低很大程度上取决于人们对恢复后的视频质量的要求。 1 2 4 视频图像编码质量的评价 在视频图像压缩编码后，恢复后的图像与原始图像之间存在一些差异，所 以需要对压缩后视频图像的质量进行评价。对压缩后的视频质量进行评价是很 困难的一项工作。一般来说，当前用的较多的评价方法有以下两种【6 l ： ( 1 ) 客观质量的评估 为了在实际的视频编码应用过程中描述解码图像相对原始图像误差程度， 对恢复后的视频图像质量有一个定量的描述，引入了视频图像客观质量的评价 准则。最常用的评估准则有两种：一种是均方误差方法，是对整个图像或图像 中一个指定的区域进行的某一种平均计算，从而得到均值误差。令原始图像为 口o ，j ) ，0 s f s m - 1 , 0 j s n - 1 ( 1 ) 3 第1 束绪论 相应压缩后的还原图像为 口( f ，j ) ，0s ism - 1 , o 墨j sn q 误差图像表示为 e g ，j ) 一a ( i ，j ) - a ( i ，) ，0s fsm - 1 , os _ sn 一1 ) 均方误差表示为 。赤荟磊e 2 ) 有时也用均方根表示误差 ( 2 ) ( 3 ) ( 4 ) 暑【】l ，2 ( 5 ) 另一种更常用的客观评估准则是信噪比表示方法，是用分贝表示压缩图像 的定量性能评价，信噪比基本定义为： 姗圳埘毒娑 荟荟( m 沪m 脚2 ( 6 ) 文献中常用的是峰值信噪比( p s n r ) ，设口一l l g 2 x 一1 ，k 代表表示每个像素 点的比特数。则 】( 7 ) 荟荟( 口( f ，j ) 一口o ，j ”2荟荟( 口( f ，j ) 一口o ，j ) ) 2 在许多视频序列和图像处理应用环境下，用的最多的是k = 8 ，所以有些文 献直接写为 p s n r 1 0 1 9 【而下马 荟磊( 口一口) 2箭镯 ( 2 ) 主观质量的评估 对压缩图像质量的第二种评估方式是主观评估，即选择一组评价者对待评 估的图像经行评分，然后对所有的主观评估分数进行加权平均，所得的即为主 4 笫1 章绪论 观评价分，在图像质量的主观评价方法上有国际通行的5 级评鉴的质量尺度和 妨碍尺度两种方法，如表1 2 所示g 表1 2 图像质量的土观评价评分标准 每一种得分记为c 。，每一种得分的评价人数为n i ，那么主观评价得分即平 均感觉分m o s ( m e a no p i n i o ns c o r e ) 为 传c i m o s ：筚 ( 9 ) 佴 比如果段视频的评分为2 5 分，则说明视频图像的质量比较差一些。虽然 主观的视频质量评价更接近与人们的真实视觉感受，但是在现实操作中成本较 高，而且要耗费一定的人力和时间，所以在实际的操作中多倾向于用客观的视 频质量评估准则来评价视频图像。 1 3 数字视频压缩编码标准的发展历史 随着数字视频处理技术的快速发展，各种数字视频应用同我们同常生活的 关系越来越密切，例如数字电视、视频电话、视频会议和视频监控等，近来， 随着第三代移动通信( 3 g ) 技术更是把视频的即时传输作为发展的重点。这些 视频应用技术的飞速发展极大地推动了视频编码技术标准的制定和发展。实际 上，自2 0 世纪8 0 年代以来，国际标准化组织及国际电工委员会( i s o i e c ) 和国 际电信联盟远程通信标准化组( i t u t ) 两大国际性组织就着手推出了一系列针 对不同应用方向的数字视频编码标准，主要包括i s o i e c 的m p e g 系列和l t u t 5 第1 章绪论 的h 2 6 x 系列。 自从1 9 8 4 7 】年国际电报电话咨询委员会( c c i t t - - i n t e r n a t i o n a lc o n s u l t a t i v e c o m m i t t e eo nt e l e c o m m u n i c a t i o n sa n dt e l e g r a p h y ) 第1 5 研究组发布了数字基群电 视会议编码标准h 1 2 0 建议，1 9 8 8 年c c i t t 通过了“p 6 4 k b i t s ( p = 1 ，2 ，3 ， 3 0 ) 视频编码标准h 2 6 1 建议后，视频编码标准的制定迅速发展起来，1 9 8 6 年 i s o 和c c i 1 7 成立了联合图像专家组_ j p e g ，1 9 9 2 年通过了j p e g 标准；1 9 8 8 年i s o i e c 成立了活动图像专家组一m p e g ，1 9 9 1 年制定了m p e g 1 视频编码 标准，码率为1 5 m b i t s ；紧接着于1 9 9 4 年制订了m p e g 2 标准，主要用于数字 电视广播( d v b ) 、商用d v d 的视频压缩和高清晰度电视( h d t v ) ；随后，1 9 9 5 年，u t 针对低于6 4 k b i t s 低码率的视频传输，发稚了h 2 6 3 的视频压缩标准， 主要应用于分组交换数据网p s d n 信道中的多媒体通信、视频会议等。随后又 推出了h 2 6 3 + 、h 2 6 3 + + 等标准；1 9 9 9 年i s o i e c 公布了m p e g 4 标准；2 0 0 3 年3 月i s o i e c 和i t u t 联合公布了h 2 6 4 a v c ( 高级视频编码) 的视频压缩 标准，不仅具备良好的网络亲和性，还明显提高了压缩效率。 1 3 1m p e g x 系列视频压缩标准 m p e g 1 标准 1 9 9 1 年制定完成的m p e g 1 标准主要是为了视频存储介质( 如v c d ) 制定 的，其目标应用码率为1 - 1 5 m b s ，可提供2 5 帧c i f ( c o m m o ni n t e r m e d i a t e f o r m a t ) v h s ( v i d e oh o m es y s t e m 家用录像系统) 质量的图像。此外m p e g 1 还 提供了视频序列的随机读取、快进和快退等功能。 m p e g 1 在典型的运动补偿预测编码( m c p c ) 框架的基础上，运用了双向 预测技术和1 2 像素搜索，首次引入了b ( b i p r e d i c t e d ) 帧图像即双向预测图像， b 帧不被用于其它b 帧或p ( p r e d i c t e d ) 帧( 预测图像) 的运动补偿预测，可以容忍 较大的失真，并能够提供相对i ( i n t r a ) 帧( 帧内图像) 和p 帧更好的编码质量 和较高的压缩效率。此外，m p e g 1 还包含完整的音频编码、系统控制及一致性 测试规范。 m p e g 2 标准 在m p e g 1 基础上发展起来的音视频编码标准m p e g 2 ，则是主要针对广播 级高质量音视频领域的应用。m p e g 2 的目标码率为3 3 5 m b s 。m p e g 2 相 m p e g 1 ，加入了可伸缩性编码和对隔行扫描的支持。支持4 种可分级编码模式： 6 第1 章结论 数据划分、s n r 分级、空间分级和时域分级，极大增强了该标准的实用性。目 前，该标准在d v b 、d v d 、h d t v 、s d t v 等领域应用很广。 m p e g 4 标准 从1 9 9 4 年丌始启动到1 9 9 9 年，首个m p e g 4 官方的版本正式发布，m p e g 4 的一个显著特点是提出了视频对象( v o ) 的概念，引入了基于对象的编码技术。 另外，m p e g 4 还应用了形状编码、多边形匹配、重叠运动估计、亚像素搜索等 多种技术。m p e g 4 不但支持低于6 4 k b s 的视频，而且还支持广播级的音视频 的应用和多媒体信息基于内容的检索和访问。 对于复杂的视频对象，因存在自动分割的困难，所以在实际的应用中， m p e g 4 的应用上使用最多的是简单档( s i m p l ep r o f i l e ) 和增强的简单档 ( a d v a n c e ds i m p l ep r o f i l e ) 。而基于对象的技术和概念则没有包含于这两档之 中。 m p e g 7 和m p e g 2 1 m p e g 7 和m p e g 2 1 并不是属于视频压缩技术标准，m p e g 7 标准称为“多 媒体内容描述接口( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) ”，m p e g 7 确立各 种类型多媒体信息的标准描述方法，方法是描述符和描述方案的组合，并与所 描述的内容紧密相关。m p e g 1 、m p e g 2 、m p e g 4 是对信息进行有效的表示， m p e g 7 标准化了一种描述语言，指定一个用于描述多媒体信息的描述符标准 集，将定义其它描述符的方法标准化，对信息的表示方法进行描述，为各种表 示法的适当部分提供索引。前三种编码方法使得信息的内容变得容易获取， m p e g 7 则使在需要时能找到它。 m p e g 2 1 是用于支持电子内容的传输及电子商务出现的国际标准。它的主 要研究目标是：分析是否需要将协议、标准、技术等不同的技术元素有机地结 合在一起；分析是否需要新的规范；分析如果具备前面的两个条件，如何将不 同的标准集成在一起。m p e g 自2 0 0 0 年6 月开始着手定义2 1 世纪多媒体应用 的标准化技术一m p e g 2 1 “m u l t i m e d i af r a m e w o r k ，m p e g 2 1 是一个能互操 作和高度自动化的框架，并且还考虑了对象化的多媒体接入和不同网络与终端 传输等要求。 1 3 2h 2 6 x 系列视频压缩标准 h 2 6 1 标准 7 第1 章绪论 在1 9 8 8 - - 1 9 9 3 年之间制定的h 2 6 1 标准，是最早出现的视频编码标准，h 2 6 1 首次采用了运动补偿预测编码加d c t 变换的方式，为视频编码技术的后续发展 奠定了基础，其输出码率是6 4 k b s 的整数倍( 1 3 1 ) 。h 2 6 1 的制定主要应用于 i s d n 会议电视和可视电话等业务，支持c i f ( 3 5 2x2 8 8 ) 和q c i f ( 1 7 6 1 4 4 ) 视频图像格式，帧率为3 0 f s 。由于只使用l 帧和p 帧两种帧模式，运动估计采 用的也是整像素运动矢量，所以h 2 6 1 的压缩码率并不高。 h 2 6 3 标准 h 2 6 3 标准【8 】是1 9 9 6 年3 月为支持低速率通信制定的，主要在i s d n 、p s d n 和无线网络技术中应用较多，对于c i f 视频图像格式，h 2 6 3 在1 2 8 k b s 一1 m b s 码率范围内，相比h 2 6 1 能得到更高的压缩率。另外，h 2 6 3 在复杂度增加不多 的情况下，能够提供更好的图像质量。 自h 2 6 3 发布以来，随着视频技术的发展，l t u t 于1 9 9 8 年发布了h 2 6 3 的第二版h 2 6 3 + ，提出了分级编码、灵活视频格式、补充增强信息、高级帧内 编码方法及增强p b 帧等一些新的可选特性。 在2 0 0 0 年，i t u t 又发布了h 2 6 3 的第三版h 2 6 3 + + ，在h 2 6 3 + 的基础上， 又增加了一部分优化选项，这些优化选项被整合后，构成了h 2 6 4 的前身 h 2 6 4 l 。 h 2 6 3 第一次提出了如变块大小的运动估计、无限制运动估计、初始运动矢 量预测、多参考帧运动估计等概念，在h 2 6 x 系列标准的发展中具有里程碑的意 义。 h 2 6 4 标准 h 2 6 4 1 9 】是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动 图像编码专家组) 组成的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的一个新的 数字视频编码标准。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个草 案，2 0 0 1 年5 月制定了其测试模式t m l - 8 ，2 0 0 2 年6 月的j v t 第5 次会议通过 了h 2 6 4 的f c d 板。2 0 0 3 年3 月正式发布正式成为官方标准。h 2 6 4 在i t u t 的标准中称为h 2 6 4 建议，而在i s o i e c 中作为m p e g 4 第1 0 部分( a d v a n c e d v i d e oc o d i n gp r o f i l e ) 。当前，h 2 6 4 标准在很多视频处理领域的应用已成为研究 的热点，市场上很多d s p 芯片已具备在标准分辨率下实现h 2 6 4 编解码器的技 术和高分辨下实时解码的能力。随后几章将重点介绍h 2 6 4 标准和在d s p 上实 现编解码的方法。 8 第1 章绪论 1 4 选题的提出及选题背景 近年来，随着我国经济的快速发展和人们对社会安防方面的强烈需求，视 频监控技术得到了广泛的应用和发展。由于视频信息给人的感觉真实、印象深 刻、较语音信息具体及客观效果好，且实时性强，所以视频监控已成为当前学 术和工业研究中一个最活跃的研究领域之一。监控系纠1 0 j 一般指在诸如机场、 银行、智能大厦等公共场所设立的为保障安全的实时监视系统。利用视频监控 系统可对突发事件实时跟踪并快速做出反应，当自i ，我幽很多大城市都实行了 全城监控的方针，利用数字视频监控技术在公路口、高速入口、商场、银行等 公共场所实施全天2 4 小时监控，有力地打击了不法活动，大大提高了反应速度 和处理效率。 另一方面，视频信号的信息量大及高带宽性的特点也给视频信息的高效存 档和远程传输提出了挑战。h 2 6 4 视频压缩标准以其高效的压缩与传输效率使图 像压缩技术上升到了一个更高的阶段，能够提高监控图像信息的存档效率和在 较低带宽下提供更高质量的视频质量。但h 2 6 4 惊人的计算量和计算复杂度也使 h 2 6 4 的普及应用遇到了前所未有的挑战。而超大规模集成电路技术的发展，d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 技术也不断地推陈出新，发生着同新月异的变化。近 年来，随着d s p 技术和其他处理器的结合，出现了针对各种类型应用的真正片 上解决方案。美国t i ( t e x a si n s t r u m e n t s ) 公司生产的t m s 3 2 0 d m 6 4 2 芯片以其 强大的运行速度、灵活丰富的资源配置及极低的功耗为数字图像的高效处理提 供了良好的硬件平台。用d s p 作为视频监控系统的主处理器，h 2 6 4 作为视频 压缩算法，可以获得高压缩率，提高存储效率，在较低的带宽下实时传输较高 质量的视频。同时d m 6 4 2 平台良好的网络亲和性便于实行基于i p 的网络传输， 因此，深入研究基于h 2 6 4 的视频压缩算法在嵌入式视频监控系统中的实现具有 重要的现实意义，对视频监控技术的发展提供了很大的帮助。 1 5 本论文的主要工作 本论文主要对u - t 和i s o h e c 联合制定的最新视频编码标准h 2 6 4 中的 关键技术进行了讨论分析，针对h 2 6 4 的编码特点和d m 6 4 2 芯片的高速数据处 理能力的特性提出了设计基于d m 6 4 2 的视频监控系统硬件框架，并对主要模块 的配置进行说明，最后给出了实验的结果。本文主要内容如下： 9 第1 章绪论 第1 章：绪论，主要介绍课题的背景及课题的必要性： 第2 章：h 2 6 4 视频编码标准分析，详细分析了h 2 6 4 的发展基础及关键技 术。如编解码器的结构，整体框架，h 2 6 4 支持的测视频格式、码流格式、帧结 构以及h 2 6 4 关键技术所包含的帧内预测编码技术、运动估计技术、整数d c t 变换和熵编码技术； 第3 章：视频监控系统的硬件设计，分析了t m s 3 2 0 d m 6 4 2 多媒体芯片的 特点、内存结构及其应用领域，并提出了系统的整体硬件设计框架，给出了主 要模块如视频解码模块、时钟、电源、s d r a m 的配置方法与连接框图； 第4 章：视频监控系统平台的软件设计与代码优化，主要介绍h 2 6 4 编码过 程中的代码优化及移植，以满足视频监控系统实时处理的要求。另外分析了系 统的接口配置情况，给出了部分程序。 第5 章：选用h 2 6 4 标准中的j m 8 6 版本在d m 6 4 2 硬件平台上实现了视频 监控功能，最后给出了实验的结果。 第6 章：对全文进行了总结。 1 0 第2 章h 2 6 4 视频编码标准分析 第2 章h 2 6 4 视频编码标准分析 2 1引言 h 2 6 4 是一个新的、备受关注的视频编码标准。其前身是由h 2 6 3 发展起来 的h 2 6 l ，l 在这罩代表l o n gt e r m ，以区别h 2 6 3 版本2 和3 。由于它相对于 m p e g 4 的优良表现，2 0 0 1 年底，i s o i e c 的m p e g 加入到标准的丌发过程中， 与v c e g 组成j v t 。到2 0 0 2 年底，h 2 6 4 完成了所有的技术工作，2 0 0 3 年底正 式成为官方标准。 目前，h 2 6 4 标准已经制定完成，从各种实验结果来看，的却达到了当初提 出的目的。相比于其它标准，h 2 6 4 具有以下特点： ( 1 ) 低码率，高质量： h 2 6 4 和其它一些编码标准相比，在相同质量的情况下，h 2 6 4 相对于h 2 6 3 的b a s e l i n e 能节省4 0 5 0 的码纠1 1 】。图1 给出了h 2 6 4 和其它一些编码标准 的比较图： t e m p e t ec i f 3 0 h z q u a l 竹 y o p s n r 【d b 】 b i t - r o l e 瞰m 删 图2 1h 2 6 3 ，m p e g 2 ，m p e g - 4 和h 2 6 4 的比较 上图是h 2 6 3 、m p e g 2 、m p e g 4 和h 2 6 4 压缩性能的一个比较：图中横 坐标代表码率( 单位：k b p s ) ，纵坐标代表的是视频的质量，用视频亮度分量的 8 7 6 5 4 3 2 1 o 9 8 7 6 5 3 3 3 3 3 3 3 3 3 2 2 2 2 2 第2 章h 2 6 4 视频编码标准分析 信噪比( 单位：d b ) 来表示，d b 越高表示视频质量越好。使用的测试序列是标 准测试序列t e m p e t e ( c i f ，3 0 帧s ) 。由图中我们可以看到，在四个编码标准中， m p e g 2 的编码效率最低，h 2 6 3 次之，然后是m p e g 4 ，编码效率最高的是 h 2 6 4 。从视频质量上看，当图像客观质量达到3 1 d b 时，h 2 6 4 产生的码率仅约 为3 5 0 k b p s ，m p e g 4 需要5 1 0 k b p s 左右，h 2 6 3 约为6 2 5 k b p s ，m p e g 2 则接近 于1 m b p s 。 ( 2 ) 应用范围广泛： h 2 6 4 的不同档既可以应用于对时延要求较低的方面如流媒体、视频存储 等，也能应用于对时延有严格要求的实时通信【1 2 j 。 ( 3 ) 鲁棒性一抗误码性能： h 2 6 4 针对分组交换网中的分组丢失和无线网络中的比特误码都在设计时 提出了相应的解决办法和工具，使h 2 6 4 在多种网络中传输时具备更好的抗误码 性。 ( 4 ) 针对多种网络的亲和性： 在h 2 6 4 标准中增加了网络适应层( n a l