（通信与信息系统专业论文）h26l算法优化及其dsp电路实现.pdf

北京j | | | i u 大学坝卜论文 h2 6 l 算法优化及jcd s pl u 路实现 摘要 h 2 6 l 是继h 2 6 3 、m p e g - 4 之后的新一代视频压缩编码标准，它在编码效 率和图像质量方面比现有的国际标准均有很大的提高。本论文在详细研究了 h 2 6 l 的体系结构、核心技术的基础上，根据实时视频通信应用的需要，对h 2 6 l 的编码、解码算法进行了多层次的优化，大大提高了算法的编码速度，优化后的 代码能在硬件开发平台上对实时视频信号进行编码和解码。在此基础上，本论文 还设计完成了基于t m l 3 0 0 芯片的硬件电路系统，该硬件系统能够直接运行上 面提到的优化算法，并对实时的信号进行编解码。具体而言，本论文主要完成了 下面几项工作： 1 在深入研究h 2 6 3 的基础上，对视频编码标准h 2 6 l 的特征和关键算法 的实现进行了详尽的分析。 2 以h 2 6 l 的t m l - 5 代码为基础，结合p h i l i p s 公司t m l 3 0 0 硬件开发平 台的特征，对h 2 6 l 编码、解码算法进行了多层次的优化。经过优化后的 h 2 6 l 代码对c i f ( 3 5 2 x 2 8 8 ) i 墨1 像序列的编码速率可达1 0 f p s ，可基本满足 实时视频通信的要求。利用t m l 3 0 0 的开发环境，在实时操作系统p s o s 中对编码和解码算法进行了自环测试。测试结果表明：经过优化的算法能 够实现视频信号的实时采集、实时编码和实时解码，解码后的图像播放流 畅。 3 对d s p c p ut m l 3 0 0 芯片的内部结构和外围接口做了全面的研究，分 析了它在多媒体应用方面的优越性能。在此基础上实现了以t m l3 0 0 为核 心的硬件系统设计，包括：方案的设计，外围芯片选择、原理图和p c b 板 的绘制、驱动的编写以及部分调试工作，目前已经完成了系统的一级启动、 二级启动及视频输入等大部分的调试。 j ! 窒! ! ! ! ! l ! 叁堂! ! 。! 丝苎 ! ! 竺塑：鲨垡些垡苎旦翌堕! ! ! 堕 a b s t r a c t h2 6 li san e wg e n e r a t i o no fv i d e oc o d i n gs t a n d a r d ，w h i c hc a ng r e a t l y e n h a n c e dt h ec o d i n ge f f i c i e n c ya n dt h ev i d e oq u a l i t yc o m p a r e d t ot h ee x i s t i n g s t a n d a r d sw e o p t i m i z e dt h ea l g o r i t h mo fe n c o d e r a n dd e c o d e ri nh 2 6 if r o m m u l t i l a y e r s b a s e do nt h es y s t e ma r c h i t e c t u r ea n dc o r et e c h n i c so fh 2 6 3 ， c o n s i d e r i n gt h ef e a t u r eo fr e a it i m ei m a g ec o m m u n i c a t i o n ，t h ee n c o d e rs p e e d i s g r e a t l yi m p r o v e dt h a t i tc a nb ei m p l e m e n t e di nh a r d w a r ed e v e l o p m e n t p l a t f o r mt oe n c o d ea n d d e c o d er e a it i m ev i d e o b e s i d e st h a t ，w ea l s of i n i s h e d t h ed e s i g no ft m13 0 0b a s e dc o r ep r o c e s s o rh a r d w a r ec i r c u i ts y s t e m t h e o p t i m i z e dp r o g r a mw er e f e r e dc a nr u ni n t h ec i r c u i t s y s t e mt o e n c o d ea n d d e c o d er e a lt i m ev i d e os i g n a l s i nd e t a i l t h i sp a p e r sm a i nw o r k si n c l u d et h e f o l l o w i n g ： 1 a n a t y s i s e dt h en e w f e a t u r e sa n dt h ek e ya l g o r i t h m so fh 2 6 lb a s e do n h 2 6 3i nd e t a i l 2 o p t i m i z e dl h ea l g o r i t h mo fe n c o d e ra n dd e c o d e r i nh 2 6 lf r o mm u l t i i a y e r sc o n s i d e r i n g t h ef e a t u r eo ft m13 0 0b a s e dh a r d w a r e d e v e l o p m e n tp l a t f o r mo fp h i l i p si n c t h es p e e do fo p t i m i z e dp r o g r a m f o re n c o d i n gc i f ( 3 5 2 x 2 8 8 ) i m a g ei su pt ol o f p st h a ti ti ss u i t a b l ef o r r e a lt i m ev i d e oc o m m u n i c a t i o n w et e s tt h es e l f - l o o po fe n c o d e ra n d d e c o d e rj n p s o so p e r a t es y s t e m t h e t e s tr e s u l t sa r et h a tt h e o p t i m i z e dp r o g r a mc a na c h i e v er e a l t i m el i v e c a p t u r i n g ，e n c o d i n g ， d e c o d i n ga n dp l a y i n gt h ed e c o d e dv i d e of l u e n t l y 3 r e s e a r c h e dt h ei n t e r n a ls t r u c t u r ea n dt h ee x t e r n a li n t e f f a c eo f t r i m e d i ab a s e dd s p c p u ，a l s oa n a l y s i s e dt r i m e d i a s o u t s t a n d i n g p e r f o r m a n c ew h e nu s e dt op r o c e s sm u l t i m e d i ap r o g r a m f u r t h e r m o r e w ed e v e l o p e dt h et r i m e d i ab a s e dc o r ep r o c e s s o rd s pc i r c u i ts y s t e m 。 i n c l u d i n gd e s i g no ft h ew h o l ec i r c u i ts y s t e m ，e x t e r n a ic h i ps e l e c t i n g s c h e m a t i ca n dp c bd o c u m e n t s ，d r i v e rp r o g r a ma n dt h em a i nd e b u g w o r k ss u c ha sf i r s tr a n kb o o t 。s e c o n dr a n kb o o ta n dv i d e oi np a r t ，e t c ! ：! 竺望鲨堡垡丝! ! ! ! ! ：! ! 塑兰婴 墨二里鲨堡耍笪塑茎壁! ! ! 第一章视频通信技术概述 第一节视频通信中的关键技术 随着社会的进步和科学技术的发展，人们对信息与通信的要求已日益不满足 于单一的语音与文字的交流，而是更需要语音、数据、图像和文字组成的综合信 息的交流。因为这样一种多类形式的信息承载媒体的综合，往往带给人们更自然、 更生动、更有效的信息，这就是多媒体信息。所谓多媒体技术，是指把视、声、 图、文等多种综合信息媒体通过计算机进行数字化采集、获取、压缩、加工处理、 存储和传播而综合为一体化的技术。正因为多媒体信息的重要性，多媒体技术已 成为信息与通信领域中最引人注目的发展方向之一。 众所周知，多媒体信息量巨大，给计算机造成了处理上的很大困难，同时也 给传输多媒体信号的网络带来了很大的压力。视频是多媒体中的最主要的信息内 容，也是数据量最多的信息。因此网络技术和视频压缩技术成视频通信中的关键 技术。无论从信息还是娱乐角度，图像都具有文字无法取代的优越性。因此视频 通信被广泛的认为是继传统语音通信后下一代通信的主要内容，将会取代语音而 成为电信网发展的原动力。随着网络技术和视频压缩技术的发展，而且人们对视 频业务的需求在目渐发展，视频通信技术将会得到很广泛的应用。 1 1 视频及视频技术 所谓视频，简单地说就是一系列在屏幕上快速刷新的连续图像。视频投术， 顾名思义就是研究有关视频( 也称为视频图像) 的各种技术。在人类通过自己的 感觉器官获取的各类信息中，绝大多数( 约7 0 ) 是来自视觉。因为图像所携带 的信息量要远大于语音和数据，这就决定了图像通信将成为人类最重要的通信手 段之一。而视频又在图像信息中最富有魅力和感染力，因此视频技术的重要性就 不言而喻了。视频信息具有确切、直观、具体生动、效率高、应用广等系列的 优点。 视频技术包含的内容可以概括为以下六个大的方面： 1 视频信号描述 为了处理、传输和存储视频信息，必须对视频信号进行描述。按视频图像所 占空间的维数划分，有二维视频图像、三维视频图像和多维视频图像。 电视摄像机的作用就是将视频图像转换为电信号。任何时刻，电信号只有一 个值，即是一维的但视频图像通常是二维的，将二维视频图像转换为一维电信 号是通过光栅扫描实现的。扫描方式主要有逐行扫描和隔行扫描两种。 隔行扫描行的集合称为场。因此，帧由两个场组成。逐行扫描有以下优点： 图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换能改善视频 压缩效率，等等。其缺点是：数码率高，行扫描频率增高，硬件难度加大。 目前的电视系统大都采用隔行扫描，因为隔行扫描能节省频带，且硬件实现 简单。但逐行扫描能获得更好的图像质量和更高的清晰度，不过这是以增加带贲 1 2 6 l 鲫法优化及j ed s i ，i 也蹄实现 撼一章视频通竹中的荚镊| ! 技术 和成本为代价订勺。 帧频是指帧霞复的频率，场频指场重复的频率。根搬人眼的视觉惰性，当帧 ( 场) 耋复频率太低时，会有闽烁感觉。不引超闪烁感的最低重笈频率称之为 滔 界闪烁频率，略低于2 4 h z 。当帧频高于临界频率时，主观感觉亮度为显示亮度 豹平均德。疆 亍掇攒就是利鼹这一特性交鼹阗烁溪象的，遮可薄低行扫攒黪频率， 使得传输频带樽以压缩。 2 。视频信号的数字化 为了翊数字传输视频信号和糯计算机处理视频信息，首先要解决的问题是将 视频信号数字化，这涉及到视频信号的扫描、抽样、量化和编码。抽样过程就是 在每条拳平扫攒线上，等阕疆邀攒取视频强像戆馕，莠只姣瑾饔传徐这些糖群值。 经过抽样后的视频图像，只怒空间上的离散像素阵列，而每个像素的值仍然 鼹连续的，必须将它转换为有限个离散值，这个过程称为量化。如果像素值等间 隔分瑟羹讫，霜稼之先殇匀量纯；若使髑j # 等阉鞴进行分层量亿，刘称为非均匀 鼹化。 视频信号是一穗有灰度层次的图像信号。视频信号数字编码麴实质楚：僳谨 一定覆黧( 信嗓比要求或主观评价得分) 的前提下，以尽可能少的比特数表示视 频图像。对视频信号所需的量化比特数，除了可用信噪比来估计外，更重要的事 憝送行主鼹译徐测试。壤据主穗淫徐褥分寒决定毒觅频售弩瑟嚣豹照伍魄褥数。 3 视频信号的处理 视频绩号处嫒是指掇援人的簧求对攫频强像避行菜耱处理，主要篷掇： + 消除视频储号产生、获取和传输过程中产生的失真和干扰，使视频信号尽 可能逼真地重现景物。 + 校据菜些漆襄，尽可缝除套视频潮像中韵无矮信怠舔突出簇主要赣怠。 + 从视频图像中提取某些特征，以便对其进行描述、分类和识别。 4 视频僖号的压缨 众所周知，襁开发多媒体应用系统时，遇到的最大障碍是对多媒体信息巨大 数据量所进行的采集、存储、处理和传输，其中数据量最大的是数字视频数据。 铹舞，l 旗6 4 0 4 8 0 分辨率懿彩镪整像( 2 4 跑特像素) ，箕数据爨约为0 + 9 2 r o b ， 如果以每秒3 0 帧的速度播放，则视频信母的数弼率高达2 7 6 m b p s 。如果存放在 6 5 0 m b 的光盘中，在不考虑音频倍号的憾况下，镣张光擞也只能援放2 4 秒锌。 霞然，裰颓压缩技术是多媒体技术的关键。 s 视频信号的传输 为了裔效两离凄垂遗传输褪颧信号，需要解决以下凡个问题； + 如何降低甚至消除视频信号在传输过程中引入的各种噪声和干扰，是视频 信号传输蘩鳃决的越要闯题。透鬻敬鼹决办法毒采怒纠镫缡玛、蠹逶痤均 衡和自适应滤波等。 + 为了节省频带，除了使用商效压缩技术压缩信源信息之外，还可以使用先 进的数字诞裁技术，镄懿残整透带镶裁( v s b ) 、爱交旗瘦灞裁( q a m ) 和格状编粥调制( t c m ) 等。 + 视频信号除可通过广播( 卫星广播、地面广播) 传输外，逐可以遭过有线 毫撬、竞终、微波耦各静羽户线避舒传输。随着窄带综合效务数字网的普 及和宽带综合业务数字网的发展，视频通信的前景将会更加光明。 竺! 些塑堇垡些丝! ! ! 翌! ! 塑壅些笙二翌塑塑望! i ! 竺茎壁垫查一 6 视频信号的存储 视频信号的存储主要是研究如何在各类存储媒体( 模拟的或数字的) 上记录 视频信号。 在上面所列举的六类视频技术中，视频信号的数字化技术和视频压缩技术是 其中最重要的部分，这两部分也通常被统称为视频编码技术。近年来，正是视频 编码技术所取得的长足进展为视频技术的发展和广泛应用提供了坚实的保证。同 时，视频存储、传输和处理以及超大规模集成电路技术的迅速发展，都大大扩展 了视频技术的应用领域。 1 2 宽带网络技术 宽带网络就是依靠宽带技术为基础构建的网络体系。多媒体信息的数据含量 远远超过了以前的语音的数据量，在传输速率不能降低并且同时信息容量增大的 情况下，电信网络必须提高传输通道的容量和速度，否则不能保障及时、准确、 完整的传递。 宽带网络技术按其技术结构可分为宽带传输网、宽带交换网和宽带接入网三 个部分。传输网是所有信息元素传输的基础通道，信息单元和数据就是通过传输 网络实现从源地址到目的地址的转移；宽带交换网络通过对信息单元的接收、分 拣和转发的过程，实现了信息的相互交换过程；接入网是整个宽带网络中与用户 相连的最后一段，用户通过接入网接入到宽带网上。 1 宽带接入网 接入网建设占全网投资的比例最大，技术复杂、实施困难，并且影响面广。 当前常用的窄带接入技术主要有频带m o d e m 技术和窄带i s d n 接入技术。 v 9 0 标准的m o d e m 下行速率是5 6 k b p s ；窄带i s d n 接入技术可以通过基本速率 ( 2 b + d ，1 4 4 k b p s ) 接口为用户提供端到端的全数字连接的各种电信业务。 目前采用的宽带接入的方式主要有：基于现有铜缆线路的宽带接入方式、基 于光纤的宽带接入方式和基于固定无线的宽带接入方式等，其中基于现有电话线 的a d s l 、有线电视网络铜缆资源的c a b l em o d e m 宽带接入方式和光纤+ 以太网 的接入方式在今后的几年的时间里将是宽带接入的主要方式。而光纤+ 以太网的 接入方式在我国的发展势头最为强劲，因为它是新建信息化智能小区首选的接入 方式。目前几种主要的宽带接入技术如下： + a d s l ( a s y m m e t r i cd i g i t a ls u b s c r i b e rl i n e ) 接入 + c a b l e m o d e m 接入 + 光纤+ 以太网接入 + l m d s ( l o c a l m u l t i p o i n td i s t r i b u t i o ns e r v i c e s ) + 移动i p 接入( 3 g ) 2 宽带传输网 伴随着光纤通信技术的发展，宽带网络传输的主要物理介质必然是光纤。 s d h 传输网络是完整严密的的传输网络，有世界统一的网络节点接口；并有 丰富的开销比特用于网络的管理和维护和统一的标准光接口，能够在基本光缆段 实现横行兼容；采用s d h 组网技术还可以构成具有高度可靠性的自愈环结构， 确保实现业务的透明性。 h2 6 l 算法优化驶j cd s pi u 路实现 2 f ；一章视频通信中的关键技术 光纤通信继续向大容量、高速纵深发展，为宽带网提供了坚实的基础。目前 采用密波分复用( d w d m ) 技术的高速传输系统，其速率可达到4 0 0 g b p s 。 当前传统语音网络和数字网络正在走向统一。t c p i p 协议将在整个网络占据 统治地位。i p 可以承载数据业务、实时语音、视频等交互式多媒体业务。未来 网络是以i p 为核心构筑的综合传输语音、数据、和视频的宽带网络。 3 宽带交互技术 传输技术逐渐向宽带过渡时，各种业务依赖的交换设备也有了相应的发展， 以i p 和a t m 为代笔的分组转发和交换技术是当前网络建设中的热点。i p 的灵 活特性和a t m 的快速交换能力使他们在今后的宽带网络中发挥重要的作用。 异步转移模式一a t m 是目前解决宽带业务交换的一种方案。a t m 可以全面 支持多媒体通信的要求，可以承载数据业务、语音业务以及视频业务，同时也可 以支持以太网、令牌环和f d d i 用于局域网、p p p 、s l p 以及m o d e m 用于广域 网等各种各样的网络机构。a t m 能够提供一个公共的、统一的网络交换框架， 支持用户对数据、语音和视频的综合要求。 路由交换机一路由交换机结合第二层交换的功能和传统基于软件的功能，采 用硬件专用电路( a s i c ) 进行路由识别、计算和转发，由于其实现了无阻塞交 换，速度很快，能够处理线路上满负荷信息，又被称为线速路交换机。同时它是 基于第三层i p 的路由交换，也被称为第三层路由交换机。目前吉比特的路由器 可达线速率，同时，更高速率的太比特路由器也己问世，足以与a t m 交换抗衡。 随着信息社会的到来，人们对多媒体通信的需求日益迫切。窄带网络的宽带 化将是必然，未来的宽带网络将是一个易于使用的、安全的、多功能的、信息含 量丰富的、信息形式多元的、开放的电信网，构成信息高速公路的基础设施。 第二节视频编码的国际标准 因为视频业务的数据量大，可压缩的冗余信息多，而且是判别多媒体服务质 量好坏的主要因素，视频编码技术是多媒体应用的核心。视频的编码技术将是今 后多媒体视频通信中的核心技术之一，图像编码理论和数字技术的的逐渐成熟促 进了视频通信的发展。学术和应用领域都致力于视频技术的研究，并且制定了 系列国际标准。在视频应用中，编码方法的选择不但要考虑到压缩比、信噪比， 还要考虑到算法的复杂性。太复杂的编码算法可能会产生较高的压缩比，但也会 带来较大的计算开销，软件实现时会影响通信的实时性。目前，在众多视频编码 算法中，影响最大并被广泛应用的是i s o i e c 的m p e g 系列和i t u t 的h 2 6 x 系，u 标准。如：i t u th 2 6 1 ，h 2 6 3 和i s o i e c 的m p e g 1 和m p e g 2 等。这 些标准覆盖了很大的视频速率范围和应用领域，支持不同速率、不同的图像质量 要求等条件的视频业务，能够满足包括电视会议、视频电子邮件、可视电话、广 播级视频应用等不同要求的服务。随着视频应用需求的不断发展，视频压缩技术 也有了很大的提高，新出现的压缩标准有了更高的压缩效率( 在相同的图像质量 下需要更低的传送码率或在相同的传输速率提供质量更好的图像) ，同时支持不 同的传输速率以适应不同的传送网络。下面分别介绍相关的图像编码标准。 4 ! 堑! 堑鲨! 望! 丝! ! 里! ! ! ! 些兰婴 兰二兰i 型型型翌型生型型! 互 2 1m p e g 系歹0 运动图像专家组( m o v i n g p i c t u r e e x p e r t s g r o u p ，m p e g ) 原来是 i s o i e c j t c l s c 2 9 下面的第1 l 工作组w g l l ，成立于1 9 8 8 年，任务是研究 开发活动图像及其声音的数字编码国际标准。m p e g 从开始的1 5 家单位发展 到现在的1 0 0 多家单位参加。i s o m p e g 在1 9 9 1 年1 1 月提交了i s o1 1 1 7 2 标准“用于数字存储媒体的码率为1 。5 m b i t s 的活动图像及其声音编码( c o d i n g o fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i of o rd i g i t a ls t o r em e d i a a tu pt o1 5 m b i t s ) ”建 议草案，即通常所说的m p e g 一1 。该标准于1 9 9 2 年1 1 月通过，1 9 9 3 年8 月 公布。在影视和多媒体计算机领域中得到了广泛应用。 m p e g 1 标准主要是为了视频存贮媒体如v c d 而制定，该标准能够适应变 码流的处理，其主要目的是在1 1 5 m b i t s 的情况下，提供3 0 帧c i f ( 3 5 2 2 8 8 ) v h s 的质量的图像。m p e g 1 的实时编码通常需要硬件才能完成，解码可以用 软件来完成。m p e g 1 不能提供分级图像编码，也不能在丢包率高的情况下应 用。 1 9 9 2 年7 月m p e g 开始制定m p e g 2 ，面在此之前，i t u t 也成立了一 个a t m 环境下图像编码的专家组，由此开始了j t c l 和i t u t 的合作。 m p e g 2 是m p e g 制定的第二个国际标准。m p e g 一2 标准扩展了m p e g 1 标准， 能够支持高分辨率图像和声音。目标码率是在3 1 5 m b i t s 传输速率条件下提 供广播级的图像，而且能够提供信噪比( s n r ) 、时间和空间三种分级编码。该 标准应用于卫星广播时，在当前的一个模拟信道中，不牺牲质量的情况下能提供 5 路数字的编码节目。 m p e g 4 是i s o m p e g1 9 9 1 年5 月提出并于1 9 9 3 年7 月得到确认，其 目标是极低码率的音频视频压缩编码，它支持用于通信、访问和数字视听数据 处理的新方法( 特别是基于内容的) 。考虑到低损耗、高性能技术提供的机会和面 临迅速扩展的多媒体数据库的挑战，m p e g 4 将提供灵活的框架和开放的工具 集，这些工具将支持一些新型的和常规的功能。m p e g 4 支持逐行扫描和隔行扫 描，是基于视频对象的编码标准，通过对象识别提供了空间的可伸缩性，m p e g 4 标准是今后一段时间压缩标准的主流。m p e g 4 标准既能够支持码率低于6 4 k b i t s 的视频应用，也能够支持广播级的视频应用。与其他压缩标准相比，m p e g 4 标 准在d c t 的基础上引入了图像模型的概念从而具有更高的压缩效率。m p e g 一4 的工作集中于发展m s d l ( m p e g 一4s y n t a c t i cd e s c r i p t i o nl a n g u a g e ) 语言。m s d l 和j a v a 的思想一样，能够通过下载功能模块部分建立新编解码器。m p e g 。7 ( 1 9 9 6 2 0 0 0 ) 是多媒体内容描述接口，与前述标准集中在音频i 视频内容的编 码和表示不同，它集中在对多媒体内容的描述。 2 2h 2 6 x 系列 h 2 6 1 与h 2 6 3 标准主要面向于低码率的视频应用，如可视电话和会议电视。 h 2 6 1 是最早出现的视频编码标准，它的输出码率是6 4 k b i t s 的倍数。 h 2 6 1 视频压缩编码是图像压缩编码领域4 0 年研究成果的结晶，是第一个 在国际上产生广泛影响的视频压缩编码标准，随后的m p e g 系列标准中的视频 压缩编码算法无论从原理和基本框图来看都是以h 2 6 1 为基础的，是对h 2 6 1 蔓! ! ! ：竺鲨些丝丝! ! 里! ! ! ! 些壅些笙= 里望塑望笪堕茎壁垫查一 的重要发展和改进。h 2 6 1 主要是为了i s d n 的会议电视和可视电话的应用，其 基本算法与m p e g 标准类似但h 2 6 1 所需要的计算量能够显著下降。这种算法 通过均衡图像质量和运动来优化带宽，所以对于快速运动的图像，图像重建质量 会下降。h 2 6 1 的输出速率是恒定的，而图像质量非恒定。 h 2 6 3 是i t u 关于码率低于6 4 k b s 的窄带信道视频编码建议，它是在 h 2 6 1 建议的基础上发展起来的，其帧频为每秒1 0 帧以上，图像分辨率为1 7 6 象素1 4 4 行( q c i f 格式) 或者1 2 8 象素9 6 行( s q c i f 格式) 。h 2 6 3 是为了支持低速率的通信而制定的标准，但同时希望码流能够适应较大的动态范 围，而不仅限于低码率，能够取代h 2 6 1 。h 2 6 3 的容错能力很强，能适应误码 率高的信道。h 2 6 1 和h 2 6 3 的主要区别在于：h 2 6 3 在运动估计时采用了半像 素精度，h 2 6 1 是整像素精度。同时h 2 6 3 还增加了四个选项：搜索范围不受限 的运动估计( u n r e s t r i c t e dm o t i o nv e ：c t o r s ) ，算术编码( s y n t a x - b a s e da r i t h m e t i c c o d i n g ) ，高级预测( a d v a n c e dp r e d i c t i o n ) ，类似于m p e g 的前向和后向预测帧 ( p b 帧) 。 h 2 6 3v e r s i i o n2 ( 或称h 2 6 3 + ) 是在h 2 6 3 的基础上以增加编码的可选项 的形式改进的，在语法上与h 2 6 3 兼容，但编码效率有很大提高，适用范围也更 大。其主要的应用方向仍是低码流的视频业务，用于p s t n 以及无线接入的高误 码比的通信环境，因此在h 2 6 3 + 中既增加了一些改进编码效率的方法，同时也提 高了抗误码性能的能力。由于实现成本较低，h 2 6 3 + i 际准已经越来越多地被采用。 h 2 6 3 + + 已经由i t u - t 正式制定为标准，并且在h 2 6 3 + 的基础上增加了三个 选项，主要是为了增强码流在恶劣信道上的抗误码性能，同时也是为了增强编码 效率。这三个选项分别为： + 选项u ( a n n e xu ) ：一个增强型的参考选择( e r p s ) 。能够提供增强的编 码效率和信道错误再生能力，实现e r p s 模式时需要设计多缓冲区用于存 贮多参考帧图像。 + 选项v ( a n n e xv ) ：一个数据分片的模式( d p s ) 。能够提供增强型的抗 误码能力( 特别是在传输过程中本地数据被破坏) 。d p s 的思想是通过分 离视频码流中d c t 系数和运动矢量数据，将运动矢量的数据采用可逆编 码的方式进行保护。 + 选项w ( a n n e x w ) ：在h 2 6 3 + 的码流中增加的补充信息，保证增强型的 反向兼容性。附加信息包括指示采用的定点i d c t 、图像信息和信息类型、 任意的二进制数据、文本( 任意的版权、标题、视频描述，统一的资源识 别) 、重复的图像头( 当前的、前帧、可靠参考时间的下一帧，不可靠参 考时间的下一帧) ，交替的场( 上或下场) 指示，稀疏的参考帧识别。 在m p e g - - 4 规格里，新增了动画压缩率约为以往方式两倍的新方式“m p e g 4 a d v a n c e dv i d e oc o d e c ( a v c ) ”。2 0 0 2 年1 2 月9 日1 3 日期间在日本香川县淡 路岛举行的m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 聚会上已确定了相关技术规 格。在规范书定稿以后，会在2 0 0 3 年3 月1 7 日被确定为国际标准规范( i s ) 。a v c 为过去被称作“m p e g - 4 v i s u a lp a r t1 0 ”规格，采用了近似d c t ( 离散余弦变换) 的整数运算来替代迄今为止在m p e g - 1 2 4 中所采用的d c t ，因此它与以往的 m p e g - 4 编码播放设备不兼容。标准化将由m p e g 的上级组织i s o i e c 和i t u 共i 司成立的小组( j v t ) 负责进行，a v c 也被称作“i t u t h 2 6 4 ( l ) ”。据称该 压缩标准能够在i n t e m e t 上，通过使用比其他同类标准少得多的网络资源，传播 d v d 品质的媒体内容。在下一章我们将详细介绍h 2 6 l 算法标准。 h2 6 l 算法优化及id s pi 也路实现第一章视频通信中的关键技术 2 3j p e g 在1 9 8 6 年，i s o 与c c i t t 联合成立“联合图片专家组( j o i n tp h o t o g r a p h i c e x p e r t sg r o u p ，j p e g ) ”，研究制定“静止图象数字压缩编码标准( d i g i t a l c o m p r e s s i o n a n dc o d i n go f c o n t i n n o u s t o n es t i l ti m a g e s ) ”。1 9 8 7 年1 1 月，i e c 也 参加合作，因此，j p e g 是三者联合的结果。经过多次国际会议讨论和修改后， 于1 9 9 1 年3 月提交j p e o 建议草案，1 9 9 2 年7 月通过正式标准。j p e g 用 于连续变化的静止图象，包括灰度等级和颜色两方面的连续变化。j p e g 有两种 操作模式，一是以d c t 为基础的有损压缩方法；二是以熵编码为技术的无损压 缩方法。 随着通信技术( 尤其是移动通信) 、图像压缩技术和集成电路技术的发展， 个人视频通信正成为现实，个人视频通信的显著特点是交互性和极低的通信码 率，极低码率通常指编码后的码率低于6 4 k b s 。因此，极低码率数字视频压缩 编码是国际上的研究热点，h 2 6 3 和m p e g 4 是这方面的两个比较成功的标准。 但是这两个标准还不能完全满足在有限的带宽中传输高质量的图像序列，目前图 像专家正致力于有更高压缩特性的编码标准一h 2 6 l f 4 ) 。 坚! ! ! ：塑鲨婴塑塾! ! 竺竺! ! 塑壅些 笙三垩堑二垡竺塑燮! ! 整堕! ：堑! 第二章新一代的视频编码算法h 2 6 l 第一带h 。2 6 l 算法简介 随蕊社会的信息化，人们对图像业务的需求越来越大，同时对褫频图像的质 量也提出受高的要求。宽带通信网的急速发展，尤熊是移动通信网络的日新月异， 大大的促进了视频通信的大两积应用。3 g 发展的主要目的就是让移动网不仅能 支持语落业务，更主要的用途是承载视频业务。同时随着电子技术的飞跃发展， 媒体处遐嚣豹计算能力也正以成倍的速度增长，为终端设备支持离质爨的视频提 貘了可辘。在这静壤嚣下，发袋耱熹编强牲畿秘菇菝误码经爱豹裁簇缡码技零 已成为趋势。h 2 6 l 是继h ，2 6 3 和m p e g ，4 的下代视频编码标准，葵基本结梅 和h 2 6 3 相似，但也有不同的地方： 只肖个v l c 表用于符号编码。 + 运动估计的精度可以达到1 4 象素。 + 逯幼估计中采用了几种不同大小的块。 + 残余编码采瘸4 x 4 的块共采蠲整数变换。 + 多参考参蠡选择溺于预测，爨蘧不霉零要瑟枣蜜。 1 1h 2 6 l 的发展 随赭多媒体技术的发展，数字视频技术的应用范围越来越多，会议电视、 v c d 、数字电视以及高清激发电。筏( h d t v ) 等毅技术积薪系统正迅速是避我们的 生滠。与健统懿模援电视程凌，这些薮系统戆突懑猿煮是采溪了全数字鹣强缘， 声音簸瑷技术。随着这些数字电视系统的磊盏戒熟和不断发震，针对不阍的应用 领域，一系列相应的数字视频音频编码标准也迅遮地被制定并不断得剡完善，其 中包括：成用于会议电视及可视电话的h 2 6 1 ，h 2 6 3 ，用于静止图像压缩的j p e g ， 用于y c d 的m p e g 1 和用于广播电视、d y d 以及h d t v 的m p e g 2 。这些标 准的制定使各个不同设备制造厂商所生产的各种数字视频设备可以相互配合使 焉，组成嚣季孛不羼豹视频庞翔系统。这遣极大逡浆劲了这一枣场豹发袋。嚣兹有 嚣个歪式嚣黪缝缓受责制定筏貘蓬臻算法标准，令是i s o 蔗e cj t c i 懿m p e g 系罗( e g ，m p e g l ，m p e g - 2 ，m p e g 一4 ) 。还有一个虢楚i t u t 的h 2 6 x 系列( e g 。 h 2 6 1 ，h 2 6 2 ，h 2 6 3a n dh 2 6 l ) 。 i t u t 的h 2 6 x 系列标准主要是为实时数字视频通信应用所制寇的，例如视 频会议，和会议电话等等。岛此同时，m p e g 系列标准主要是为了满足数字视频 的存储( d v d ) ，广捶( b r o a d c a s t1 v ) 以及流媒体的应用( e gv i d e oo v e rt h e i n t e m e t ，v i d e oo v e rd s l ，v i d e oo v e rw i r e l e s s ) 联定戆。多数疆援下，这嚣令蕴 绥都是备囊铡定鑫己豹轹潦，唯一的铡舞就是h 2 6 2 m p e g 2 ，它蹙露着两个绣 织共同制定的。h 2 6 l 最早怒由i t u t 视频编码专家组( v c e g ) 辩1 9 9 7 年开 始研究工作。到2 0 0 1 年底，成用h 2 6 l 算法的些软件所表现出来的压缩质量 和效率融经超过了现存的应用m p e g - 4 算法的软件。当i s o i e c 遮幼图像专家 g ! ! ! ! ：塑! i 坐壅丝! ! 里! ! ：! ! 堕塞坐 兰三里堑二垡塑型塑堕型竺堕旦墨竺 绢( m p e g ) 看到h2 6 l 可以比m p e g 4 耿得更好的图像压缩性能时，就决定加 入i t u tv c e g ，从而组织了一个联合视频组( j v t ) 进行新的视频编码标准 h 2 6 l 的开发和制定。j v t 的目标是制定一个新的视频编码标准作为i t u t 新的 系列标准以及i s o i e c 的m p e g 系列标准之一，这就是h 2 6 l 。这个标准既是 一种的新的m p e g 4 标准( m p e g 一4v i s u a lp a r t1 0 ) ，又是一种新的i t u - - t 推荐 标准h 2 6 x ( h 2 6 4 ) 。图2 1 总结了i t u t 和i s o i e c 视频编码技术的发展过程。 图2 1i t u t 系列建议及m p e g 际准的发展 1 22 6 l 算法简介 进行h 2 6 l 视频压缩算法研究的主要目的是采用目前广泛采用的视频压缩算 法韵系统结构开发出一种高效的视频压缩标准。h 2 6 l 采用“返回基本”的思想 去开发高性能的视频编码标准，即采用现有的基本算法和结构，通过精心优化计 算流程和方法来取得更好视频编码性能。与现有的h 2 6 1 ，h 2 6 3 标准相比，h 2 6 l 保持了编码器的系统结构不变( 图1 2 ) ，主要包括四个步骤： 1 把一帧图像划分为小块( m a c r ob l o c k 及b l o c k ) ，每个小块包含很多像素 点，把对整幅图像的编码分成对许多小块的处理。 2 通过对图像块的变换，量化和熵编码( 或变长编码) 消除图像中的空间 冗余。 3 由于相邻的各帧图像存在很大的相似性( 即时间冗余) ，所以我们只需要 将相邻帧图像间的变化进行编码传送即可，这是通过运动搜索和运动补偿 实现的。对每一个编码块，通过搜索上一编码帧( 或之前的几帧) 的相应 位置来找到一个运动向量，这一向量将和帧间差值一起传送，用于这一图 像块的编解码。 4 残余编码：对于原始块和相应的预测块之间的差值进行变换，量化和熵 编码，以去除当前帧的剩下的空间冗余。 但是与以前的编码算法 l 2 6 3 相比，h 2 6 l 加入了一些新的特性( 图2 3 ) 以提高编码效率。这些特征如下： 1 对于进行帧内编码的图像，不是直接对原始图像进行变换，量化和编码， 而是首先采用多种不同的预测方法对图像进行预测，然后对差值进行上述 处理，以取得更佳的编码效率。 2 在运动搜索和运动补偿方面，h 2 6 l 采用了从4 * 4 到1 6 1 6 共7 种搜索块 进行运动搜索以提高匹配程度，采用1 4 像素精度进行搜索以提高搜索精 9 h2 6 l 算法研究及】cd s pi 也蹿实现 筇一节新一代的视频编码算法h2 6 l 度。另外根据对编码延时的不同要求，h 2 6 l 还可以对之前的多个已编码 帧进行运动搜索以达到最佳的效果。 3 在变换编码方面，h2 6 l 采用了4 * 4 的整数变换代替d c t 变换，整数变 换的效果接近d c t 但是运算量要少而且在反变换过程中不会由于计算精 度问题而日1 入误差。 4 在熵编码过程中，h 2 6 l 使用单一的变长编码( u v l c ) 或者基于内容的 自适应二进制算术编码( c a b a c ) 进行编码。 匿娩2 相同的编码结构 一一j 黜兰= 。| z “。a 。n 。d 盘滁。 m u l t i p l er d t r e 删p i c t u r es e i e c t ；o “ 图2 3 不同的编码特征 望! 竺塑鲨业! ! 丝! ! 里望! ! 堕丝型 笙三里堑二垡塑塑塑竺竺竺堕旦：! 生 这些新的特征使得h ，2 6 l 的编码性能优于其他的标准。其优越性能包括： 1 最多可节省5 0 的比特率：与h 2 6 3 v 2 ( h 2 6 3 + ) 或m p e g 一4 相比，在相 同的编码质量条件下，h 2 6 l 最多可以节省5 0 的比特率。 2 高质量的图像质量：h 2 6 l 在各种比特率条件下，包括低比特率时，都可 以提供满意的图像质量。 3 适应不同的延时要求：h 2 6 l 可以在低延时模式下工作以适应实时通信 应用( 例如会议电视等) ，另外在无延时要求的应用中( 例如视频图像的 存储，基于服务器的视频流应用等) ，h 2 6 l 也可以在高延时的模式下工作 以取得最佳的压缩效果。 4 容错性：h 2 6 l 提供了相应的工具来处理包交换网络中的丢包和易于产 生误码的无线信道中的误码问题。 5 网络友好性：h 2 6 l 的另外一个特性就是它将视频编码层( v c l ) 和网络 适配层( n a l ) 进行分离。视频编码层( v c l ) 是对视频图像内容进行高 度压缩后的表示层，而网络适配层( n a l ) 则对压缩后的内容进行打包， 再把它们送入不同类型的网络上。这两层的分离使得对图像内容的打包和 优先级的控制更加容易。 第二节h 2 6 l 算法分析 虽然h 2 6 l 仍然采用了类似于h 2 6 3 的总体结构，但的确增加了一些新的特 性来提高系统的性能，包括：帧内预测编码、整数余弦变换( i n t e g e rc o s i n e t r a n s f o r m ! c t ) 、1 8 象素精度的运动补偿、多模式运动估计、通用变长编码与自适应二进 制算术编码等等。下面我们将详细介绍h 2 6 l 的这新特点。 2 1 帧内预测编码 我们知道，在视频编码标准( 如h 2 6 3 ) 中，凡是采用帧内预测的图像帧被 称作i ( i n t r a ) 帧。对于i 帧图像，h 2 6 3 及以前的编码标准都