（通信与信息系统专业论文）基于avs的视频监控系统及图像质量评价.pdf

基于a v s 的视频监控系统及图像质量评价 摘要 随着数字技术的快速发展和应用领域的扩展，视频监控系统也 走上数字化的道路，而数字视频编解码技术就成为了其中的关键技 术之一。 作为第二代信源编码标准之一，a v s 标准与国际标准h 2 6 4 标准、 m p e g 4 标准代表了目前最先进的视频编解码技术。而a v s 标准与 后两者相比，更是有算法复杂度低和自主知识产权等优点。这对a v s 标准在我国多媒体技术领域的应用和推广有十分重要的意义。 本文研究了a v s 在视频监控系统中的应用，在充分研究了a v s 标准的解码流程基础上，实现了采用a v s 解码技术的视频监控服务 器软件。软件在a v s 参考软件r m 的基础上开发，采用多线程技术 实现多路视频并行解码，能够从网络接收a v s 码流进行四路c i f 格 式码流的实时解码显示。 在完成a v s 解码的视频监控服务器软件的基础上，本文根据数 字电影图像的特点，在d c i 数字电影编码系统项目的背景下，研究 了图像质量评价的客观方法。本文提出了以峰值信噪比为基础，结 合结构相似度和基于人眼视觉系统的数字电影图像质量客观评价方 法。在符合全球第一个数字电影工业规范( d c i 规范) 的数字电影 编码系统中实现了算法，并给出了评价结果，提出了评价其图像质 量的解决方案。 关键词a v s 视频监控解码d c i 数字电影图像质量评价 v i d e om o n i t o rs y s t e mb a s e do na v sa n di m a g e q u a l i t ya s s e s s m e n t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fd i g i t a lt e c h n o l o g ya n dt h ee x p a n s i o n o fi t sa p p l i c a t i o n ，t h ed i g i t a lv i d e om o n i t o rs y s t e md e v e l o p e dg r a d u a l l y a n dd i g i t a lv i d e oc o d e ct e c h n o l o g yb e c o m e si t sk e yc o m p o n e n t a so n e o ft h es e c o n dg e n e r a t i o ns o u r c ec o d i n gs t a n d a r d s ，a v sa sw e l la sh 2 6 4 a n dm p e g - 4s t a n d sf o rt h em o s ta d v a n c e dv i d e oc o d i n gt e c h n o l o g ya t p r e s e n t c o m p a r e dt oh 2 6 4a n dm p e g - 4 ，a v si sp r e d o m i n a n tb e c a u s e o fl o w e r a l g o r i t h mc o m p l e x i t y a n dh a v i n g p r o p r i e t a r y i n t e l l e c t u a l p r o p e r t yr i g h t s t h e s er e a s o n sa r eo fg r e a ts i g n i f i c a n c et ot h e a p p l i c a t i o n a n d p r o m o t i o no fa v s s t a n d a r d si nm u l t i m e d i at e c h n o l o g ya r e ai nc h i n a t h e a p p l i c a t i o no fa v s i nv i d e om o n i t o rs y s t e mi sr e s e a r c h e di nt h i st h e s i s a f t e ra d e q u a t er e s e a r c ho fd e c o d i n gp r o c e s si na v ss t a n d a r d ，av i d e o m o n i t o rs e r v e rs o f t w a r ei s i m p l e m e n t e d b a s e do na v sd e c o d i n g t e c h n o l o g y t h i sp r o j e c ti sd e v e l o p e do nt h eb a s eo fa v sr e f e r e n c e s o f t w a r er ma n ds o l v e dt h ep a r a l l e ld e c o d i n gp r o b l e mo fm u l t i p l e x i n g v i d e ou s i n gm u l t i t h r e a dt e c h n o l o g y a n di tc a nr e c e i v ea v ss t r e a mf r o m n e t w o r k sa n dd e c o d ea n ds h o wf o u rc i fs t r e a m s s i m u l t a n e o u s l y b e s i d e s ，a c c o r d i n gt ot h ec h a r a c t e r i s t i co fd i g i t a lf i l mi m a g e ，t h e o b j e c t i v ed i g i t a lf i l mi m a g eq u a l i t ya s s e s s m e n ti sr e s e a r c h e da g a i n s tt h e b a c k g r o u n do ft h ep r o j e c to fd c id i g i t a lc i n e m ap a c k a g ep r o d u c t i o n s y s t e m i m a g eq u a l i t ya s s e s s m e n tb a s e do np e a ks i g n a lt on o i s er a t i o ， t o g e t h e rw i t hs t r u c t u r a ls i m i l a r i t ya n dh u m a nv i s i o ns y s t e mi sp r o p o s e d i nt h et h e s i s t h ea l g o r i t h mi sr e a l i z e di nt h ed i g i t a lc i n e m ac o d i n g s y s t e mw h i c hc o n f o r m st ot h ef i r s td i g i t a lf i l mi n d u s t r ys p e c i f i c a t i o ni n t h ew o r l d ( d c is p e c i f i c a t i o n ) a n dt h ee x p e r i m e n t a lr e s u l t sa r ep r o v i d e d v k e yw o r d s ：a v sv i d e om o n i t o r d e c o d i n g d c i d i g i t a lf i l m i m a g eq u a l i t ya s s e s s m e n t 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 毫! 堡起 同期： 幽：兰：! ! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释： 本人签 导师签 适用本授权书。 同期： 型；兰：! 翌 r 期：忽址 北京邮i 乜人学硕1 ：研究生学位论文基于a v s 的视频j l 在拄系统及图像质量评价 1 1研究背景 第一章绪论 随着信源编码技术标准的发展，多媒体技术的应用越来越广泛。数字化是 当今多媒技术发展的主流和趋势，视频监控作为多媒体技术的应用之一，也经历 了从模拟视频监控到数字视频监控的发展过程。自上世纪九十年代未，随着视频 压缩编码技术、网络通讯技术的发展，数字视频监控系统迅速崛起。视频压缩编 码技术作为数字视频监控系统的关键技术之一，其研究对数字视频监控系统的发 展有重要而深远的意义。 1 1 1 基于a 、，s 的视频监控系统 纵观视频编解码技术的发展历程，以h 2 6 1 、h 2 6 3 、m p e g 1 和m p e g 2 为 代表的第一代信源编码技术标准，与以h 2 6 4 和m p e g 4 ，a v s 为代表的第二代信 源编码技术标准相比i l j ，新一代视频编码标准在视频压缩性能以及网络应用等方 面较第一代信源编码技术标准有了长足的进步。a v s 标准是中国数字音视频编解 码技术标准工作组( a v s 工作组) 制定的数字音视频编码标准。a v s 工作组成立 于2 0 0 2 年，任务是面向我国的信息产业需求，组织制定行业和国家信源编码技术 标准。 a v s 标准在视频编码方面与h 2 6 4 l 1 , 较接近，性能高，复杂度低，实现成本 低，且专利授权模式简单。作为我国自主知识产权的音视频编解码标准，a v s 的 制定和推广都得到了政府的大力支持。2 0 0 7 年a v s 被国际电联列为国际标准后， 其产业化迅速推进。中国电信、中国网通、信息产业部电信研究院、华为、中兴、 海信等1 8 家企业和单位于2 0 0 8 年初共同发起成立中国互动媒体产业联盟，大力支 持a v s ，产业化前景乐观。目前，a v s 在地面电视、手机电视、直播卫星、高清 视盘机和视频监控系统等领域均有产业化的目标。 为适应我国信息产业的需求而制定的a v s 标准，由于技术优势以及低廉的专 利费用，使其产业化迅速发展起来。目前，i p t v 已经开始应用a v s ，其他领域如 地面电视，手机电视等也都将对a v s 的支持纳入计划。视频监控作为数字视频通 信领域的一个重要应用，有广泛的应用自订景和潜在的经济价值。由于a v s 自身的 特点和优势，它在视频监控领域中的应用将是重要的发展方向。 北京i i $ , e 人学顾i ：研究生学位论文幕十a v s 的说频l 瞌挖系统及图像质量计价 1 1 2 图像质量评价 由于图像携带的信息量大，对传输与存储都是巨大的挑战，因此压缩图像 以适应网络带宽或减少存储空间就显得十分必要了。然而对图像的压缩，有两个 要求。其一是要有足够的压缩比，即是必须压缩到可以应用的程度，例如在一定 的带宽内，或者达到一定的存储空间范围内。其二是图像经过压缩以后，经过恢 复应保持一定的图像质量，即失真应在允许的范围内。 图像质量评价即是对图像的失真进行衡量的过程。图像质量评价在各种图 像处理技术的应用中扮演了重要的角色。对于图像质量的评价，除了对系统进行 客观的数值测试外，还应考虑入的视觉心理等主观因素。 图像质量评价方法分为主观评价和客观评价两类。前者是让观察者根据一 些事先规定的评价尺度或经验对测试图像按视觉效果给出质量分数后，对所有观 察者给出的分数进行加权平均后得到评价结果。由于图像的最终信宿是人，因此 让人作为评价者是最直接的图像质量评价方法。但这种方法操作要求过于复杂， 且存在不确定性，如评价结果受人的心情、疲劳程度等心理因素的影响，往往因 人因时而异。而客观评价的方法是通过建立数学模型来进行的，依据模型给出的 量化指标或参数衡量图像质量，其结果具有数值性、易操作性和可重复性等特点， 较主观评价更容易应用在工程中。 1 2 本人课题任务 本实验室j 下是在这样一个大背景下，进行了“基于a v s 的视频监控系统”课题 的研究。课题的目标是搭建基于a v s 解码的视频监控平台，软件实现解码监控系 统，能够进行四路c i f 格式视频流的实时解码。本人的研究工作是实现一个对四 路c i f 格式视频流采用a v s 实时解码的视频监控服务器软件。 完成这一课题后，还针对与北京电影学院合作丌展的“数字电影发行包制作 方法研究与系统开发”项目，进行了数字电影图像质量评价客观方法的研究。我 的工作是根据数字电影图像的特点，提出了以峰值信噪比为基础，结合结构相似 度和基于人眼视觉系统的数字电影图像质量客观评价方法。并在符合全球第一个 数字电影工业规范( d c i 规范) 的数字电影编码系统中实现了上述算法。 1 3 论文结构 本文余下的章节安排如下： 第二章简要介绍了目前数字视频标准的发展情况，分析了a v s 标准的背景和 北京邮i u 人学硕i ：研究生学位论文綦十a v s 的视频雌挖系统及幽像质量评价 关键技术，与当前其他主流的视频标准进行比较，分析了其应用优势。 第三章针对课题的具体情况，对视频监控系统进行分析，设计了监控系统 服务器软件的各功能模块结构，实现了基于a v s 解码的视频监控服务器软件。软 件支持四路c i f 格式视频的实时解码。 第四章在d c i 数字电影编解码系统的背景下，针对数字电影的特点，研究了 图像质量评价的方法，针对各算法特点，提出了用于数字电影图像评价的方案。 第五章对已完成的工作进行了总结，分析了课题中需要改进和进一步发展 的地方，并指出了后续的研究方向。 北京邮i u 人学颀l ：研究生学位论文幕十a v s 的视频脆控系统及图像质量评价 第二章先进音视频编码标准a v s 视频监控经历了从模拟视频监控到数字视频监控的发展过程。早期由模拟 视频技术产生的闭路视频监控系统是我国第一代视频监控产品。模拟视频监控系 统的技术发展已经非常成熟、性能稳定，在实际工程已得到广泛应用1 2 j 。 然而，数字化是以信息技术为核心的电子技术发展的必然趋势。到二十世 纪九十年代未，随着多媒体技术、视频压缩编码技术、网络通讯技术的发展，数 字视频监控系统迅速崛起。数字化表明系统中的视频、音频和控制等信息流均为 数字状念。信息流数字化、编码压缩和开放式的协议，有利于构建统一的操作平 台来管理和控制，实现系统集成。 对于一个数字化的视频监控系统，视频解码技术是其关键技术。众所周知， 视频包含的数据量非常大，因此在实时传输中必须经过压缩编码。而压缩编码因 采用的算法不同，效果有很大的差异。压缩方法多样化的一个必然要求就是视频 压缩的标准化。因此，视频编解码采用的标准是关注的焦点之一。两大视频编码 标准的组织i t u t 和i s o i e c 和j 定了一系列信源编码技术标准，中国数字音视频编 解码技术标准工作组( a v s 工作组) 也针对我国的信息产业需求，制定了a v s 标 准。这些标准为视频通信提供了适合的编解码技术规范。 2 1a v s 标准 a v s 标准是信息技术先进音视频编码系列标准的简称，包括系统、视 频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准i l j 。其中 第2 部分视频( 简称a v s 视频) 于2 0 0 6 年2 月颁布，3 月实施。视频标准部分 主要面向高清晰度和高质量数字电视广播、数字存储媒体和其他相关应用。它是 国内第一个拥有自主知识产权的数字音视频编解码标准，因此研究a v s 标准，对 推动我国的多媒体产业的发展具有重要的意义。 2 1 1 国际视频编码技术标准回顾 自上个世纪九十年代以来，两大视频编码标准的组织l t u t 和i s o i e c 匍j 定 的一系列信源编码技术标准极大地促进了多媒体技术的发展，加快了其实用化和 产业化的步伐。其中，i t u t 制定了主要应用于多媒体通信领域的h 2 6 x 系列， m p e g 系列标准则是由i s o m c - n 定，它对数字电视、视听消费电子产品、多媒 体通信等信息产业的重要产品产生了深远影响。 北京邮i u 人学硕i j 研究生学位论文 基于a v s 的视频脆挡系统及图像质量计价 根据视频编码标准的发展过程，h 2 6 1 、h 2 6 3 、m p e g 1 和m p e g 2 称为第 一代信源编码技术标准。本世纪以来，第二代信源编码技术标准相继出台，h 。2 6 4 和m p e g 一4 作为新一代视频编码标准，在视频压缩性能以及网络应用等方面较第 一代信源编码技术标准有了长足的进步。 2 1 1 1 h 2 6 x 标准 由l t u t 制定的h 2 6 x 系列标准，包括了h 2 6 1 、h 2 6 3 以及h 2 6 4 。由于这些 标准编码效率高和比特率低的优点，广泛应用于视频通信的各个领域。 1 h 2 6 1 该标准是为在综合业务数字网( i s d n ) 以p x 6 4 k b i t s ( p = l ，3 0 ) 的速率丌展 视频会议和可视电话业务而制定的，要求图像必须和语音密切配合，即具有强实 时性和同步性。h 2 6 1 标准用于电视电话时，p = i 或2 ，用于会议电视视，p = 6 。 h 2 6 1 是最早的运动图像压缩标准。 2 h 2 6 3 h 2 6 3 是为了以速率低至2 0 2 4 k b i t s 传送视频流而开发的。与h 2 6 1 相比， h 2 6 3 标准进一步降低了码率并提高了编码质量。目前，h 2 6 3 编码是i p 视频通信 采用最多的一种编码方法。l t u t t 作组根据不同的需要，对h 2 6 3 标准增加了许 多新的高级功能附加项，对标准制定了新的版本。1 9 9 8 年u t 推出的h 2 6 3 + 是 h 2 6 3 建议的第二版，它提供了1 2 个新的可协商模式和其他特征，进一步提高了 压缩编码性能。 3 h 2 6 4 为了进一步提高视频图像的压缩效率和增强网络友好性，由运动图像专家组 ( m p e g ) 与视频编码专家组( v c e g ) 共同制定了新一代图像压缩标准i t uh 2 6 4 ， 也称作i s o i e cm p e g 4 伊a r t l 0 a v c 。 h 2 6 4 代表了当前业界最先进的视频压缩技术，具有码率低，图像质量高， 网络适应性强，容错能力强等特点。与以往的视频编码标准相比，压缩率显著提 高，而其视频的质量有所提高。在相同的重建图像质量下，h 2 6 4 l i , h 2 6 3 节约5 0 左右的码率。 h 2 6 4 的主要优点如下： 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 并覃i m p e g 4 ( s p ) 减小5 0 码率。 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会议 电视等：又可工作于无时延限制的场合，如视频存储等。 提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的处理， 提高解码器的差错恢复能力。 北京邮l u 人学硕f ：研究生学位论义 皋十a v s 的视频监控系统及幽像质量订价 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级， 以适应不同复杂度的应用。 h 2 6 4 的应用范围是非常广阔的，因其更高的压缩比、更好的i p 和无线网络 信道的适应性，在数字视频通信和存储领域得到越来越广泛的应用。h 2 6 4 标准 由于其能提供稳定的图像质量，具有较强的差错控制处理能力，被更多的应用于 l p t v 、流媒体、移动接收等领域。 但是，我们也应注意到，h 2 6 4 获得优越性能的代价是计算复杂度增加。据 估计，编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。由于其对解码芯片的要求很高，因此在数字电视领域的应用不会超过 m p e g 2 。 2 1 1 2m p e g 系列标准 m p e g 是国际标准化组织和国际电工委员会第一联合技术组( i s o i e c j t c l ) 于1 9 8 8 年成立的运动图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ) 的简称， 全称为i s o i e cj t c l 第2 9 分委会第1 1 工作组( i s o i e cj t c l s c 2 9 w g l l ) ，负责 数字视频、音频和其他媒体的压缩、解压缩、处理和表示等国际技术标准的制定 工作。 一 m p e g 1 i s o 于1 9 9 1 年提出了“用于数字存储媒体的活动图像及其伴音约1 5m b s 的编 码”方案，也就是m p e g 1 标准，标准编号为i s o i e c1 1 1 7 2 ，它广泛应用于视频 的数字存储领域，标准最常用的有四个部分： 1 ) 系统，编号i s o i e c1 1 1 7 2 1 ，阐述视频和音频数据的复用和同步 2 ) 视频，编号i s o i e c1 1 1 7 2 2 ，阐述活动图像的压缩编码方法 3 ) 音频，编号i s o i e c1 1 1 7 2 3 ，阐述伴音的压缩编码方法 4 ) 一致性测试，编号i s 0 1 1 1 7 2 4 近年来流行的v c d 光盘采用的就是m p e g 1 压缩标准。m p e g 1 对可以处理的 图像格式没有严格的规定，但是一般认为，对于s i f ( s o u r c ei n p u tf o r m a t ) 格式 的图像，m p e g 1 算法的效率最高。此时视频信号压缩后的码率约为1 2m b s 。 再加上压缩以后、具有c d 质量的双声道立体声伴音，总码率约为1 4m b s 。 m p e g 1 和h 2 6 1 有共同的数据结构、编码工具和语法元素，然而两者并非完 全后向兼容，m p e g 1 可看作是h 2 6 1 的扩展集，在数字存储介质中实现对活动图 像和声音的压缩编码。 m p e g 2 北京邮l 乜人学硕l ：研究生学位论文幕十a v s 的说频临控系统及l 整i 像质量计价 m p e g 2 是由i s o 的活动图像专家组和i t u - t 的第1 5 研究组共同制定的，于 1 9 9 3 年提出“活动图像及其伴音的通用编码”标准，标准编号为i s o i e c1 3 8 1 8 ： 在1 1 r u t 的协议系列中，被称为h 2 6 2 。1 9 9 3 年，美国的“大联盟”( g r e a t a l l i a n c e ) 和欧洲的d v b 先后决定采用m p e g 2 用于h d t v 广播。其后标准不断扩充，到 1 9 9 5 年底，i s 伽e c1 3 8 1 8m p e g 2 标准共达到9 项，涉及到了系统( 1 s 伽e c 1 3 8 1 8 1 ) 、视频( i s o i e c1 3 8 1 8 2 ) 、音频( i s o i e c1 3 8 1 8 3 ) 、一致性测试等方 面的内容。 制定m p e g 2 的初衷是为得到一个针对广播电视质量的视频信号的压缩编码 标准，但实际上最后得到的是一个通用的标准，它能在很宽范围内对不同分辨率 和不同输出比特率的图像信号有效地进行编码。它支持恒定比特率、可变比特率、 随机操作、信道跳接、可伸缩解码、位流编辑、及快进、快退、常速倒放、慢放 等功能。该标准与m p e g 1 兼容，并与h d t v 、s d t v 兼容。 与m p e g 1 相比，m p e g 2 主要增加了下述几项功能： 1 ) 增加了场图像的场问预测、帧图像的场问预测、用于p 帧的双基预测和用 于场图像的1 6 x 8 预测等四种对隔行扫描图像更为有效的预测模式； 2 ) 除m p e g 1 支持的4 ：2 ：0 的色信号取样模式外，还支持4 ：2 ：2 ，4 ：4 ：4 模式。前 者色信号的样点数在垂直方向上与亮度信号相同，只在水平方向上是亮度信号的 一半；后者色信号的样点数与亮度信号则完全相同。 3 ) 增加了可伸缩的视频编码方式。所谓可伸缩的视频编码是指编码所产生 的码流具有下述特征：对码流的一部分解码和对码流的全部进行解码能够分别获 得不同质量的重建图像。m p e g 2 所支持的可伸缩编码方式有空问可伸缩性、时 间可伸缩性、信噪比可伸缩性和数据分割四种。 m p e g 2 标准是国际公认的d v d 、d v b 和a t s c 的信源编码标准，是针对标准 数字电视和高清电视在各种应用下的压缩方案和系统层的详细规定。它可被看作 是m p e g 1 的扩展集，但不是m p e g 1 的简单升级，m p e g 一2 在系统和传送方面作 了更加详细的规定和进一步的完善，因此特别适合于广播级数字电视的编码和传 送。 一 m p e g 4 m p e g 4 的视频部分建立在m p e g 2 和h 2 6 3 的基础上，但它不只是具体的压 缩算法，而是针对数字电视、交互式绘图应用、交互式多媒体等整合及压缩技术 的需求而制定的国际标准。 m p e g 4 采用了新一代视频编码技术，它在视频编码发展史上第一次把编码 对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素 的传统编码向基于对象和内容的现代编码的转变，因而引领了新一代智能图像编 北京邮i u 人学硕i ：研究生学位论义皋十a v s 的视频! 瞻挖系统及图像质量评价 码的发展潮流。 m p e g 4 代表的是基于模型对象的第二代压缩编码技术，它充分利用了人眼 视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉 内容的交互功能。这些特点适应了多媒体信息的应用由播放型转向基于内容的访 问、检索及操作的发展趋势。 a v 对象( a v o ，a u d i ov i s u a lo b j e c t ) 是m p e g 4 为支持基于内容编码而提 出的重要概念。在m p e g 4 中所见的视音频已不再是过去m p e g 一1 、m p e g 2 中图 像帧的概念，而是一个个视听场景( a v 场景) ，这些不同的a v 场景由不同的a v 对象组成。m p e g 4 标准就是围绕a v 对象的编码、存储、传输和组合制定削引。 a v 对象的提出，使多媒体通信具有高度交互及高效编码的能力，a v 对象编码就 是m p e g - 4 的核心编码技术。 综上所述，h 2 6 x 和m p e g 系列各标准有其各自的特点，但两个体系的标准 相互也有交叉。从应用领域来看，h 2 6 3 和h 2 6 4 主要在实时通信领域，其中h 2 6 4 在i p t v 和移动接收等方面有广阔的前景。而m p e g 2 发展最为成熟，已经被大规 模应用，是电视广播领域的事实标准。m p e g 4 主要应用于多媒体视频和流媒体 等方面。 2 1 2 国内视频编码标准现况 在过去的二十年中，国内多媒体技术的应用有了显著的发展，而对信源编码 技术标准的依赖，主要是i t u t 和i s o i e c 韦i j 定的h 2 6 x 和m p e g 系列标准。这两 个系列的标准极大地影响了中国的多媒体技术的产业化。然而，国际标准的专利 收费繁多，对国内相关行业的繁荣也产生了一些负面影响。 a v s 工作组就是为了面向我国的信息产业需求，组织制定行业和国家信源编 码技术标准，于2 0 0 2 年成立的。成员包括国内外从事数字音视频编码技术和产品 研究丌发的机构和企业。a v s t 作组颁布的a v s 标准是我国具备自主知识产权的 第二代信源编码技术标准系列。 a v s 标准是中国数字音视频编解码技术标准工作组( a v s t 作组) 制定的数 字音视频编码标准。a v s 标准是信息技术先进音视频编码系列标准的简称， 包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑 标准。 a v s 标准包括九个部分i 引，各部分如下： 1 ) 系统2 ) 视频3 ) 音频4 ) 音频5 ) 参考软件6 ) 数字媒体版权管理 7 ) 移动视频8 ) 在i p 网上传输a v s9 ) a v s 文件格式 北京邮l 乜人学颂i ：研究生学位论文皋十a v s 的说频脆控系统及幽像质量评价 其中第2 部分视频( 简称a v s 视频) 于2 0 0 6 年2 月颁布，3 月实施，主要 面向高清晰度和高质量数字电视广播、数字存储媒体和其他相关应用。这一部分 标准是本文研究的重点。 a v s 标准在视频编码方面与h 2 6 4 ：k , 较接近，它具有以下特点：( 1 ) 性能高， 编码效率比m p e g 2 高两倍以上，与h 2 6 4 的编码效率相当：( 2 ) 复杂度低，算 法复杂度i r i s h 2 6 4 低；( 3 ) 实现成本低，软硬件实现成本都低于h 2 6 4 ；( 4 ) 专 利授权模式简单，费用明显低于同类标准1 5 1 。 a v s 作为我国自主知识产权的音视频编解码标准，制定和推广都得到了政府 的大力支持。2 0 0 7 年a v s 被国际电联列为国际标准后，其产业化迅速推进。中国 电信、中国网通、信息产业部电信研究院、华为、中兴、海信等1 8 家企业和单位 于2 0 0 8 年初共同发起成立中国互动媒体产业联盟，大力支持a v s ，产业化前景乐 观。目前，a v s 在地面电视、手机电视、直播卫星、高清视盘机和视频监控系统 等领域均有产业化的目标。 2 1 3a v s 标准的优势和前景 视频编码技术作为视频监控的关键技术，采用的标准是关注的焦点之一。目 前视频监控系统主要采用的图像压缩标准是h 2 6 1 和m p e g 1 ，这两者在应用中具 有适应性和用户交互性差的局限。而m p e g 2 、m p e g 4 、h 2 6 3 和h 2 6 4 等视频 编码标准提供了更高的数据压缩性能，尤其是h 2 6 4 以其高质量、低码率和适应 性强的特点越来越广泛地被应用到视频监控系统中。 2 1 3 1技术优势 a v s 视频的主要特点是应用目标明确，因此技术有针对性。在高分辨率应 用中，其压缩效率明显比现在数字电视、光存储媒体中常用的m p e g 一2 视频提 高一个层次。而在压缩效率相当的前提下，又较m p e g 4a v c h 2 6 4 的m a i n p r o f i l e 的实现复杂度大为降低。 此外，在a v s 标准的发展过程中，已将视频监控作为需求考虑进去，因而 此标准能够适应这一应用的特殊需求。例如a v s 编码技术具有可伸缩性，可以 适应不同的网络环境。另外，a v s 的编码技术易于实现视频对象的分割，有利 于监控系统的预警功能实现。 2 1 3 2 应用优势 然而技术的应用程度与其标准在专利池收费、知识产权和技术实现复杂度等 北京邮i b 人学顺i ：研究生学位论义螭十a v s 的视频仆在控系统及图像质量评价 方面都有密切的联系。相较于h 2 6 4 高昂的专利费，a v s 性能与和h 2 6 4 性能相当， 而其专利池授权模式简单，费用明显低于h 2 6 4 。并且，a v s 的算法复杂度和软 硬件成本都较h 2 6 4 低。因此，a v s 作为我国自主知识产权的标准，在视频监控 领域的应用有很大的优势。 2 2a v s 视频关键技术 2 2 1 编码标准的技术框架 信息技术先进音视频编码( g b 厂r2 0 0 9 0 ) 规定了数字音视频的压缩、解 压缩、处理和表示的技术方案，其中第2 部分视频标准规定了对多种比特率、分 辨率和质量的视频压缩方法，并规定了解码过程。 2 2 1 1 编码框架 a v s 采用与h 2 6 4 相同的混合编码体系，如图2 1 所示，包括变换、量化、熵 编码、帧内预测、帧间预测和环路滤波等技术模块，这也是目前主流的编码体系。 输入视频的帧或场以宏块为单位被编码器处理。 图2 1a v s 编码框裂6 与h 2 6 4 类似，a v s 视频标准也定义了i 帧、p 帧和b 帧三种不同类型的图像。 图中s o 是预测模式选择丌关。对于i 帧中的宏块，只进行帧内预测，而p 帧和b 帧 的宏块则需要进行帧内预测或帧问预测。经过预测之后的残差图像进行8 x 8 整数 变换( i c t ) 和量化，然后对量化系数进行z i g z a g 扫描( 隔行编码块使用另一种 扫描方式) ，得到一维排列的量化系数，最后对量化系数进行熵编码，得到输出 的比特流。 为支持多种视频业务，a v s 标准定义了档次( p r o f i l e ) 和级别( 1 e v e l ) 。档次 北京邮i 乜人学硕f j 研究生学位论文基于a v s 的说频舱挖系统及图像质量评价 是a v s 定义的语法、语义及算法的子集；级别是在某一档次下对语法元素和语法 元素参数值的限定集合。为了满足高清晰度标准清晰度数字电视广播、数字存 储媒体等业务的需要，a v s 视频标准定义了基准档次( j i z h u np r o f i l e ) 和4 个级别 ( 4 0 、4 2 、6 0 和6 2 ) ，支持的最大图像分辨率从7 2 0 x 5 7 6 至l j l 9 2 0 x 1 0 8 0 ，最大比 特率从1 0m b i t s 至l j 3 0m b i 讹。 a v s 视频标准采用环路滤波器对重建图像进行滤波，一方面可以消除方块效 应，改善重建图像的主观质量；另一方面能够提高编码效率。滤波强度可以自适 应调整。 纵观视频编码技术的发展，从框架上来说，a v s 和h 2 6 4 以及以前标准中的编 解码功能块的组成并无太大区别，均是采用变换和预测的混合编码法，主要的不 同在于各个功能块的细节。a v s 与h 2 6 4 的区别也难是体现在这些细节上。a v s 的主要创新在于提出了一批具体的优化技术，在较低的复杂度下实现了与国际标 准相当的技术性能，但并未使用国际标准背后大量复杂的专利。 2 2 1 2 解码框架 解码过程是编码的逆过程，解码流程如图2 2 所示。编码器输出一个a v s 压缩 码流，码流经过网络传输或存储后作为解码器的输入。a v s 压缩比特流经过熵解 码得到量化扫描后的变换系数，重新排列，再反量化、反变换，得到残差图像。 只进行帧内预测的图像帧直接进行坏路滤波，重新构建恢复图像。而进行过帧间 预测的图像帧，需要将残差与预测块相加，再经过滤波，重构图像。 帧h j 预测：参，考帧 ， 一 一 一 一帧内预测 a v s 码流一一一 一，；， 。 一- + 熵解玛? 重捧序? ，反量化：，反变换! ，+ 一i ，环路滤波，重构帧 图2 2a v s 解码框架 在视频编码标准中，p 帧为前向预测帧，b 帧为双向预测帧。p 帧和b 帧编码 需要进行帧间预测，而解码的时候也依赖于参考帧。在传统的视频编码标准中， p 帧的参考帧为一帧，b 帧参考帧为两帧。而h 2 6 4 采用了多参考帧技术，允许p 帧和b 帧有多个参考帧。鉴于a v s 标准的目标是要以较低复杂度实现视频编解码， 故采用的参考帧为两帧。 北京邮i 乜人学硕l ：研究生学位论文 綦于a v s 的说频舱控系统及图像质量订价 2 2 2 核心技术解析 2 2 2 1 编码 a v s 视频编码当中具有特征性的核心技术包括：8 x 8 整数变换、量化、帧内 预测、1 4 精度像素插值、特殊的帧问预测运动补偿、二维熵编码、去块效应环 路滤波等。 变换、量化 h 2 6 4 标准为了避免正变换和逆变换不匹配的问题，采用4 x 4 整数变换。而 此之前的标准均采用8 x 8d c t 变换。a v s 从编码性能和实现复杂度等多个角度考 虑，选择8 x 8 整数变换，并将变换和量化结合在一起进行考虑，以减少变换和量 化过程中取整的误差。a v s 标准采用正向和反向缩放都在编码器上实现，因此解 码器效率更高。 帧内预测 a v s 标准规定了i 帧、p 帧和b 帧三种类型的图像。i 帧只进行帧内预测编码， 而p 帧和b 帧需要进行帧内或帧l 日j 预测编码。a v s 的帧内预测技术沿袭了m p e g 4 a v c h 2 6 4 帧内预测的思路，用相邻块的像素预测当前块，采用代表空间域纹理 方向的多种预测模式。但a v s 亮度和色度帧内预测都是以8 x 8 块为单位的，5 种亮 度预测模式，4 种色度预测模式。在编码质量相当的前提下，a v s 采用较少的预 测模式，使方案更加简洁、实现的复杂度大为降低。 帧间预测 帧间运动补偿编码是混合编码技术框架中最重要的部分之一。a v s 标准采用 了1 6 x 1 6 、1 6 x 8 、8 x 1 6 和8 x 8 的块模式进行运动补偿，而去除了m p e g 4 a 、，c h 2 6 4 标准中的8 x 4 、4 x 8 、4 x 4 的块模式。实验表明，对于高分辨率视频，a v s 选用的 块模式已经能足够精细地表达物体的运动。较少的块模式，能降低运动矢量和块 模式传输的丌销，降低编解码实现的复杂度。 a v s 和h 2 6 4 都采用了1 4 像素精度的运动补偿技术。h 2 6 4 采用6 抽头滤波器 进行半像素插值并采用双线性滤波器进行1 4 像素插值。而a v s 采用了的4 抽头滤 波器进行半像素插值和1 4 像素插值，在不降低性能的情况下减少插值所需要的 参考像素点，减小了数据存取带宽需求，这在高分辨率视频压缩应用中是非常有 意义的。 在传统的视频编码标准中，双向预测帧b 帧都只有一个前向参考帧与一个后 向参考帧，而前向预测帧p 帧则只有一个前向参考帧。而h 2 6 4 充分地利用图片之 北京邮l 乜人学硕i ：研究生学位论文皋十a v s 的说频监控系统及幽像质量评价 间的时域相关性，允许p 帧和b 帧有多个参考帧，最多可以有3 1 个参考帧。多帧 参考技术在提高压缩效率的同时也将极大地增加存储空间与数据存取的开销。 a v s 规定参考帧为两帧，其参考帧存储空问与数据存取的开销并不比传统视频编 码的标准大，而恰恰充分利用了必须预留的资源。 a v s 标准中b 帧的双向预测使用了直接模式( d i r e c tm o d e ) 、对称模式 ( s y m m e t r i cm o d e ) 和跳过模式( s k i pm o d e ) 。使用对称模式时，码流只需要传送前 向运动矢量，后向运动矢量可由i j i 向运动矢量导出，从而节省后向运动矢量的编 码开销。对于直接模式，当前块的前、后向运动矢量都是由后向参考图像相应位 置块的运动矢量导出，无需传输运动矢量，因此也可以节省运动矢量的编码丌销。 跳过模式的运动矢量的导出方法和直接模式的相同。跳过模式编码的块其运动补 偿的残差也均为零，即该模式下宏块只需要传输模式信号，而不需要传输运动矢 量、补偿残差等附加信息。 熵编码 对预测残差的块变换系数，经扫描形成( 1 e v e l 、r u n ) 对串，采用二维联合编 码，并根据当i j i f l e v e l 、r u n 的不同概率分布趋势，自适应改变指数哥伦靠码的阶 数。 a v s 视频目前定义了一个档次( p r o f i l e ) ，即基准档次，又分为6 个级另l j ( 1 e v e l ) ， 分别对应高清晰度、标准清晰度与c i f ( 1 4 标清，相当于v h s 或v c d 质量) 应用。与 h 2 6 4 的b a s e l i n ep r o f i l e 相比，a v s 视频增加了b 帧、i n t e r l a c e 等技术，因此其压缩 效率明显提高，而与h 2 6 4 的m a i np r o f i l e 相比，又减少了c a b a c 等实现难度大的 技术，从而增强了可实现性。 2 2 2 2 解码 a v s 标准定义了编码后的比特流结构。码流分为视频序列，图像，条带，宏 块和8 x 8 块这五种句法元素，下面介绍各句法元素的含义以及解码过程。 句法元素 视频序列是比特流的最高层语法结构。视频序列由序列头开始，后面跟着 一个或多个编码图像，每帧图像之前有图像头。编码图像在比特流中按比特流顺 序排列，比特流顺序应与解码顺序相同。解码顺序可与显示顺序不相同。序列结 束码表明了一个视频序列的结束。 一幅图像即是一帧，其编码数据由图像起始码丌始，到序列起始码、序列 结束码或下一个图像起始码结束。在比特流中，隔行扫描图像的两场编码数据可 依次出现，也可交融出现。两场数据的解码和显示顺序在图像头中规定。图像的 北京