（计算机应用技术专业论文）基于h264的群集转码系统的研究与实现.pdf

捅要 摘要 随着流媒体技术的进步和宽带网络的建设，i p t v 在全球已得到较快发展。 i p t v 核心业务v o d 需要将各种各样的节目源转码为符合i p t v 系统的格式，这 对现存数十万个小时的节目内容提供商来说，将是一项巨大的工作。目前，视频 点播的内容提供和内容制作方面明显不足，很多运营商将大量的人力物力投入在 节目制作过程中。随着i p t v 的进一步发展，高效灵活的转码系统将越来越体现 出其优势及必要性。 本文针对目前转码效率低、人力物力浪费严重的缺点，提出了适合转码工厂 级别的群集转码系统软件的解决方案，并完成了此方案的开发工作。本系统具备 高效、批量、自动化的转码功能和灵活的插件扩展功能。 在大量研究了编解码技术( m p e g 2 和h 2 6 4 标准) 、转码技术、转码体系结 构、x m l 协议、j 2 e e 技术体系以及l i n u x 操作系统平台等技术后，本文使用c 语言，基于面向服务的架构思想，提出并实现了转码工作站软件的核心架构，即 插件服务体系架构系统，并且在此架构之上，完成了转码工作站的开发工作，包 括d v d 片源提取插件、编码格式转码( m p e g 2 h 2 6 4 ) 插件、文件存储插件、 转码控制插件。 鉴于目前x m l 技术已经十分成熟可靠，且数据表现能力强，本文提出转码 工作站与中控服务器的x m l 通信协议，代替了传统的通信方式，使传递的信息 内容更加灵活丰富，验证解析也更加简便。 本文针对i p t v 领域转码系统的特定需求( 包括功能性需求和非功能性需求) 进行了认真细致的分析，在此基础上，提出基于b s 结构的转码中控服务器构想， 并使用j 2 e e 技术进行了核心功能的实现。中控服务器软件利用线程池和工作队 列技术保证了中控服务器在控制大量转码工作站时的效率和稳定性。 系统立足于生产实践，适应从小规模转码需求到工厂级规模转码需求，对 i p t v 领域内大规模的转码生产具有一定的指导意义。 关键词网络电视；转码系统：插件；线程池；工作队列 a b 啦r a c t a b s t r a c t l p t vh a sm a d eh u g ed e v e l o p m e n to v e rt h ey e a r sg l o b “l y ，a c c o m p 8 n yw m l t h ei m p m v e m e m o f r e l a t e dt e c h n o l o g i e ss u c ha sw i d e _ b a n dn e t w o r k a n ds t r e 咖m e d i at e c h n o l o g y a sac o r es e r v i c e o fl p t v v o dn e e d st ot r a n s c o d ea l lt h ee x i s t i n gp m g r 锄si n t oan x e di p t vs y s t e mf o r m a t w h i c hi sau n b e a r a b l eb u r d 朗o r 也0 s ec o m e n i - p r o v i d e r sw i t hm i l l i o n - h o u rc o n t e m s a 1 t h o u g h h u g ei n v e s t m e n t sh a v eb e e np u ti n t 0t h ei n d u 啷w ec a ns t n ls e et h el a c ko f b o m c o n t e n t sa n d 池 口m d u c t i o n ，w h i c hi se x a c t l y ，h ya ne 位c t i v e 们n s c o d i n gs y s t e mi sn e c e s s a r ya sf 缸a sw e c a ns e e t h ed o t e n t i a lo fi p t v l no r d e rt or e s 0 1 v ec u r r e n tp r o b l e m s ，s u c h 够i n e f r i c i e n c i e sa n dw 鹤t ei n 仃i m s c o d i n gs y s t e m ， m i sp a p e rp r o p o s e dt h es 0 1 u t i o no fc l u s t e rt r 醐s c o d i n gs y s t e ma i l df u 珩i l e d t sd e v e 【o p m e n t t h e s y s t e mc a l lp r o v i d ee 行e c t i v e l yt r a n s c o d i n ga i l ds u p p o r t b a t c hp t o d u c t i o n ，叫t o m a t i o n ，e a s y a p p i i c a t i o na f i dm a i n t e n a n c e t h es y s t e mi ss u i t a b i ef o fl a f g ea p p l i c a t i o n s a st r a n s c o d ；n gj n d u s t t h i sp 印e rd i s c u s s e st h e o r i e s 明dp r o b l e m sa sf 0 1 1 0 w s ：c o d c ct e c h n 0 1 0 9 y ( m p e g 2a n d h 。2 6 4 ) ，她1 s c o d i n gt e c h n 0 1 0 9 y ，a r c h i t c 咖r e o ft r a n s c o d i n gs y s t e m ，x i lp r o t o c 0 1 ，j 2 旺 t e c h n o l o g ya 1 1 dl i n u xo sp l a t f o r n l b 硒e d o nt h e s et e c h n 0 1 0 9 i e s ，t h ep a p c rp r o p o s e d 锄d a c c o m p l i s h e dp l u 争i ns e r v i c e o r i e m e da r c h i t e c t u r eo fc o r et r 鲫s c o d i n gw o r k s t a t i o n ，w h i c hi s d e v e l o p e dw 讣c1 a n g u a g e o r it h ea r c h n e c 帆，m ed e v e l 叩m e n to fw o r k s 诅t i o n i sf u i f n l e d ， w h i c h n c l u d e sd v ds o u r c ep r o v i d e bt r 柚s c o d e rf 如mm p e g 2 t oh 2 6 4 ，s t o r a g ea n dt r a n s c o d i n g c o n t r o l b e c a u s eo fx m lt c c h n o l o g yw i t hs t r o n gd 砒ar e p r c s e n t a t i o n ，w h i c hi sv e r ym a t u r ca 1 1 d c r e d i b l e ，x m lc o m m u n i c a t i o np r o t o c 0 1 t n s t c a do f 删i t i o n a lm 锄e ri sp r 0 p 0 s e d ，t h a tm a i ( e s i “f o n r i a t i o nm o r en e x i b l e ，v a r i a b l e 蛐de a s i l yp a r s e da n dc h e c k e d t h m u g ha n a l y z i n gi n d u s t r i a l r e q u i r e m e n t sa n dn ss p e c 讯c a t i o n sc a r e f u 玎y t h ep a p e fa d o p c e db ，sa r c h i t e c 包】e n c e n n ec o n t r 0 1 s c r v e lc o r e 胁c 廿o no f c e n 打ec o n 仃0 ls e r v e ri sa c c o m p l i s h e du s i n gj 2 e et e c h n o l o g y - t h r e a dp o o l a n d j 曲q u e u et e e h n o l o g e sa r e 印p l i e dl oe n s u r ee f f 记i e n c y 柚ds t a b i l i t y t h i ss y s t e mi sb a s e do np m d u 商o na i l d 沲m o d u l a t i o ni sd e s i g n e dt 0m i nd i 俄r e n ts i t u a t i o n 舫ml a r g e 印p | i c a l j o n st 0s m a l lo n e s 1 1 1 ea n i c l em a yh e l pi n r e a lp r o “c t i o np r o c 。8 3o fi p t v n l e d k e yw o r d sl p t v ；1 协s c o d i n gs y s t e m ；p l u g - i n ；t h r e a dp 0 0 1 ；j o bq “e u 。 1 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果，尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书两使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 签名：壬遣途日期：到 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：至瞳笾导师签名：日期：业c 7 第1 章绪论 1 1 课题背景 i p r v 是“利用宽带网的基础设施，以家用电视机( 或计算机) 作为主要终 端设备，集瓦联网、多媒体、通讯等多种技术于一体，通过i p ( 互联网络协议) 向家庭用户提供包括数字电视在内的多种交互式数字媒体服务的崭新技术。”也 即以i p 机顶盒为主要终端，以电视机为主要显示设备，以遥控器为主要输入设 备，以宽带i p 为主要传输网络，提供多媒体信息服务。由此可以看出，i p t v 既 不同于传统的模拟有线电视，也有别于正在姒起的有线数字电视。有线电视都是 频分制，侧重于单向广播。i p t v 最大的特点在于其交互性，用户可按需获取宽 带i p 网提供的媒体节目，实现实质性互动。其次，i p t v 借助先进高效的视频压 缩技术( m p e g l 4 h 2 6 4 等) ，能为用户提供高质量的数字媒体信息服务。此外， i p t v 还可u 为用户提供包括数字电视节目、可视电话、v o d ( 视频点播) 、i m e m e t 、 网络游戏、网上购物和远程教育等在内的交互式多媒体信息服务。i p t v 系统主 要包括流媒体服务、节目采编、存储及认证计费等于系统，主要存储及传送的内 容是以m p e g 2 、m p e g 4 或h 2 6 4 为编码核心的流媒体文件，基于i p 网络传输， 通常要在边缘设置内容分配服务节点，配置流媒体服务及存储设备，用户终端可 以是i p 机顶盒+ 电视机，也可以是p c 。 i p l 、，【1 1 是一个新的技术领域，其实现主要有几个技术，前端编码技术，内容 分发网络技术，双向接入技术e p g ( e l e c i r d n i cp t o 鲫ng u i d e ) 技术，机顶盒，还 有i p t v 一些后台的技术，包括数字版权、计费等等控制，流量控制、控制管理 这些技术。 信源编码技术是i p t v 实现的核心之一。由于i p t v 在网上传输的主要内容 是流媒体，相当一部分带宽在2 m 以上，有的甚至多达6 m 左右。这对接入带宽 提出了更高的要求。在目前部分开通的i p t v 试点中，丈部分运营商采用m p e g 4 技术，是在小于8 0 0 k 的传输带宽的计算机和i p t v 机顶盒上实现的，较高的压 缩率是以牺牲清晰度为代价的，因此其画面质量大多不能令用户满意。目前常见 的网络电视编码格式包括微软v c 1 、m p e g - 4 、h 2 6 4 等，业内人士通常认为 v c 一1 和h 2 6 4 将是今后最具竞争力的两种编码方式，而我国自主制定的a v s 编 码标准目前也取得了长足的发展，相信在未来也会占据一席之地。 码标准目前也取得了长足的发展，相信在未来也会占据一席之地。 北京工业丈学工学硕士学位论文 此外网络电视节目素材的来源可谓多种多样，归纳起来主要可以分为以下三 类： 1 ) 实时播出的电视信号 目前网络电视的节目内容主要还是以采集传统电视播出的节目为主，缺少单 独采集制作的内容。对实时播出的电视节目进行收录，是网络电视节目的主要来 源。 2 ) 录像带、光盘等存储介质 网络电视中的许多历史节目、精品节目，如电视连续剧等，往往是从录像带、 v c d d v d 光盘等形式的存储介质中获取。 3 ) 视音频节目文件 视音频节目文件是已经进行数字编码后的节目，多是提前采集或者转码的节 目内容，这也是网络电视节目的重要来源之一。 此外，由于电视终端的分辨率、处理能力有所不同。机顶盒支持的编码格式 也有所差别，再加上接入网络的带宽在各地区也有差异，如北京的a d s l 的接入 以5 1 2 k 1 ) p s 为主，而上海则以1 m b p s 为主，种种差异使得同样的节目必须有不 同的编码格式。所以为了把制作好的一份节目流畅地传送给每个客户，就需要根 据终端的类型和接入速度对节目的格式作出相应转换，故高效的转码技术和转码 系统是关键。 1 。2 转码系统在i p t v 内的发展现状 网络电视领域的节目压制流程，如图1 1 所示，从该图可以看出，在生产过 程中，有两个环节需要用到节目转码：第一个是节目的输入阶段。需要把v c d 光盘、d v d 光盘、视音频文件等不同介质、不同格式的节目内容，通过转码， 形成统一的格式，再进行后续的编辑、审核工作：第二个是在节目的输出阶段， 需要根据应用的不同，对编辑、审核完毕的节目进行转码，生成m p e g - 4 、h 2 6 4 等不同格式，或者4 0 0 k b p s 、8 0 0 k b p s 等不同码率，加密后分发到电信运营商处， 通过不同的传输方式供电视、电脑、手机等各种终端设备接收。 第l 章绪论 j 一j 、 【v c d 光盘)f 信号采集1 = d 两次转换。在转码完毕后，需要手动 将文件输入服务器。这样既损失了部分视频数据，又降低了生产效率，在大批量 转换时缺点尤为突出。此外，在转码过程中，2 0 台转码工作站需要配备2 0 台 d v d 机、2 0 台监视器，2 0 块价格不菲的采集卡，还有至少3 4 个人工，去手动 控制采集程序，避免采集到d v d 机的开机画面和影片的菜单画面等额外信息。 随着i p t v 推广和市场的扩大，这种方法对于人力物力财力的损耗是相当大的。 通过对工作中所出现问题的调研及相关技术的研究，论文提出了基于h 2 6 4 的群集转码系统的设计。本文主要做了以下工作： 1 ) 学习研究最新编码格式h 2 6 4 编码标准、转码技术以及转码系统的实现 方式等相关理论知识； 2 ) 在了解网络电视领域内转码系统的不足及功能需求的基础上，提出系统 第1 章堵论 目标，对群集转码系统做了以面向服务为设计思想的总体设计，分析了系统的物 理架构，软件架构和运行环境： 3 1 在系统设计的基础上，将系统分为中控服务器和转码工作站两大功能模 块，对功能模块及其子模块进行详细设计和实现，并剖析了实现过程中用到的关 键技术。 1 4 论文结构 本论文主要包括五个部分：第一部分是绪论部分，主要介绍了课题背景、转 码系统在i p t v 领域内的发展现状和存在问题、课题的提出以及论文的结构；第 二部分介绍了转码技术的发展及系统中涉及的相关标准，主要包括编解码标准和 诅l 协议；第三部分是系统的总体设计，包括系统的需求分析、体系结构、总 体设计和模块划分；第四部分介绍了系统平台方面的关键技术：第五部分是系统 的详细设计及实现。最后对系统存在的不足进行了总结和展望。 第2 章转冯技术简介及相关标准 第2 章转码技术简介及相关标准 随着多媒体应用技术的发展，越来越多的客户通过不同的终端设备，经过各 种各样的网络享受各种视频应用服务。终端处理能力、存储能力和显示能力均不 同；异构网络则除带宽不同外，误码比特率和包丢失率也有所不同；此外，针对 不同的应用，国际组织制定了一系列的视频压缩标准。这些差异性使视频转码需 求变得越来越迫切。随着i p t v 的蓬勃发展，基于这些分类的转码技术和转码系 统成为研究的热点。 2 1 转码技术的发展现状 视频转码的基本原则是在软硬件环境和处理能力受限的情况下，在码流转换 的质量和复杂性之间取得最佳折衷。即在保证一定的视频质量的基础上，尽可能 地重用压缩域的数据，降低编码的复杂度。 转码主要指编码格式的转换。编码格式转换包括相同编码标准间的数据转换 和不同编码标准间的数据转换。前者包含码率转换、分辨率转换、帧率或场率转 换、系统层的不同封装格式的转换；后者则主要是不同编码标准之间的转换，例 如将m p e g 2 的编码格式转换成m p e g 4 、h 2 6 4 或其他编码格式，这种转换复 杂度高，需要重新编码。此外，转码过程中还提供插入l o g o 和数字水印的功 能。 转码最简单的思想是完全解码后再重新编码，然而这样使得整个转码过程的 计算复杂度很高，效率很低，所以转码过程中研究得较多的是重用输入流中的压 缩数据。运动估计和离散余弦变换及其逆变换( d c t ，d c t ) 是编码过程中运算 复杂度最高的模块，占据编码时间的7 0 ，故转码技术的研究大多基于这两个方 面的数据重用。文献【2 5 讨论了转码过程中主要的数据重用技术。 2 1 1 运动矢量重用技术 在任何转码器中，运动估计都是一个关键过程。尽管可以通过新的运动估计 来计算最优的运动矢量( m v m o t i o nv e c t o r ) ，但由于其巨大的运算复杂度，这 种方法并不理想。重新利用输入码流中的m v 的方法已经被广泛采用，因为研究 表明这种方法几乎与重新进行完全运动估计的性能同样好，因此很多研究都集中 于此。例如在降低码率的转码过程中，可以直接将解码得到的运动估计映射到编 北京工业丈学工学硕士学位论文 码中，再通过重建参考帧来进行运动补偿( m c ，m o t i o nc o m p e n s a t i o n ) ，防止误 差扩散。然而对于分辨率转码中，由于输入和输出的图像尺寸不同，所以m v 不 能直接重用，需要重新推导，这是最重要的操作，直接影响到运算的复杂度。 推导新m v 的方法通常有以下几种： 1 ) 平均值算法将参考帧中所有相关宏块的m v 求平均值再乘以比例因 子； 2 ) 中值算法求参考帧中所有相关宏块的m v 的中值再乘以比例因子： 3 ) 线性内插对各相关宏块的m v 进行线性内插： 4 ) 加权平均对所有候选m v 进行加权平均； 5 ) 从所有候选m v 中选择一个占主要因素的运动矢量。 当原参考帧中各相关宏块在水平和垂直方向的运动都一致时，前两种算法是 可行的。但当各参考宏块的运动不一致时，这些方法的性能较差。采用加权平均 算法，是利用与原始参考帧中对应宏块的所有相关m v 找出所需的预测m v ，然 而不是所有对应宏块的编码模式都一致，故在使用该算法时，只能将帧内预测和 跳帧模式时的m v 视为o 。该算法也不是最优的，会提高码率并导致视频质量有 所下降，实验证明该算法在转码率较高即跳帧数较多的情况下效果较好。要提高 加权平均矢量计算方法的精度可通过局部搜索算法和半像素精度的m a d ( m e a l l a b s o l u t ed i 舵r e n c e ) 的快速计算方法来实现。 2 。1 2d c t 域的转码技术 由于大部分编码标准都是基于d c t 的，所以直接在d c t 域转换可以避免 d c t i d c t 这一复杂的运算过程，极大地提高转码效率。 现在很多转码都是基于d c t 域的，例如降低码率最简单的方法直接在d c t 域进行重量化或者将d c t 系数中的高频系数直接去掉等。然而对于分辨率转码 来说，在像素域可以通过插值和下采样来进行。对于d c t 域的下采样，由于图 像尺寸下采样等转码运算的线性和变换的正交性，直接在d c t 域进行下采样操 作是可行的，然而运动补偿算法不具备算法的线性和正交性，这样就不可能在 d c t 域进行下采样操作。所以必须在d c t 域将d c t 域帧间编码的码流转换成 d c t 域帧内编码的码流，使得这些d c t 块仅与当前帧中的像素块相对应，而不 需要基于其它帧的预测过程，这一操作称为d c t 域反运动补偿。 第2 簟转码技术简介圾相关标准 d c t 域的下采样有如下几种关键算法： 1 ) d c t 域图像下采样 d c t 系数截断方法：直接将8 + 8 的d c t 块中的左上部分的4 4 作为下采样 后的d c t 块，这样只保留系数的低频部分。这种方法只适用于下采样比例比较 简单的情况，例如1 ，2 l ，2 。 双线形内插方法：下采样后每个像素均是周围像素的线性组合，所以可以直 接将像素域的下采样投影到d c t 域来进行。 2 ) d c t 域反运动补偿【6 l 以m p e g 一2 为例，其计算公式见式( 2 - 1 ) ： d c r 帆。旺，f ，) ) = d c r 0 ( 七，f ，) ) d c f 诤，：昧一t ，h 触v k j 筘“妫+ d c f 啵：毽+ ， + 6 m 罐j + 8 m v 妫( 2 1 1 ) 2 为重建帧，口为预测误差，加v 和6 聊v 为前向和后向的运动矢量。如果 运动矢量的长度不超过宏块的长度则该宏块覆盖了参考帧的四个宏块，可以利用 矩阵乘法的分配性，直接计算出当该宏块的d c t 系数。 3 1d c t 域的运动补偿 由于输出的码流仍然需要运动补偿，所以d c t 域的运动补偿也是非常重要 的，整个过程分为预测误差、新m v 的推导以及宏块模式的选择三个步骤。新 m v 的推导可以从旧的m v 中推出，主要采用加权平均和中值算法。而宏块模式 的选择一般遵循以下原则： 四个宏块均为i n t e r ( 帧间预测) ，则该宏块为i n t e r 四个宏块至少有一个为i n 妇( 帧内预测) ，则该宏块为i n 妇 四个宏块没有i n 嗵，至少有一个i m e r ，则为i n t e r 四个宏块均为幽p ( 跳过模式) ，则该宏块为s k i p 此外对于帧场率转码一般考虑丢帧和插帧技术。视频编码中编码帧主要 分为i 帧( 帧内编码帧) ，p 帧( 前向预测编码帧) 和b 帧( 双向预测帧) ，丢 帧主要从b 帧开始，因为不用作参考帧，不会影响其他帧。这方面的研究主要 以丢帧策略以及丢帧后的运动重估计为主。 上述技术大部分为压缩域的技术，在同类视频转码中应用更为普遍，引起了 国内外学者的广泛研究和关注。对于不同类编码标准之间的视频转码来说。由于 北京工业丈学工学硕士学位论文 其编码的基本思想及主要框架具有相似性，故其基本设计思想主要是在充分分析 不同标准问异同的基础上。采用类似于同类码流间视频转码的结构和算法来设计 研究视频转码的基本结构。 2 2 转码系统的体系结构及性能比较 根据转码过程中压缩数据的重用程度设计了几种主要的转码器体系结构7 】 【8 】：空域级联式转码、省略运动估计的级联转码器、d c t 域的重量化转码器、 d c t 域的运动枣卜偿转码器和省略b 帧的d c t 域转码器。 2 2 1 空域完全级联式转码器 该转码器是基于最简单的转码思想：将压缩数据完全解码后再重新编码，如 图2 一l 所示： 图2 1 空域完全级联式转码器 f i g u r e2 1c a s c a d e dp i x e i - d o m a j nt r a f l s c o d e o 这类转码器设计思想简单，最大程度地保留了信息，可以保证较高的视频质 量，可以应用到各类转码需求。目前很多公司推出的转码系统都基于这类转码器。 然而它包含一次完全解码和一次重新编码，计算复杂度高，效率低，而且需要大 量的帧存。普通的终端依靠纯软件根本无法达到实时或者接近实时的效果。 2 2 2 省略运动估计的级联转码器 恒 蛔呻咄圃因旧- 晤由 剧 回国掣 h v 一! ， 也型 号匡虱专 图2 2 省略运动估值的级联转码器 f i g u r e2 - 2c 弘c a d et r a n s c o d e rw i t h o u tm e 目前的编码方式大部分采用的是基于块的d c t + m c 的编码思想，所以运动 第2 章转码技术衙介及相关标准 估计和d c t ，i d c t 是整个编码过程中最复杂的计算量最大的过程。该转码器避免 了运动估计的再计算，将输入流中的运动矢量重用在输出流中。如图2 2 所示： 该转码器对于i 帧来说只执行d c t 域的重量化，对于p 帧和b 帧来说则包 含了空域的运动补偿，能克服图像漂移，得到较不错的图像质量。 2 2 3d c t 域重量化转码器 省略运动估计的级联转码器避免了费时的运动估计，使转码器大大简化，但 是没有解决d c t i d c t 这一瓶颈。为进一步简化转码器又提出了d c t 域重量化 转码器；即对输入码流先作可变长解码( v l d ) 逆量化( q 。1 ) 得到的d c t 域的 系数直接进行二次量化。该结构避免了运算复杂度较高的两大模块，故简单快速， 然而会导致d c t 域的误差累积，所以只适用于q o s ( q u a l n yo fs e r v i c e ) 较低的应 用中，此外由于其是固定的编码参数，故灵活性不够，仅仅适用于统一编码格式 数据间简单的码率转换等。 2 2 4d c t 域运动补偿转码器 d c t 域运动补偿的转码器在上述转码器的结构基础上，增加了运动补偿。 如图2 3 所示： - 囤圈学西酒- 币孑鬲一q z “i 。r 一 一。 小 陌磊i i 磊习 一 i 一j 图2 - 3d c t 域运动补偿转码器 f i g i l 糟2 3d c t - d o m a i nm ct r 狮s c o d e r d c t 域的运动补偿需要进行块结构的调整，大大增加了操作的复杂度。其 计算量取决于m v 非零值的比例，m v 为零对，通常可以省去很多矩阵乘法的运 算。所以对于运动比较剧烈的场景来说，计算量的复杂度甚至比空域完全级联转 码器的计算复杂度要高。 2 2 5 省略b 帧的运动补偿转码器 由于p 帧是参考帧，如果p 桢不作运动 偿造成误差，那么误差会在一个 g o p ( g r o u po f p i c t u r e s ) 上累积，造成误差扩散a 而b 帧不作为参考帧，不做运动 北京丁业大学工学硕士学位论文 补偿对图像质量的影响不大，数目占整个编码过程的2 3 左右，而且计算复杂度 最高，需要两个参考帧做前向和后向运动估计。故省略b 帧的运动补偿，也就 是对i 帧和b 帧不进行运动补偿，对p 帧进行像素域的运动补偿。i 、p 帧要作 参考帧，故需要进行d c t i d c t ，需要一个帧缓存。总之省略b 帧的运动补偿转 码器有利于降低转码器计算量，而且减少了系统的缓存开销。 2 2 6 转码结构的性能比较 表2 - 1 转码体系结构的比较 1 h b l e2 1t r a n s c o d e ra r c h i t e c t u r ec o m d a r i s o n 转码器图像质量和适用性计算复杂度实时性 空域完全级质量最好无图像漂移完全解码重新编码，复延时最长，软件 联式转码适用于所有转码系统杂度高，效率低无法实时 省略运动估质量很好，无图像漂移省略运动估计，含空间延时长 值的级联式转适用于所有转码域运动补偿，复杂度较高 码 d c t 域重量图像质量差，有图像漂无运动估计和运动补延迟最短基本 化转码器移仅适用于o o s 较低的偿，不含d c t ，i d c t 和帧可以实时 应用 缓存非常简单，效率很高 d c t 域运动 质量好，无豳像漂移无d c t ，【d c t ，运动估计，延迟较短 补偿的转码器含d c t 域运动补偿，运 动强度高的场景复杂度 高 省略b 帧的质量较好，无图像漂移b 帧无运动补偿，i 、p 有延时较长 运动补偿转码d c m d c t ，p 含像素域 器的运动估计。 2 3 转码系统的实现 我们可以看出，使用不同的转码算法和体系结构在不同需求的编码转换时， 可以得到不同的时间及系统消耗复杂度。采用何种复杂度算法取决于用户对工作 任务的要求。对于这些转码系统主要实现方法有两种9 】：传统的面向流式的视频 第2 章转码技术简介及相关标准 转码和面向文件式的视频转码。 2 3 1 传统的面向流式的视频转码 由于视频数据流的庞大和线性存储，传统的转码都是面向数据流的。如图 2 4 所示： 图2 - 4 面向流式的视频转码 f i g u r e2 4d a t as 仃e a i i lo n e n t e dv i d e ot r a n s c o d e r 主要特点是转码工作基本固定在芯片上由硬件完成，稳定性好，效率高。可 以达到实时或接近实时的方式输出。然而由于其转码单元是相对固定的源格式和 目标格式，用户基本无法控制码流和其他信息，所以灵活度较差。此外，面向流 式的服务无法实现快于实时的转码。 2 3 2 面向文件式的视频转码 随着非线性存储技术的日益完善，我们可以使用文件的形式存储视频数据， 这样就为我们设计更灵活的视频转码系统奠定了基础。如图2 - 5 所示，我们可以 采用计算机设备，利用软件手段进行高效的转码。 、一 骂标壕码数据 、一7 图2 5 面向文件式的视频转码 f l g u 碍2 - 4f i l eo r i e m c dv i d e ot r a n s c o d e r 其原理就是利用计算机系统巨大的存储能力，开辟足够大的缓存，然后将视 频数据文件或流分成片断，放入其中利用软件模块对其进行转码工作。数据接口 只负责接收数字视频流，然后存到缓冲区即可，而无需关心是何种编码。所有的 识别、解码、编码的工作均由软件模块完成。 利用计算机系统进行转码有很多优点：整个转码系统的硬件配置简单，无需 专门的转码芯片，代价较小，转码范围广，可以根据不同需求灵活扩展和配置等。 这些优点使得计算机及其相关设备处理视频数据的使用已经成为现在的主流，同 北京工业大学工学硕士学位论文 时也给视频转码提供了更好性价比的平台。 2 4 视频编码标准 编解码技术是群集转码系统的核心所在，该系统里选定的转码格式为从 m p e g 2 至h 2 6 4 。 视频编解码技术即视频压缩技术是用较小的数据量来表示数字视频的方法， 压缩有以下优点： 1 ) 给定的一段源内容，只需要用较小的存储量： 2 ) 在实时工作状态下，压缩技术降低了所需的带宽； 3 ) 压缩技术允许在介质之间实现比实时更快的传送，比方说在磁带和磁盘 之间传送。 所以，压缩技术使各种视频应用成为可能。 压缩的思想和方法主要有两点：空间方向上去掉冗余信息，即帧内编码，采 用了j p e g 技术：时间方向上去掉冗余信息，即帧间编码。m p e g 压缩标准也是 基于这两种思想提出来的，采用了基于块的混合编码方法，综合了预测编码和变 换编码。这种编码技术把每幅图像分成固定大小的块，第k 帧的每个块用前面 第k 1 帧相对应的相同尺寸的块合成得到。对第k 帧的所有块都这样做，这样 产生的图像叫预测图像，编码器把所有块的二维运动矢量传送到解码器，以便解 码器能够计算同样的预测图像。编码器用原始图像减去预测图像就得到预测误差 图像，如果这个预测误差值超过某个闽值，那么编码器就用变换编码把这个块的 预测误差传送到解码器，解码器把预测误差和预测图像相加，从而合成解码图像。 目前应用比较广泛的主要有m p e g 1 、m p e g 2 、m p e g 4 以及h 2 6 4 【1 2 m 1 。 2 4 1m p e g 标准 m p e g - l ： 1 9 9 3 年制定的m p e g 1 标准是针对1 5 m b p s 速率的数字存储媒体运动图像 及其伴音编码制定的国际标准，该标准的制定使得基于c d r o m 的数字视频以 及m p 3 等产品成为可能。m p e g - l 的带宽最多为1 5 m b p s ，其中1 1 m b p s 用于视 频，1 2 8 k b p s 用于音频，其余带宽用于m p e g 系统本身。 m p e g 1 视频把图像编码分成i 帧、p 帧、b 帧和d 帧共4 种类型。i 帧为 帧内编码帧，编码时采用类似j p e g 的帧内d c t 编码，i 帧的压缩率是几种编码 第2 苹转玛技术简介及相关标准 类型中最低的。p 帧为预测编码帧，采用前向预测运动补偿和误差的d c t 编码， 由其前面的i 或p 帧进行预测。b 帧为双向预测编码帧，采用双向运动补偿预测 和误差的d c t 编码，由前面和后面的i 或p 帧进行预测，所以b 帧的压缩效率 最高。d 帧为直流编码帧( d cc o d e d 讯吼e ) ，只包含每个块的直流分量。m p e g i 采用运动补偿消除图像序列时间轴上的冗余度，可使对p 帧和b 帧图像的压缩 倍数比r 帧提高很多。 m p e g - 2 ： m p e g 组织于1 9 9 5 年推出的m p e g 2 标准是在m p e g 1 标准基础上的进一 步扩展和改进，主要是针对数字视频广播、高清晰度电视和数字视盘等制定的 和9 m b d s 运动图像及其伴音的编码标准，m p e g ，2 是数字电视机顶盒与d d 等 产品的基础，m p e g 2 的目标与m p e g 一1 相同，仍然是提高压缩比，改善音频、 视频质量，采用的核心技术还是分块d c t 和帧间运动补偿预测技术。考虑到视 频信号隔行扫描的特点，m p e g 2 专门设置了“按帧编码”和“按场编码”两种 模式，并相应地对运动补偿和d c t 方法进行了扩展，从而显著提高了压缩编码 的效率。考虑到标准的通用性，增大了重要的参数值，允许有更大的藏面格式、 比特率和运动矢量长度。除此之外，m p e g 一2 视频压缩编码还允许对四种源格式 或者级别进行编码，从简单清晰度( c i f 格式) 到完全的高清晰度电视h d t v ( h i 曲 d e f i n i t i o n1 b l e v i s i o n l 。 m p e g - 4 ： m p e g 4 专家组深入分析了音视频领域中电视、计算机、通信以及其交叉融 合的发展趋势后，认为m p e g 4 应该提供用于通信的新方式，其核心是基于内容 的音视频信息存储、处理与操作，支持交互性、高压缩比以及通用存储性等功能。 相对于m p e g 的前两个压缩标准，m p e g - 4 已不再是一个单纯的视频音频 编解码标准，它将内容与交互性作为核心，从而为多媒体提供了一个更为广阔的 平台。它更多定义的是一种格式和框架，而不是具体的算法，这样人们可以在系 统中加入许多新的算法。 2 4 2h 2 6 4 编码标准 h 2 6 4 是j v t 组织( j o i n t v i d e ot e 锄) 制定出的一个新的视频编码标准，它具 有高压缩比、高图像质量、良好的网络适应性等优点。与其他编码标准相比，它 北京丁业大学t 学硕士学位论文 也是预测编码和变换编码结合的基于块的混合编码。其基本结构与其他标准很相 似。然而它又在很多环节上采用了新技术，有了新的改进，主要核心技术有以下 几点【1 4 】： 1 ) 帧内预测编码： 在h 2 6 4 中，充分利用图像的空间冗余性，增加了帧内预测编码，即使用当 前帧内已编码的宏块或块的亮度和色度值来预测当前编码的宏块，具体来说就是 当前编码块的左方和上方的宏块，然后将其预测误差进行编码，这样就可以使用 尽量少的比特数来表示目标宏块。根据不同的块大小，预测方法有所不同。4 + 4 块有九种预测方式，如图2 6 所示： 图2 6a ) a ，p 为当前编码的4 ，4 块：图2 - 6b ) 为几种不同方向的预测方式。 oa自cdefbh f 弋- 可 | ej ：? l i2222l 图2 6a 1 4 + 4 帧内编码宏块 f b 驴r e2 6a ) 4 + 4i n 讹- c o d e db i o c k 侈 翻兮 7 5 图2 6b ) 九种方向预测方式 f i g u r e2 - 6b ) p r e d i c t i v em 0 d ei n9d i r e c 石o n s 图中未标出的模式2 为d c 预测，使用( a 十b + c + d + i + j + k + l ) 3 来获得【1 5 l 。 1 6 + 1 6 和8 + 8 则都有四种预测模式，分别为垂直、水平、d c 预测和p 1 蛐e 预测，只是模式的顺序略有不同。帧内预测编码大大减少了空间的冗余，更适用 于背景比较单一的图像。 2 ) 多参考帧预测编码： 第2 苹转码技术简介及相关标准 h 2 6 4 提供了可选的多参考帧预测技术，即在编码器的缓存中存有多个刚刚 编码后的参考帧，编码器选择其中一个或者两个编码效果好的作为当前帧的参考 帧。h 2 6 4 可支持5 个预测参考帧编码，提供了更高的容错性能，同时也有效地 提高了图像质量。 3 、1 4 精度的运动估计： h 。2 6 3 采用了半像素精度的运动估计取得了较好的效果，h 2 6 4 则进一步采 用了1 4 像素精度的运动估计。h 2 6 4 中的1 4 像素精度是通过内插来获得的。 譬如说对于亮度分量，首先通过一个六抽头的滤波器算出l 2 像素的内插值， 权值为( 1 3 2 ，一5 3 2 ，5 ，8 ，5 8 ，5 3 2 ，l 3 2 ) ，然后再进行线性内插求出1 4 像素 值【1 7 】。 理论上，运动估计的精度增加一倍( 例如从整像素精度提高到1 疙像素精 度) ，可有o 5 b i t s a n l 口l e 的编码增益，但实际验证发现，在运动矢量精度超过1 ，8 像素后，系统基本上就没有明显增益了，因此，在h 2 6 4 中，只采用了1 4 像素 精度的运动估计模式，而不是采用1 8 像素的精度。 4 14 4 整数d c t ： 以往的d c t 会带来一些负效应，如浮点运算增加了编码器的计算复杂度， 同时带来了由于浮点数精度问题引起的编解码不匹配。为了解决这些问题，h 2 6 4 把原来的d c t 改变为近似的整数变换，在量化过程中整合了变换系数，使原来 必须用浮点运算进行的余弦函数运算，可用整数运算进行。同时还削减了系数的 种类，使得变换过程中只用到加法和移位运算，使运算量减少。 此外，在h 2 6 4 中采用4 4 大小的块，减少了块效应。采用整数d c t 变换 提高了预测精度，降低了残差信号空间相关性，只需较少的计算量和较小的处理 码长，且消除了编码器和解码器之间的不匹配，提高了图像回放质量。 5 ) 可变块大小： 在h 2 6 4 中，一个宏块可以根据需要被分成不同大小的七种模式的块如图 2 7 所示： 北京工业太学工学硕士学位论文 口日田田 口日田田 图2 - 7 宏块分割方式 f i g u r e2 7m a c r o b l o c kp a f t i t i o n 这样的划分具有更强的灵活性，适合不同的图像特点，譬如说细节比较丰富 的图像块可以进一步划分成4 个4 + 4 的块，而比较平坦的宏块，则可当作一个 1 6 + 1 6 的块处理，这样就能较好的保持图像的细节。然而，对于不同划分以及不 同参考帧的不同预测模式应有个统一的判定标准，来确定最优的模式，目前比 较广泛使用的模式判定标准即为率先失真优化( r d o ) ，见式( 2 2 ) ： 了m o d e ( s ，e l q ，元m o d e ) = s s d ( 5 ，c q ) + z m o d e r ( s ，c q ) ( 2 - 2 ) 式中，c 为重建块；r 包括对宏块编码的所有比特：鼹d ( s 哪o f s q u a r ee r r o r ) 为当前块和重建块差值的平方和。为了得到重建块，需要对残差进行变换和量化 及反量化反变换，其过程较复杂。 6 ) 基于内容的自适应可交长编码和自