（通信与信息系统专业论文）mpeg2到avs的转码关键技术研究.pdf

m p e g 2 到a v s 的转码关键技术研究 摘要 本文针对m p e g 2 到a v s 的转码关键技术，进行了理论和实验分析。m p e g 2 是现代广播和电视领域采用的视频播放标准，同时，作为d v d 格式的标准应用， 它在数字电视传播领域有着里程碑式的成就：a v s 作为我国自主研发的音视频编解 码标准，无论是技术的创新性，还是知识产权的独立性，都使a v s 拥有着广阔的 发展前景。 本文中，通过对转码像素域级联型和d c t 域的结构体系算法的研究，从帧内 和帧间这两种视频图像压缩选择模式上，提出了一种双域快速映射体系结构。在帧 内模式中，对亮度和色度的模式选择方法进行改进，在不牺牲图像的质量的基础 上，有效的减少了计算量；在帧间模式中，提出了一种改进的二分之一像素和四分 之一像素运动矢量的预测算法，减少了运算复杂度，加快了转码的速度。在量化与 转化部分，在d c t 域对d c t 系数进行了全面分析，提出了一种快速复用o c t 系数的 方法。这几种改进了的快速模式复用方法的意义在于，降低了对于转码的硬件资源 要求，从而减少了硬件的成本；计算量和计算复杂度的降低使得转码在移动或网络 传输响应时间上可以缩短，从而满足了消费者的心理需求，使得产品更有竞争力。 而实验的数据和图像显示，转码后的视频在质量上也有一定的保证，可以达到视觉 欣赏标准。当然本文提出的仅仅是一对一的转码设计，如何实现一对多的转码方案 和设计，以及考虑音频的同步传输，在今后技术的发展中，将得到理论和实践的验 证，并随着多媒体市场的发展壮大，而展示在我们大家面前。 本文提出的若干改进的转码算法，对于m p e g 2 到a v s 的转码效率有较大的提 高，实验结果如下：在牺牲了少量尸s ：撇的前提下，较大提高了编码的时间和编码 效率，减小了计算复杂度。转码后输出的视频流在主观评价同级联型算法码流几乎 相同。 关键词lm p e g 2 、a v s 、模式选择、双域映射、复用 k e yt e c h n o l o g yf o rm p e g 2 t oa v s ，一 _ 1 r a n s c o d i n g a b s tr a c t t h 毽a r t i c l ea i m sa tt h ek e yt e c h n o l o g yf o r t h em p e g 2t oa v s t r a n s c o d i n gw i t hb o t h t h e o r e t i c a la n de x p e r i m e n t a la n a l y s i s m p e g 2i st h ev i d e os t a n d a r da p p l i c a t i o ni nt h e m o d e r nr a d i oa n dt e l e v i s i o nb r o a d c a s t a l s o ，a st h ef o r m a la p p l i c a t i o no f t h ed v dv i d e o s t a n d a r d ，m p e g 2s e tt h em i l e s t o n ei ni t sd e v e l o p m e n t a v si sd e s i g n e db yo u rc o u n t r y n o to n l yi t si n n o v a t i v et e c h n ob g y , b u ta l s oi t sk n o w l e d g ep o t e n tr i g h tm a k ea v sab r i g h t p r o s p e c to f d e v e l o p m e n t i nt h i sp a p e r , d u r i n gt h er e s e a r c hoft h ec a s c a d e dt y p et r a n s c o di n gal g o r i t h mu n d e r p i x e ld o m a i n , w ep r o p o s ea ni m p r o v e df a s td u a l - d e n t i nr m p pi n ga r c h i t e c t u r e i nt h ei n t r a m o d e ，w ei m p m v e dt h el u m aa n dc h r o m am o d ed e c i s i o nw i t h o u ts c a r i f yt h eq u a l i t yo ft h e i m a g ea n dt h ec o m p u t a t i o ni sr e d u c e d i nt h ei n t e rm o d e ，w ei n t r o d u c ea ni m p r o v e d p r e d i c t i o na l g o r i t h mo fh a l g p i x e la n daq u a r t e r - p i x e lm o t i o nv e c t o r t h i sa l g o r i t h mr e d u c e t h ec o m p l e x i t ya n df i s t e rt h et r a n s c o d i n gs p e e d a b o u tt h eq u a n t i z a t i o np r o c e s s ，t h ed c t c o e f f i c i e n t sh a v ea l lb e e na n a l y s i sa n daf a s tr e u s em e t h o di sr e s e a r c h e d a l lt h i sm e t h o d a b o v ec a nr e d u c ee x p e m eo f t h eh a r d w a r ea n ds a v et h ec o s ta n dd e c r e a s et h et i m et h a tt h e v i d e os p e n do nt r a n s m i s s i o n t h o s ec a r lm e e tt h ed e m a n do ft h ec o n s u m e r sa n dm a k et h e p r o d m ei i _ d r ec o m p e t i t i v e f r o mt h ee x p e r i m e n tr e s u l t , w ec a nf m dt h a tt h eq u a l i t yo ft h e v i d e oi sa l s og o o de n o u g ht or e a c ht h ev i s u a la p p r e ci a t i o no f t h es t a n d a r d i na n o t h e rh a n d , t h i sp a p e ro n l yp r o p o s e dak i n do ff r o mo n es t a n d a r dt oa n o t h e rs t a n d a r dl r a n s c o di n g d e s i g n h o wt oi m p l e m e n tak i n do ff r o mo n es t a n d a r dt om u r is t a n d a r dd e s i g no nv i d e o t r a n s c o d i n ga n dm a k ea u d i os y n c h r o n i z a t i o nw i l lb er e s e a r c h e ds o o n a n dm a yt h e p r o d u c t i o nw i l ls h o w i l l ss o o nw i t ht h ed e v e b p m e n to f t h em u l t im a r k e t t h ei m p r o v e dm e t h o dw ea d o p ti no i rp a p e ri n c l e a s et h et r a n s c o d i n ge f f i c i e n c y b e t w e e nm p e g 2a n da v s t h er e s u ri s ：i ts h e r tt h ee n c o di n gt i m ea n di n c r e a s et h e e f f i c i e n c yw i t hm i n i a ll o s so f t h ep s n r i tu l e s sc o m p u t a t i o nw i t ha l m o s tt h es a m e q u a l i t yo f t h ec a s c a d e da l g o r i t h m k e yw o r d ：m p e g 2 ；a v s ；m o d ed e c i s i o n ；d u a l - d o m a i nm a p p i n g ；r e u s c l i 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或机构已经发表或撰写过的研究 成果。其他同志对本研究的启发和所做的贡献均已在论文中做了明确的声明并表 示了谢意。 作者签名马消砌日期：呷f 加 论文使用授权声明 本人完全了解上海师范大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其它手段保存论文。保密的论文在解密后遵守此 规定。 作者签名够朝幽谴锄币签名 嗍呻j 汐 孩心f ， ? ，1尸太 。讯砷 上海师范大学硕士学位论文 第一章绪论 第一章绪论 1 1 转码发展历程 在信息爆炸的今天，多媒体系统在众多领域有着广泛应用。随着英特网的迅速 发展，多媒体系统也在网络上初步形成了一个庞大的信息集合。随之而来的技术问 题是，这些庞大的需要存储、传输和处理的多媒体信息该如何被更有效的划分，传 播和存储。尽管在硬件方面，技术的革新已经极大地提升了c p u ，磁盘和传输信道 的性能，但在软件方面直接对原始的数字化视频数据进行存储和传输处理，还是存 在巨大的技术创新空间，毕竟庞大的数据量仍给现有部分存储设备和网络造成无法 承受的负担。 2 0 0 6 年是p 2 p 流媒体进入中国的互联网市场，进入初步发展时期的年头【1 1 阴。根 据艾瑞咨询的研究发现，未来5 年流媒体市场将在中国保持一个快速上升的态势。 2 0 1 0 年流媒体市场的规模将超过4 亿元，在我国所服务的网民数量也将达到1 4 亿 【3 】。国内主流运营商也纷纷在多媒体领域推出新的举措：中国网通的宽带门户 c n c m a x 推出商业性演出的直播和转播服务；中国电信将互联星空打造成视频服务 的聚合器；中国移动则将视频作为移动新媒体战略的实现手段；中国联通的“视讯 新干线”则利用3 g 实现流媒体播放1 4 】【5 】。同时，国外运营商也在重点打造该领域的 新业务，如：美国v e r i z o n 在2 0 0 5 年就提出通过视频服务在未来转型成为一家传媒公 司，西班牙t e l e f o n i c a 也加大了在d s l 上开展宽带视频业务的力度。p j 呓如p 、 q ! ! 班r e 、p p s t r e a m 、u u s e e 等都是我们熟悉的视频流媒体播放业务。 对于流媒体应用来说，最核心的技术就是对视频码流的编解码处理。随着视频 编码多样性的产生，使得在不同视频编码标准之间进行格式转换的需求显现了出 来，视频转码器的需求便由此产生。将一种压缩格式的视频码流转换为另一种压缩 格式，并针对不同的码率、不同的分辨率、不同的语法格式进行修改和整合，视频 转码技术使得异质网络和不同终端设备间进行视频的快速转输和高效处理有了可能 性。 视频转码不仅可以使得异质网络之间、不同的接入设备之间以及不同视频数据 格式之间能够互相兼容【6 1 川i s 。同时，视频转码在基于网络的视频应用中也有很高 的实用价值。例如，在通用的多媒体访问中，原本由于终端的数据处理能力和显示 能力不同，接入网的带宽、误码率和丢包率等信道特性不同，用户的感兴趣内容不 同，会使得传输的数据需要动态地适应用户环境的变化。而转码正是可以解决这一 5 第一章绪论上海师范大学硕士学位论文 问题的重要技术之一。除通用的多媒体访问外，视频转码技术也可应用于多路视频 流的复合传输，控制码率使其满足信道带宽的限制。转码还可用于在压缩视频流中 增加公司标识、水印以及抗误码特性，对数字视频的快进、回放等模式的支持和视 频点播也非常有用【9 】。 1 2 转码方案简介 视频转码技术就是对已用一种视频格式压缩的比特流进行转换处理，把它转换 成另一种视频编码格式。这个转码后的另一种压缩码流更能适应传输带宽或者接收 端的要求。不同的视频应用对视频数据存放格式、网络带宽及视频编解码器的性 能、体积和功耗等都有不同的要求，由此针对不同领域而使用的编码标准也不尽相 同。 视频转码在软件技术上主要可分为：码率转换、分辨率转换和语法转换三类 【1 0 】【1 1 1 1 1 2 】，其中码率转换、分辨率转换多用于相同或相似码流语法内的转码主要应 用于数字广播和网络传输，保证数字广播中特定级之间的兼容性，并尽可能地节省 带宽。分辨率转换又分为时间分辨率转码( 帧率变换) 和空间分辨率转码( 图像分辨 率变换) 。进行分辨率转换主要是为了满足用户端解码器不受到实时处理能力、解 码能力、显示分辨率上的一些限制，如：从h d t v 到s d t v 的转码可以在支持s d t v 的 设备上观看或记录高清的节引1 3 】【1 4 j 。语法转码主要是由于输入码流和终端所支持的 码流所遵循的视频编码标准不同，如典型的m p e g 2 到m p e g 4 的转码【1 5 1 。可以将 d v d 和数字广播中采用m p e g 2 标准编码的内容转换为m p e g 4 编码的格式，从而满 足网络多媒体应用的要求。通常，电视只是可以接受一种格式的信号，但当节目有 两种不同的格式( a v s 或者m p e g 2 ) ，转码可以让消费者自由选择是使用那种格式 的输出来观看节目。 1 3 本文转码方案的意义 在众多的视频编码标准中，m p e g 2 拥有最成熟的编解码技术，也是最广泛被 应用于多媒体各个领域的视频标准。它在d v d 和广播电视领域都获得了里程碑式 的成就，现有的电视多媒体信息存储都是基于m p e g 2 标准格式。所以把m p e g 2 作为转码输入研究对象，第一，可以保证有丰富的数据源；第二，某些高价值的原 始数据只有m p e g 2 格式，那么选择他们为输入研究对象，可以达到最大化利益的 需求。 6 上海师范大学硕士学位论文第一章绪论 葺暑宣宣i i 毫宣宣暑i i i i i i i i i i i 置置t i tr l t i i i 宣i i i i i i 宣i 萱i i i i i 宣宣i i i i 而在输出视频格式对象的选择上，我们在综合考虑了视频技术要求和其它能获 得的经济效益之后，我们最终选择了a v s 作为输出视频编码格式。在视频技术发展 过程中，a v s 作为我国自主研发的的视频编码标准，有着和h 2 6 4 相当的编码质 量，但是在计算复杂度上却大大降低。 当然，同m p e g 4 和h 2 6 4 相比，a v s 由于起步最晚，产业化程度还不足。目 前a v s 的产业链初步形成，联合信源和上广电已经推出基于a v s 标准的编码器， 编码芯片还在测试中。解码芯片已经可以量产，展讯、龙晶和博通等芯片厂商都推 出了支持a v s 的高清解码芯片。m p e g 4 标准起步最早，商用条件最为成熟，是目 前应用最为广泛的音视频编码标准，但苛刻的专利收费限制了m p e g 4 进一步的发 展，正如上边所说的，a v s 同m p e g - 4 和m p e g 2 相比主要具有以下优势：第一，技 术性能领先：a v s 的编码效率比m p e g 4 高，与m p e g 2 相当，但实现复杂度低于 m p e g 2 _ ；第二，专利收费更为公正：只对编解码设备收取每台1 元钱的专利费【1 6 】， 不对节目内容收费；第三，知识产权归属清晰：a v s 融合了新技术和公开知识，必 要专利数量不到相应国际标准的一半，并且绝大多数专利由中国会员贡献。 目前为止，a v s 产业联盟的会员单位已经达到2 6 家，随着a v s 标准产业化的 快速发展，基于a v s 标准的各项业务将在不远的时间内实现大规模商用。相对于 国际标准m p e g 4 和m p e g 2 ，a v s 标准必然将在我国的编解码标准的竞争中占据 主导地位【1 7 1 8 】。 1 4 本文研究内容和组织结构 从上文的论述中可以看出，传输标准和高清显示技术，是目前中国数字电视发 展面临的两道坎”但转码技术，是可以很好解决这两个问题的技术之一。m p e g 2 的标准输入源保证了信息数据的利益的最大化，而拥有我国自主知识产权的a v s 是 未来中国数字电视制式标准强有力的竞争者。所以m p e g 2 到a v s 的转码关键技术 研究具有技术创新和经济效益的双重意义。 转码技术可以总结为：将压缩视频流变换成适合于各种网络传输要求、各种视 频设备以及各种用户显示终端的形式，以实现存在于不同应用环境中不同编码标准 的数字视频系统之间的兼容性，实现不同格式视频资源之间的透明使用。 本文的重点是对视频编码方案的改进和研究，在对上述的转码方案进行比较 后，提出了一种基于双域快速映射的转码方案。在此方案中，我们在在帧内和帧间 两种模式上探究降低计算量和计算复杂度的改进算法。在帧内编码模式中，首先在 d c t 域，在a v s 中利用m p e g 2 中d c t 系数的信息，快速预测模式选择，并提出 7 第一章绪论上海师范大学硕士学位论文 了一种改进的快速亮度模式预测法，有效加快了亮度模式选择，提高了编码效率； 在帧间编码模式中，提出了一种改进的二分之一像素和四分之一像素运动矢量快速 预测映射，改进的新算法在不降低图像质量的前提下，降低了算法复杂度。 本文的主要结构为： 第一章是绪论，主要阐述了转码技术产生的时代背景，以及在多媒体迅速发展 的时代背景下，视频编码标准对多媒体技术的影响。同时阐述了本文选择m p e g 2 和a v s 这两种视频编码的理由。 第二章重点阐述了国内外对数字视频转码技术研究的现状。随后列出了最新的 6 大类转码方案，并总结了这6 种方案的利弊。最后，总结了三种转码算法，这三 种算法是国内外研究的基础。 第三章重点列举了m p e g 2 和a v s 的主要技术和他们的应用。分别从帧内和帧 间两种编码模式对a v s 和m p e g 2 的各项技术标准进行总结和比较。提出了一种双 域快速映射的转码方案，给出了转码的框架图。 第四章是在第三章的基础上，在帧间编码部分具体展开了转码方案的介绍。提 出了一种基于场帧运动矢量复用的快速帧间转码算法，并对非整数像素的间的转码 做了分析。这种改进的算法有效的减少了计算复杂度。 第五章也是在第三章的基础上，在帧内部分具体展开了算法的研究。结合了像 素域和d c t 域的模式信息，提出了一种改进的亮度模式选择算法。减少了帧内编 码的时间，大幅度提高了帧内编码效率。 第六章总结了实验结果，本文改进方案的基本原则就是在获得尽可能好的转码 视频质量的同时，最大限度降低转码的计算复杂性。指出了改进算法的意义和价 值，给出了本文方案中的一些不足和有待改进的地方，提出了今后转码技术的发展 方向。 总结本文的创新点在于： 1 同时结合像素域和d c t 域信息，提出一种双域映射的编码方案，给出了基于 双域映射的转码体系结构框图。 2 在双域映射体系的帧间预测中，提出了一种基于场帧运动矢量复用的快速帧 间转码算法。 3 在双域映射体系的帧内预测中，同时在像素域和d c t 域的提取模式信息， 利用m p e g 2 的d c t 系数来预测a v s 的像素域的运动矢量和模式信息。 8 上海师范大学硕士学位论文第二章国内外研究数字视频转码技术研究 青萱置i i 高i i i i i i i i i i i i - iii - i i i 宣盲i i i i 置萱i i 葺i 青i i i i i i i 置 第二章国内外研究数字视频转码技术现状 2 1 标准发展历程 目前国际上的视频编解码标准主要有：国际标准化组织o s o ：i n t e r n a t i o n a l o r g a n i z a t i o nf o ，s t a n d a r d i z a t i o n ) 和国际电子学委员会( 1 e e ：i n t e r n a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o n ) 下属的活动图像专家组( m p e gm o v i n gp i c t u r e s e x p e r t g r o u p ) 制定的m p e g 系列标准。m p e g 组织成立于1 9 8 8 年，主要应用于视频 存储( v c b , d v d ) 、广播电视、因特网或无线网上的流媒体服务。目前已拥有3 0 0 多名成员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、a t & t 等世界知名公司。 m p e g 组织制定的各个标准都有不同的目标和应用，目前己提出m p e g - l 、m p e g - 2 、m p e g 4 、m p e g - 7 和m p e g - 21 标准【l 9 11 2 0 。 国际电信联盟电信标准化部门( 1 t u t ，i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n t e l e c o ms t a n d a r d i z a t i o ns e c t i o n ) 制定的h 2 6 x 系列标准，主要应用于多媒体通信 1 2 1 1 。目前视频流传输中最为重要的编解码标准有国际电联的h 2 6 1 、h 2 6 3 ，新兴的 m p e g 2 压缩标准也应用到流媒体中。 目前主流的流媒体厂家和格式包括：微软公司的w i n d o w s m e d i a ，r e a l n e t w o r k s 公司的r e a l m e d i a ，和a p p l e 公司的q ”i c k t i m e 。其中，尤以w i n d o w s m e d i a 和 r e a l m e d i a 占主流地位。 2 2 国内外研究热点转码方案 2 2 1 编码方案 1 自适应编码 自适应编码主要是使用在视频会议等需要实时编码的应用中【2 2 1 。它可以根据传 输信道的条件调整编码器的参数，生成适当的压缩视频码流。自适应编码可以自动 适应网络带宽的变化，但是对服务器的要求太高，当用户增加时，服务器自身的开 销太大，很难应用于实际系统；而且在视频点播这类应用中，编码和传输是分开 的，自适应编码的方法显然不适用。 2 码流切换编码 它的基本思想是在服务器中存储同视频不同质量( 不同码率) 的编码流，用户 根据自己的需求和服务质量选择接收某一视频流。这种方案中的服务器的计算复杂 9 第二章国内外研究数字视频转码技术研究上海师范大学硕士学位论文 度低但是要求比较大的磁盘存储空剐2 3 】【2 4 1 网络带宽和终端的能力与存储的不同质 量等级的码流数目成正比，所以它的性能受存储容量限制；而且当多个用户接收服 务时，要为不同用户各自分配带宽，使得传输信道利用率低。 3 重新编码 重新编码方案的基本思想是服务器中存储了高质量的视频码流，根据传输信道 带宽及用户的需求，对原始的码流完全解码，处理后再用新的格式和标准进行重新 编码 2 5 】 矧。这种方法可以灵活的实现不同格式、不同标准码流间任意的转换，然而 由于需要二次编码，所以运算复杂度最高，在现有的计算机运算条件下难以满足实 时需要。 4 可分级扩展编码 传统的可分级扩展编码方法有三种：时域可分级扩展编码；空域可分级扩展编 码；质量可分级扩展编码。其基本思想是把码流分成两个或更多的层次编码实现， 从一个基本层开始逐渐加入一些附加的增强层，从而提高视频质量。它的优点是能 够根据网络系统和终端的状况，通过是否传输增强层来提供不同等级的视频，但是 由于各个层的码率在编码完成时就固定了，而且一般间距较大，因此码率的调整范 围有限，而且，分级的解码器比单层解码器复杂，增加了终端的处理负担阿口田 可扩展编码方案f g 慨g r a n u l a rs c a l a b l ec o d i n g ) ，将视频编码成一个基本层 和一个可以在任何点截断的增强层码流，其中基本层码流适应最低的网络带宽，而 增强层码流可以覆盖网络带宽变化的动态范围，克服了传统方法在码率调整范围上 的局限性，但是f g s 的解码器更加复杂，虽然己被m p e g 4 标准所采纳，但是它的 实用化还有待研究。 5 转换编码 它的思想是把压缩视频流直接转换到另一种格式或标准的压缩视频流。服务器 端保存的是一个高质量的视频数据，首先对视频数据进行部分解码，然后在不严重 影响图像质量的情况下有选择的丢弃部分压缩数据，再部分编码成所需要格式或标 准的压缩码流输出。部分编码部分，可以利用部分解码的信息，特别是运动矢量， 来降低运算复杂度，提高码流转换效率。转换编码技术运算量小、占用资源少，可 以在现有条件下实现软件实时的操作。它能够根据网络状况、终端处理能力，灵活 的处理视频压缩数据。部分解码转换部分编码压缩数据压缩数据转换编码丢弃部分 数据【2 9 1 。 6 嵌入式编码 它的思想在j p e g 2 0 0 0 标准和m p e g - 4 标准中对象纹理编码中有所体现，主要 1 0 上海师范大学硕士学位论文第二章国内外研究数字视频转码技术研究 技术是小波变换和位平面编码，它编码出来的码流可以在任意处截断、解码和显示 啪】【3 。但是它难于与现有的基于分块d c t 变换和运动补偿预测结构的大多数视频数 据格式和编解码器兼容。 2 2 2 方案比较和总结 在现有的条件下，转换编码的方法具有适中的灵活性和运算复杂度，成为现在 研究的主要内容。转换编码与自适应编码方案相比，编码和传输互相分离，所以更 加灵活；与码流切换方法相比较而言，可以节省存储空间；与重新编码方案相比， 通过部分解码和部分编码实现转码，运算复杂度低，实时性好；它和可分级扩展编 码方案相比，可以自适应的把存储码流转化为更精确匹配网络带宽和用户终端处理 能力的码流。视频转码的目标是在环境和处理能力受限的情况下，在码流转换的质 量和复杂性之间取得最佳折衷。实现的关键是对压缩视频流中的压缩数据进行复 用，避免重新编码中的复杂运算【3 2 】【3 3 1 。国外对转换编码器的研究最早是通过频率截 去的方法实现视频流码率的变换。此后，对转换编码器的结构和码率控制算法的研 究广泛展开，其中许多方法虽然具有好的效果，但考虑到实时性以及复杂程度的要 求，这些算法无法实用化。随着多媒体应用的发展，仅仅靠降低比特率的转码已不 能满足需要，其后陆续有对任意格式间转码、空间分辨率转码、时间分辨率转码和 不同标准间转码的研究键问题成为研究的热点，包括不同标准间对应数据的映射； 新的运动矢量映射问题：像素域转换时纹理数据的处理；以及相关的压缩域图像 视频处理算法和编码器性能优化等研究瞰】。 2 - 3 热点转码体系结构比较与研究 2 3 1 基于像素域的级联转码体系结构 视频转码最简单的实现方式就是将输入的压缩视频流完全解码，然后再按照输 出格式的要求直接压缩成另一种格式的视频流，此方法称之为基于像素域的级联式 体系结构。在这种体系结构中，编码部分和解码部分在结构上是完全独立的，因此在 视频转码时具有很大灵活性。它可以在不同的比特率，不同的帧速率，不同的图像 分辨率，不同的编码模式，不同的编码标准上进行操作【3 5 1 3 6 】【3 7 1 。当然，这种体系结 构的计算复杂度是最高的，不适合实时的应用。结构框图如图2 1 表示。 第二章国内外研究数字视频转码技术研究上海师范大学硕士学位论文 转码后视频比特流 图2 - l 基于像素域的级联型转码框图 f i g u r e2 1b a s e do nt h ec a s c a d e dp i x e ld o m a k lt r a n s c o d h gd i a g r a m 图中的运动矢量选择是根据计算尉圮喧获得最匹配值【3 引，公式如下： j ( m v , a ) = 剐讹，细训+ a r ( m v - p m v ) 其中匹配准则翩d ( d ，( 册，) ) 的算法公式为【3 9 1 ： s a l v o ，r ( m v 炉：) 一，( f + 册叱，j + m v y ) i ( 2 - 1 ) ( 2 - 2 ) 式中，m y ( m y 置小是候选宏块的坐标，匹配准贝i j s a d 是当前宏块与候选宏块误差值 的总和，n 1 ，n 2 是宏块的宽度与高度，对于a v s 的宏块编码则可以是8 或者1 6 。p r a y 是当前宏块的预测运动矢量，r ( m v - p m v ) 表示是熵编码比特数的差值，五为拉格朗日 系数。而本文中的r o d 都是基于以上公式。另外基于运动矢量的搜索算法在国内外 已经有大量的研究成果：基于三步法，菱形搜索【4 0 4 q 等等。 2 - 3 2 基于像素域的快速级联转码体系结构 在编解码系统中，运动估计算法部分的工作量关系到整个系统的运算速度。所 以如果在编码器中使用输入流中的运动矢量，而不对其作进一步细化，就可使计算 量大为减少。而且，由于d c t i d c t 是线性运算，可以通过重新排列d c t 脱t 运算 次序而减少一些d c t i d c t 的操作，那么就产生了改进的基于像素域的快速转码体 系结构 4 2 1 4 3 1 1 4 4 l 。结构图如图2 - 2 表示。 1 2 上海师范大学硕士学位论文第二章国内外研究数字视频转码技术研究 输入视 图2 - 2 基于像素域的快速级联转码框图 f i g u r e 2 - 2b a s e do i lt h ec a s c a d e dp i x e ld o m a i nf a s tt r a n s c o d h l gd i a g r a m 目前，采用这种体系结构的转码算法，主要是对运动矢量和宏块模式的重新估 计： i 模式映射法【4 5 】【4 q 。此方法是利用原始标准的码流解码得到宏块信息，记录解码 宏块的运动矢量，包括帧内和帧间的所有模式。如图2 3 和图2 4 列出了m p e g 4 到h 2 6 4 转码的帧内宏块的转换模式统计模型。在这两个图中列出了全部的编码 宏块类型，并且利用己测试出全解全编的概率宏块模式统计表格，对现有的矢 量进行归类，参考选定的模式转换表来确定转换后的最佳候选模块，在选定模 块的整数士l 搜索窗内进行运动估计匹配，计算r d o 值，获得新标准的宏块运动 矢量。本文提出的改进模式也是基于此框图的一种改进。 i n 埘 1 6x1 6 m p e g - 4 h ，2 6 4 图2 3m p e g 4 帧内1 6 x1 6 宏块到h 2 “的转换 f i g u r e2 - 416 16 b l o c k 血- a n s c o d m g 证m p e g 4t oi - 2 6 4 娥i p 口 1 3 圈一田一目团 第二章国内外研究数字视频转码技术研究上海师范大学硕士学位论文 m p e g 4 h 2 6 4 i n l e t 8x8 冈 i i 一 i n l e ti n l e ti n t e ri n l c - r j 6x1 61 6 x88x1 68x8 i n t e r 日田田 i n l e t i n t e r 4x84 x4 田圜 图2 4i v l p e g 4 帧1 勾8 8 宏块到h 2 “的转换 f i g u r e2 - 48 8 b l o c ki r a n s c o d m gi nm p e g 4t oh 2 6 4 2 d i s t a n c ew e i g h t e da v e r a g ef d 删算法【4 7 1 。此算法的理论前提是一个矩形宏块运 动向量和它几何中心的运动向量是一致的。那么输入宏块的大小的映射就变为 几何中心运动向量的映射，那么输出也就是目标宏块几何中心的运动向量。在 这个算法中，输出的运动向量是候选宏块运动向量的几何与当前宏块几何中心 运动向量的加权平均【4 引。加权值是当前输入宏块几何中心与候选宏块几何中心 的距离。假设， 当先要预测的是一个帧间1 6 8 宏块，它的宏块被标记为如图2 5 所示。 图2 51 6 x 8 宏块丽种矢量标记示意图 f i g u r e2 - 5t w ov e c t o rm a r k u pd 魄r a mf o r16 8b l o c k a l - a 6 ，b 1 b 6 为候选宏块位置，计算当前宏块运动矢量公式如下： m v ( 舻孕譬型 ( 2 - 3 ) 己i = l 嵋 其中 1 4 上海师范大学硕士学位论文第二章国内外研究数字视频转码技术研究 吩刍 陆4 ) 西是之前所提到的当前宏块几何中心与后选宏块几何中心的距离。利用这个算法公 式，可以通过线性的计算预测出宏块的运动矢量，从而降低了计算复杂度。 2 - 3 3 基于d c t 域的转码体系结构 在整个编码的过程中，运动补偿过程不一定只是可以在像素域进行的。由于经 过运动补偿的d c t 块可以直接从参考帧中它所在位置的四个相邻的d c t 块预测获 得，因此运动补偿预测也可以在d c 嗍进行当运动矢量为零或8 的倍数时，d c t 域的运动补偿不需要做任何计算。因此，对于低速运动( 或无运动) 的视频序列来 说，基于d c 碱的转码体系结构的计算量显然比其他两种小得多【4 9 】。不过，由 于这种体系结构的灵活性受到限制，例如当要求改变运动矢量、改变帧编码类型、 改变编码速率、改变分辨率等，就很难采用这种体系结构【5 1 1 。其框架示意图如图2 6 所示： 转码后视频比特流 图2 - 6 基于d c t 域的转码框图 f i g u r e2 - 6b a s e do nt h ed c td o m a i nt r a n s c o d i n gd i a g r a m 在这种体系结构中，最重要的便是系数转换算法，这种转换系数算法是基于s 矩阵 的d c t - h t 系数转换。d c t - h t 系, 数转换可看作一个二维线性变换【5 2 1 ，要保持图像原 始空间分辨力转码前后不变时，将1 个8 8d c t 系数矩阵x 变换为4 个4 x 4h t 系数矩 阵y 茸，则对应的胍数矩阵为y 为： y 号陇黝= 瞪糊曙矾哗l 0 4 町0 4 】 1 5 第二章国内外研究数字视频转码技术研究 上海师范大学硕士学位论文 式中：风是整数变换矩阵；d ，是4 x 4 零矩阵；死是8 x 8 d c t 矩阵将d c t 到h t 系 数的变换矩阵记为s ，则： y = sx x x s r 那么具体展开这个矩阵则为： s = 睦 0 1 个r 一 划“一 口b 0 0 fg 0一l0 0p l 口一厶0 0f - - 0 ol0 0 芦- 1 对于a v s 编码标准，他的d c t 转换矩阵为整数，所以利用上述转换算法可以大大提高 计算效率，但对于h 2 6 4 等基于浮点型数据与3 2 位整型数据乘法的矩阵，其运算复 杂度就变得相当高了，因此这种算法有很大的局限性，仅适用于无浮点型乘法时的 转码，其运算量与像素域转码相当。 2 4 本章小结 在本章中主要总结了几种转码方案，并且对他们的优缺点进行了比较，这几种 转码方案几乎涵盖了目前国内外全部主流的转码设计，在不同的应用场合，他们都 发挥了各自的长处。 接着本章第二部分对转码热点算法的研究，也是为后几章我改进的算法做铺 垫。在本文中，重新改进的算法是基于快速级联型和基于d c t 域这两种体系结构， 提出了双域映射的转码体系结构，并和基本级联型结果做了实验效果比较，并给出 了实验结果。 总之，本文基本原则是在获得尽可能好的转码视频质量的同时，最大限度降低 转码的计算复杂性。本论文所要研究的关键技术也主要是针对以上算法的不足以及 在今后工作的重点需要解决的问题。 在下一章中，会重点分析a v s 和m p e g 2 这两种视频编码标准进行分析和对比， 提出他们的共同点和不同点。提出转码过程中有那些关键技术直接影响转码的效率 和视频的质量。并把这些转码技术分为帧问和帧内这两个部分来开始我们的理论研 究，做理论铺垫。并给出相应的实验结果做理论的实验论证。 1 6 叫刈叫叫川一一 。一。口。歹。叩 d 叫住q q 唯r o o 4 o 0 o 口o i ，h m 1 c 啡1 上海师范大学硕士学位论文第三章双域映射转码方案概述 第三章双域映射转码方案概述 3 1 双域映射转码方案的理论基础 双域映射转码体系结构，其中心思想就是利用d c t 域的模式信息，在像素域 地编码中，结合可分级的转换编码方案，完成转码地工作。在此方案中，可分级的 视频码流是基础；将d c t 域的信息映射到像素域，并且在像素域中直接编码是关 键。在接下的章节中，我们首先来详细介绍可分级的视频编码。 3 1 1 可分级的m p e g 2 比特码流 m p e g 2 视频编码标准制定于1 9 9 4 年【5 3 1 ，它的设计目标是高级工业标准的 图像质量以及更高的传输率。m p e g 2 所能提供的传输率在3 1 0 m b i t s s e c 间，其 在n t s c 制式下的分辨率可达7 2 0 x 4 8 6 ，m p e g - 2 也可提供并能够提供广播级的 视像和c d 级的音质。m p e g 2 标准解码器可以完全解码m p e g i 视频比特流，也 就是说，m p e g 2 是向下兼容的视频标准。为更好地表示编码数据，m p e g - 2 用句 法规定了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组 ( g o p ) 、图像、宏块条、宏块、块。下图为m p e g 2 码流基本构成框图，我们可以 从这张概述图表中，对m p e g 2 码流有个整体的认识。 l 一个8 8 夏化0 0 1 系数宏块i 块层 i 地址li 值lililiil 宏块善 片屡 ( 包含n 个宏块) 图片层 ( 包含m 个图片) 1 li 数i 权值矩阵i 级llili 肋惺 ( 包含p 个图片) 图3 1m p e g 2 码流分解图 f i g u r e 3 1m p e g 2b i t s t r e a md e c o m p o s i t i o nm a p 1 7 第三章双域映射转码方案概述上海师范大学硕士学位论文 由图3 1 我们可以看出，整个m p e g 2 的码流可以看成从序列层开始的小分层构造 码流。m p e g 2 的每一层的比特结构都是由起始码，相应的地址标识符号为开始部 分，用以确认该层次的码流。然后在从第0 个信息标识符开始，进行队码流的的分 层编码。 像条层下是宏块层。m p e g 2 中定义了三种宏块结构【5 4 l ：4 ：2 ：0 宏块4 ：2 ：2 宏 块和4 ：4 ：4 宏块，分别代表构成一个宏块的亮度像块和色差像块的数量关系。 4 ：2 ：0 宏块中包含四个亮度像块，一个c b 色差像块和一个c r 色差像块； 4 ：2 ：2 宏块中包含四个亮度像块，二个c b 色差像块和二个c r 色差像块；4 ：4 ：4 宏 块中包含四个亮度像块，四个c b 色差像块和四个c r 色差像块。这三种宏块结构 实际上对应于三种亮度和色度的抽样方式。 在进行视频编码前，分量信号r 、g 、b 被变换为亮度信号y 和色差信号 c b 、c r 的形式。4 ：2 ：2 格式中亮度信号的抽样频率为1 3 5 m h z ，两个色差信号的 抽样频率均为6 7 5 m i t z ，这样空间的抽样结构中亮度信号为每帧7 2 0 x 5 7 6 样值， c b ，c r 都为3 6 0 x 5 7 6 样值，即每行中每隔一个像素对色差信号抽一次样。 宏块层之下是像块层，像块是m p e g 2 码流的最底层，是d c t 变换的基本 单元。其中一个像块由8 x 8 个抽样值构成，同一像块内的抽样值必须全部是y 信 号样值，或全部是c b 信号样值，或全部是c r 信号样值。另外，像块也用于表示 8 8 个抽样值经d c t 变换后所生成的8 x 8 个d c t 系数。 在帧内编码的情况下，编码图像仅经过d c t ，量化器和比特流编码器即生成 编码比特流，而不经过预测环处理。d c t 直接应用于原始的图像数据。 在帧间编码的情况下，原始图像首先与帧存储器中的预测图像进行比较，计 算出运动矢量，由此运动矢量和参考