（通信与信息系统专业论文）h264实时编码器的优化研究.pdf

大连理工大学硕士学位论文 摘要 随着多媒体技术的飞速发展，视频压缩已经广泛应用在多个领域。为了提高视频的 压缩效率，联合视频工作组t ( j o i n tv i d e ot e a m ) 在2 0 0 3 年提出了新一代视频压缩 标准h 2 6 4 。与以往的压缩标准( m p e g 2 、h 2 6 3 等) 相比，h 2 6 4 采用了帧内预测、 多参考帧运动估计、整数d c t 变换等关键技术，使其具有更高的视频压缩效率。但这 些关键技术增加了h 2 6 4 的编码复杂度，影响其应用范围。x 2 6 4 是一款支持h 2 6 4 标准 的开源编码器，目前已经在多个项目中应用。由于采用了多种优化方法，包括算法和代 码两方面，x 2 6 4 在目前的开源编码器中具有处于领先地位的编码性能。随着开源思想的 传播，x 2 6 4 的发展和应用前景将会越来越广阔。 论文目的是对实时编码器x 2 6 4 进行优化，提高其编码的实时性。首先，结合h 2 6 4 编码标准对x 2 6 4 编码器进行了深入研究，重点分析了编码流程、帧内预测以及帧间预 测部分。其次，针对多参考帧运动估计的高复杂性特点，论文提出一种基于视频序列的 时间、空间相关性的编码优化算法。该算法先根据视频序列的时间相关性预测图像整体 运动情况，设定最大参考帧数目；再根据空间相关性预测图像的局部区域运动情况，对 剧烈运动区域选择六边形搜索算法，对缓慢运动区域选择菱形搜索算法。实验结果表明， 该算法在保证一定编码质量的同时，对c i f 格式视频的编码速度提高3 - 9 帧秒。最后， 将x 2 6 4 中b 帧自适应判断过程省略，修改为固定帧结构，并增加w i n d o w s 平台下的多 线程支持，实现了结合算法的代码级别优化。 随着视频压缩的应用领域的不断扩大，客观条件决定了压缩算法需要在保证压缩效 率的情况下尽量降低运算复杂度，否则难以在实际中应用。论文在x 2 6 4 平台下实现编 码优化算法，在保证一定视频质量的前提下，降低了编码复杂度，提升了编码速度，增 强了编码器的实时性。 关键词：h 2 6 4 ；x 2 6 4 ；编码优化； h 2 6 4 实时编码器的优化研究 t h e s t u d ya n do p t i m i z a t i o no f h 2 6 4r e a lt i m ee n c o d e r a b s t r a c t w 池t h er a p i dd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g y ，v i d e oc o m p r e s s i o ni sw i d e l y a p p l i e di nm a n y f i e l d s i no r d e rt or a i s et h ee f f i c i e n c yo fc o m p r e s s i o n ，an e wv i d e oc o m p r e s s i o n s t a n d a r dh 2 6 4w a sp r o p o s e db y ti n2 0 0 3 c o m p a r e dw i t ht h ef o r m e rs t a n d a r d s t h ev i d e o c o m p r e s s i o ne f f i c i e n c yo fh 2 6 4i sm u c hh i g h e rd u et ot h ea d o p t i o no fs o m ek e yt e c h n o l o g i e s ， s u c h 弱i n t r a f r a m ep r e d i c t i o n ，m u l t i - r e f e r e n c e f r a m em o t i o ne s t i m a t i o na n di n t e g e rd c t t r a n s f o r m a t i o n h o w e v e r ，u s i n gt h e s ea b o v ek e yt e c h n o l o g i e sw i l li n c r e a s et h ee n c o d i n g c o m p l e x i t yo fh 2 6 4 ，a tt h es a m et i m el i m i t si t sa p p l i c a t i o ns c o p ei np r a c t i c e x 2 6 4i sak i n do f o p e n s o u r c ee n c o d e rt h a tc a l ls u p p o r th 2 6 4s t a n d a r d ，w h i c hh a sa l r e a d yb e e nu t i l i z e di nm a n y p r o j e c t s b e c a u s eo ft h ea d o p t i o no f m a n yo p t i m i z a t i o nm e t h o d sb o t hi na l g o r i t h ma n dc o d i n g ， x 2 6 4h o l d sal e a d i n gp o s i t i o ni nt h ea s p e c to fc o d i n gp e r f o r m a n c ea m o n gm a n yo t h e r o p e n - s o u r c ee n c o d e r s w 油t h es p r e a do fo p e n s o u r c ec o n c e p t ，x 2 6 4w i l lh a v ea ne x p a n s i v e p r o s p e c ti nd e v e l o p m e n ta n da p p l i c a t i o n t h ep u r p o s eo ft h i sp a p e ri st oo p t i m i z et h er e a l t i m ee n c o d e rx 2 6 4 ，i n c r e a s i n gi t s r e a l t i m ee n c o d i n gp e r f o r m a n c e f i r s t l y ，t h i sp a p e rd e e p l ys t u d i e st h ex 2 6 4e n c o d e ro nt h e b a s i co f at h o r o u g hk n o w l e d g ea b o u th 2 6 4s t a n d a r d t h r e ep a r t sa r em a i n l ya n a l y z e d ，t h e ya r e ： e n c o d i n gp r o c e s s ，i n t r a - f r a m ep r e d i c t i o na n di n t e r f r a m ep r e d i c t i o n s e c o n d l y ，c o n s i d e r i n gt h e h i g hc o m p l e x i t yo fm u l t i r e f e r e n c e - f r a m em o t i o ne s t i m a t i o n ，t h i sp a p e rp r o p o s e sa no p t i m i z e d e n c o d i n ga l g o r i t h mb a s e do nt i m ea n ds p a c er e l a t i v i t yo ft h ev i d e os e q u e n c e a c c o r d i n gt ot h e t i m er e l a t i v i t yo ft h ev i d e os e q u e n c e ，t h i sa l g o r i t h mf i r s t l yp r e d i c t st h ep i c t u r e s m o t i o n s i t u a t i o na n dd e c i d e st h en u m b e ro fm a x i m u mr e f e r e n c ef r a m e t h e ni ts e l e c t sd i f f e r e n tm o t i o n s e a r c h i n ga l g o r i t h ma f t e rp r e d i c t i n gt h el o c a lm o t i o ns i t u a t i o na c c o r d i n gt ot h es p a c er e l a t i v i t y o ft h ep i c t u r e s ，h e x a g o ns e a r c h i n ga l g o r i t h mf o ri n t e n s em o t i o na r e aa n dd i a m o n ds e a r c h i n g a l g o r i t h mf o rs l o wm o t i o na r e a e x p e r i m e n tr e s u l t ss h o wt h a tt h i sa l g o r i t h mc a nr a i s et h e e n c o d i n gs p e e db y3 9 f p si nc i fv i d e of o r m a to nt h ec o n d i t i o nt h a tt h ev i d e os e q u e n c eq u a l i t y i sg u a r a n t e e d a tl a s t ，t h ef i x e df r a m es t r u c t u r ei sa d o p t e di n s t e a do f u s i n gt h eb f r a m ea d a p t i v e j u d g i n gp r o c e s s i na d d i t i o n ，t h em u l t i t h r e a ds u p p o r ti nw i n d o w sp l a t f o r mi sa l s oa d d e d ，t h u s t h eo p t i m i z a t i o no ft h i sc o m b i n a t i o na l g o r i t h mi nc o d i n gl e v e li sr e a l i z e di nt h i sp a p e r a st h ea p p l i c a t i o nf i e l do fv i d e oc o m p r e s s i o ne x p a n d sl a r g e ra n dl a r g e r ，i ti sr e q u i r e db y o b j e c t i v ec o n d i t i o nt h a tv i d e oc o m p r e s s i o na l g o r i t h ms h o u l dh a v el o wc o m p u t i n gc o m p l e x i t y ， a tt h es a m et i m e ，t h ec o m p r e s s i o ne f f i c i e n c ys h o u l da l s ob eg u a r a n t e e d ；o t h e r w i s e i ti sn o t i i 大连理工大学硕士学位论文 s u i t a b l ei np r a c t i c e t h i sp a p e ra c h i e v e st h eo p t i m i z i n gm e t h o di nx 2 6 4 ，d e c r e a s i n gt h ec o d i n g c o m p l e x i t y t h ee n c o d i n gs p e e dc a nb ea c c e l e r a t e da n dt h ee n c o d e r sr e a l - t i m ea b i l i t yc a nb e e n h a n c e d i fw ec a ne n s u r et h eq u a l i t yo ft h ev i d e os e q u e n c e k e yw o r d s ：h 2 6 4 ；x 2 6 4 ；o p t i m i z a t i o no fe n c o d i n g 1 1 1 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：h ：皇鲣遮苎i 盘望墨鱼丛笙盏 作者签名：薹出 一日期：垒! 望 年j 生月生日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目 日。邋窒虹茎应堡篷鱼堡丛宝 作者签名：薹丝 日期：单年卫月j l 日 导师签名：姚日期： 垒! 1 2 年旦月旦日 大连理工大学硕士学位论文 1绪论 随着大规模集成电路技术的飞速发展，信息处理方式从最初的模拟信号领域逐渐转 向数字信号领域。相对于模拟信号，数字信号具有抗干扰能力强、便于存储、容易实现 压缩等优点，数字信号设备已经广泛应用在现实生活中，例如数码摄像机、手机等。随 着信息技术的发展，数字信号处理对象也从简单的文本信息发展到多媒体信息。因此， 可以说人类社会已经进入了数字信息化时代。 多媒体信息主要包括文字、声音、图像以及视频等内容。视频信息具有直观、形象 的特点，因而视频是多媒体信息中最重要的部分。视频是由大量、连续的图像组成，与 其他形式的多媒体信息相比，视频信息的数据量要大得多。因此，无论对于存储还是传 输，视频信息都必须经过压缩才能具有实际意义，这样视频压缩技术就成为了多媒体技 术的关键所在。 1 1视频压缩标准的发展过程 最早的视频压缩标准i l 】由c c i t t 第1 5 研究组于1 9 8 4 年提出，其发布了数字基群电 视会议标准h 1 2 0 建议。1 9 8 8 年，c c i t t 组织又发布了h 2 6 1 2 】标准，码速率范围设定 为p 6 4 k b p s ( p = 1 ，2 ，6 4 ) ，h 2 6 1 中基于波形的混合编码方案对以后的视频编码标准 产生了深远影响，因此被称之为视频压缩算法的一个里程碑。 i s o i e c 信息技术联合委员会在1 9 8 8 年成立了运动图像专家组( m p e g ，m o v i n g p i c t u r ee x p e r tg r o u p ) 。m p e g 组织于1 9 9 1 年公布了m p e g 1 t 3 】视频编码标准，码率为 1 5 m b p s 。m p e g 1 主要面向家用视频光盘( v c d ，v i d e oc o m p a c td i s c ) 的压缩、存储 和传输。1 9 9 4 年1 1 月，m p e g 组织公布了视频压缩标准m p e g 一2 t 4 1 。m p e g 2 码流划分 为三个层次，分别是基本流( e s ，e l e m e n t a r yb i ts t r e a m ) 、分组基本流( p e s ，p a c k e t e l e m e n t a r ys t r e a m ) 以及复用后的传输流( t s ，t r a n s p o r ts t r e a m ) 、节目流( p s ，p r o g r a m s t r e a m ) ，并将压缩比例划分为5 个档次，视频清晰度划分为4 个级别，总计2 0 种组 合。m p e g 2 支持4 m b p s 1 0 0 m b p s 速率编码，目前广泛应用在数字视频广播( d v b ， d i g i t a lv i d e ob r o a d c a s t i n g ) 、高清电视( h d t v ，h i g nd e f i n i t i o nt e l e v i s i o n ) 以及家用 数字通用光盘( d v d ，d i g i t a lv e r s a t i l ed i s c ) 等领域。 为了适用于p s t n 信道下的多媒体通信、视频会议等应用场合，i t u t 组织在1 9 9 5 年推出了h 2 6 3 1 5 】标准，并规定其码速率低于6 4 k b p s 。h 2 6 3 编码过程与h 2 6 1 类似， 但h 2 6 3 支持多种视频格式。虽然h 2 6 3 将传输速率规定为低于6 4 k b p s ，但是实际中其 范围已经远超出这个值，目前已应用到高清晰电视领域。 h 2 6 4 实时编码器的优化研究 1 9 9 9 年1 2 月份，i s o i e c 通过了“视听对象编码标准 m p e g - 4 1 引。与以往的压缩 标准相比，m p e g 4 除了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵 活性，主要应用在视频电话、视频会议等领域。m p e g 4 是基于图像内容编码的，在对 码速率要求严格的环境下，m p e g 4 可以选择感兴趣区域编码，有利于保证视觉效果。 新一代视频压缩标准h 2 6 4 7 】是由i t u t 与i s o i e c 组织于2 0 0 3 年3 月联合推出的。 由于采用了帧内预测与多参考帧运动估计等关键技术，h 2 6 4 显著地提高了视频压缩效 率。h 2 6 4 标准增加了对网络层的支持，同时又加强了对网络丢包情况的处理，使其具 有良好的网络亲和性。h 2 6 4 的应用领域包括数字电视、视频实时通信、网络流媒体以 及移动多媒体通信等，这些领域的共同特点是网络带宽有限，要求低码率视频传输。 1 2 国内外研究现状与课题的提出 h 2 6 4 提高视频压缩性能的代价是极大地增加了编码复杂度，所以其编码复杂度是 影响h 2 6 4 应用的最大限制因素。为了使h 2 6 4 能够得到更为广阔的应用，降低编码复 杂度、提高编码速度成为必然的选择。因此，h 2 6 4 编解码器优化成为近年来视频相关 领域专家学者的主要研究方向。下面首先对现有编码器进行介绍，然后从编码算法和编 码实现平台两个方面综述现有的优化方法，最后提出本文研究方法以及目标。 1 2 1典型h 2 6 4 编码器简介 在编码器实现方面，这里给出几个具有代表性的例子。首先是i t u t 官方给出的j m ( j u s t i f l e dm o d e ) 标准h 2 6 4 编码器。j m 的最大特点是实现了h 2 6 4 标准中规定的所 有功能，因此专家学者在研究编码优化算法时大多选择j m 作为算法的评价工具。但是 j m 的设计初衷是实现h 2 6 4 编码功能，没有考虑代码执行效率。在普通微型计算机上 j m 编码一帧c i f 格式视频需要1 秒左右，在实际中难以应用。其次是l a u r e n ta i m a r 等 人在2 0 0 3 年发布的x 2 6 4 1 2 7 1 编码器。x 2 6 4 是款开源编码器，由来自世界各地的h 2 6 4 编码爱好者共同维护，每天都会有支持新功能的版本诞生，目前x 2 6 4 已经支持了大部 分h 2 6 4 编码工具，而且有多个产品和开源项目已经采用了x 2 “编码器，包括v l cm e d i a p l a y e r 、f f m p e g 等。x 2 6 4 针对h 2 6 4 编码采取了多种优化方案，包括支持快速搜索方案 ( 例如六边形搜索、菱形搜索等) 、多参考帧优化以及代码的汇编优化。相对于j m 编 码器，x 2 6 4 在编码性能方面有很大的提高，这将会促进h 2 6 4 标准在实际中的应用。最 后是由中国视频编码自由组织联合开发的t 2 6 4 编解码器。t 2 6 4 吸收了j m 、x 2 6 4 编码 器的优点，实现了一个高性能编码器。t 2 6 4 编码器输出标准的h 2 6 4 码流，但其解码 器只能解码t 2 6 4 编码器生成的码流。 大连理工大学硕士学位论文 1 2 1 编码优化方案 在编码算法与编码实现方面，国内外研究者提出了多种的优化方案，包括搜索算法 优化、模式选择优化以及实现方式优化等，下面简要介绍优化方案的发展现状。 ( 1 ) 搜索算法方面 根据h 2 6 4 编码器结构，帧间预测对视频压缩效率贡献最大，但其具有非常高的编 码复杂度。h 2 6 4 标准中没有规定运动估计所采用的具体搜索方法，需要用户自行选择 实现，这也给搜索算法的优化留下很大的空间。t k o g a 于1 9 8 1 提出t - - 步搜索算法【8 】， 通过减少搜索点数来提高编码速度，此算法适用于对质量视频要求较低的场合。三步法 的缺点是容易陷入局部最小区域，在处理情况复杂的图像时会影响预测效果。在三步搜 索算法的基础上，r e n x i a n gl i 和b i n gz e n g 于1 9 9 4 年提出了新三步搜索算法【9 】，该算法 增加了对视频中心偏置特性的考虑，并采用提前终止判断、减少搜索次数的方案，从而 获得了较好的搜索效果。菱形搜索算法【lo 】最先由s h a hz h u 和k a i k u a n gm a 提出，该算 法使用5 点小菱形模板和9 点大菱形模板共同完成搜索过程。经过不断改进，菱形搜索 算法已经成为性能最好的搜索算法之一。但是，菱形搜索算法需要进行模板转换，给搜 索过程带来不便。c ez h u 、x i a ol i n 等人提出了六边形搜索算法i l ，该算法首先使用六边形 模板进行粗定位，然后使用小菱形模板精确定位。在搜索点数和搜索范围两方面，六边形搜索 算法性能要优于菱形搜索算法。针对搜索算法的优化思想还有很多，但主要还是以上述搜索算 法为基础，进行了不同程度的改进。 ( 2 ) 模式选择方面 h 2 6 4 编码的核心工作是选择宏块的编码模式。此过程需要对所有模式进行判断， 选择编码代价最小的模式。模式选择过程计算复杂度非常高，它直接影响编码速度。如 果采用快速模式判断方法，编码速度将会有很大提升。近年来专家学者在模式选择方面 提出了很多优化算法，y o n gh om o o n 等在2 0 0 5 年提出了一种针对全零块的快速判断准 则【1 2 1 ；b o j u nm e n g 等提出一种综合率失真代价计算、选择高概率模式、提前终止编码判 断以及灵活阈值四种优化方案来快速设定帧内模式的算法【1 3 1 ；x i a o a nl u 等将运动估计 信息用于模式选择来减少计算，提高编码速剧m 】；s h u f a n gz h a n g 等提出一种针对多参考 帧运动矢量中心偏移特征的优化算法【15 】；p e n gy i 等于2 0 0 3 年提出一种通过减少模式选 择数目、限制参考帧数目等策略来实现的编码优化方法【1 6 】；余成伟等提出根据宏块最佳 编码模式统计结果来提前终止搜索，同时根据宏块的特征来选择编码模式的优化算法 【1 7 1 ；冯镔等在2 0 0 7 年提出根据运动补偿信息，减少模式选择范围的编码优化算法【1 8 1 ；王 维哲等于2 0 0 8 年提出根据模式的相关性来减少模式搜索过程【1 9 】的优化算法。快速模式选 择优化方法可以对编码模式作出直接或间接判断，有效地减少了编码复杂度，是实现编 码优化的重要手段之一。 h 2 6 4 实时编码器的优化研究 ( 3 ) 其他优化方法 编码实现过程与硬件平台关系密切，优秀的编码算法需要恰当的实现方式来发挥其 高效的编码性能。此部分主要介绍在不同环境下所采用的编码优化手段。例如参考文献 【2 0 ，2 1 】中给出了一种针对普通微型计算机平台的优化方案，其中使用s i m d 指令集对 d c t 变换、量化、插值以及运动估计等部分进行优化，此方法是目前在计算机平台上实 现编码提速的重要手段；s u b r a m a n i as u d h a r s a n a n 等在参考 2 2 ，2 3 】中分别给出了芯片设计 时( f p g a 、a s i c 等) 实现基于内容自适应的算术熵编码( c a b a c ) 的优化结构：在参 考【2 4 】中，x i l i n x 与4 i 2 i 公司联合推出了一款基于x i l i n xf p g a 的h 2 6 4 编码i p 核，使h 2 6 4 编 码器在f p g a 平台上成为独立的模块单元；盛惠兴等在参考【2 5 】中提出一种在嵌入式平台 x s c a l ep x a 2 7 x 上利用m m x 技术实现h 2 6 4 实时编码的优化方法，有效地解决了低计算 能力平台实现h 2 6 4 实时编码的问题；富士通公司在2 0 0 6 年末推出一款支持1 4 4 0 x1 0 8 0 分辨率实时h 2 6 4 编码芯片【2 6 】，该芯片使用9 0 n m 技术，并结合富士通实验室自行研发的 编码算法，实现了单片高清实时编码。结合硬件平台实现编码优化的方法有很多种，上 述简要介绍了目前较为流行的实现方式。出于对算法研究的目的，本文选择普通计算机 平台，实现对编码器的优化。 综合上述分析，本文的研究目标是在普通计算机上实现c i f 以上格式的h 2 6 4 实时 编码。具体操作过程为：选取x 2 6 4 编码器作为编码工具，首先研究x 2 6 4 实现过程以及 优化方案，然后针对x 2 6 4 编码器提出编码优化方案，在编码算法、程序结构以及代码 级别等方面进行优化，增强编码器的实时性。编码优化具有重要的实际意义，通过降低 编码复杂度，可以使计算能力低的平台实现实时视频编解码，扩展了视频信息的应用领 域。 1 3 本文的结构安排 本文首先对h 2 6 4 视频编码标准进行了整体性研究，重点分析了总体编码流程i 然 后结合h 2 6 4 标准对开源编码器x 2 6 4 进行深入研究，包括编码过程、程序结构以及关 键技术实现等细节；最后对x 2 6 4 编码进行分析，提出并实现编码优化方案。具体章节 安排如下： 第一章为绪论，主要介绍视频压缩标准的演进以及视频编码优化方法的研究现状， 并提出本文的研究内容与实现方法；第二章为h 2 6 4 编码原理，首先介绍色彩空间的表 示方法，其次介绍视频压缩原理，最后分析了h 2 6 4 编码过程；第三章对开源编码器x 2 6 4 进行了深入研究，首先从编码层次的角度描述了x 2 6 4 的编码流程，并对流程中的关键 部分进行了分析；然后研究了帧内预测的实现过程，包括预测信息缓存和预测过程两部 分；最后重点研究了帧间预测部分，包括帧间预测过程、运动搜索算法、s k i p 模式判断 大连理工大学硕士学位论文 原理以及亚像素插值过程：第四章提出基于) 【2 6 4 的编码优化方法，包括对b 帧自适应 类型判断优化、基于时间空间相关性的运动估计优化以及并行编码优化方法，并进行了 实验结果对比，最后给出了一种简单实现实时编码的应用方案；第五章为对本文工作的 总结和展望。 h 2 6 4 实时编码器的优化研究 2h 2 6 4 视频压缩编码算法 2 1色彩空间简介 随着计算机技术的发展，图像处理【2 8 】的应用越来越广泛。人脸识别技术、数字电视 普及等都离不开图像处理技术。由于计算机不能处理模拟信号，因此对图像进行处理之 前必须要对其进行数字化。数字化图像由一系列像素组成，通常所说的1 0 2 4 x 7 6 8 图像 就是指图像宽度1 0 2 4 像素，高度7 6 8 像素。下面将介绍数字化图像的表示方法。 2 1 1 r g b 色彩空间 任意一种颜色均可由不同比例的红色、绿色、蓝色( 即三原色) 组合而成。这种色 彩空间为r g b 空间。c r t 、l c d 显示器，数码像机中c c d 电耦合器等，都是以r g b 空间为基础的。 一幅彩色图像每一个像素点需要3 个值来表示r 、g 、b 三个分量，而常用的显示 设备( c r t 、l c d 等) 支持8 位r g b 值显示。因此，每一彩色图像像素需要3 个字节 来表示，例如r g b 2 4 ，像素内三个分量按照b 、g 、r 顺序排列，如图2 1 所示。灰度 图像没有色度分量，使用r g b 彩色空间表示时r 、g 、b 取相同值，因此每个灰度像素 只需要用一个字节来表示。对于其他的r g b 格式，例如r g b 3 2 等，这里不再赘述。 bgrbgr补齐 bg rbgr b grbgr 图2 1r g b 2 4 存储格式 f i g 2 1 t h es t o r i n gf o r m a to fr g b 2 4i nm a i nm e m o r y 2 1 2y u v ( y c b c r ) 色彩空间 与r g b 类似，y u v 色彩空间每一个像素最多需要3 个值来表示其亮度与色度信息， 分别是y 、c b 、c r 。y u v 分量可以从r g b 空间转换得到，如式2 1 所示： 大连理工大学硕士学位论文 y=02 5 7 r + 05 0 4 g + 00 9 8 b + 1 6 c b ；_ 0 1 4 8 r 一0 2 9 1 g + 0 4 3 9 b + 1 2 8 ( 21 ) c ，20 4 3 9 r 一0 3 6 8 g 一0 0 7 1 b + 1 2 8 y u v 空间表示方法来源于模拟电视信号，其采用一个亮度信号与两个色度信号表 示，彩色电视机接收三个分量进行显示，黑白电视机接收三个分量，但只使用y 亮度信 息显示，这样彩色电视信号兼容了黑白电视。 ( 1 ) y u v ( y c b c r ) 取样格式 人类的视觉系统( h v s ) 对亮度信息比较敏感，色度信息次之。所以保持亮度信息 的空间采样率不变，降低色度信息的空间采样率，可以有效地实现视频压缩，而对图像 的主观评价影响较小。在采样率一定的前提下，对两个色度信息进行采样来降低其清晰 度。y u v 彩色空间的三种典型采样格式如图2 2 所示，分别是4 ：4 ：4 、4 ：2 ：2 、4 ：2 ：0 取样： eee eeee eee 雹呛b 鬯 呛。呛 呛o 呛 宅o 哈 吣o 呛 o y o ( c b 图22y u v 取样格式 f i g2 2 1 八j vs a m p l ef o r m a t ：簟：o 。噜o 。 扣： 在4 ：4 ：4 格式中，三个分量信息均无损失，每采样点含有丫l 三个分量，保留了全部 视频信息；在4 ：2 ：2 格式中，c r 、c b 色度分量在水平方向上采样率取亮度y 的一半，垂 直方向相同；在4 ：2 ：0 格式中，c r 、c b 色度分量在水平与垂直方向上采样率均取亮度y 的一半；y u v 4 ：2 ：0 格式压缩最大，广泛应用于数字电视，d v d 等场所，h2 6 4 支持 y l i v 4 ：2 ：0 视频格式编码。 ( 2 ) y u v ( y c b c r ) 存储格式 y u v 格式有两大类：打包( p a c k e d ) 格式和平面( p l a n a r ) 格式。前者将y u v 分 量存放在同一个数组中，几个相邻的像素组成一个宏像素( m a e r o - p i x e l ) ；而后者使用 三个数组分别存放y u v 三个分量，就像是一个三维平面一样。y u v 4 ：2 ：0 在计算机内存 中的存储格式如图2 3 所示，属于打包格式。 彩色空间是对图像的像素的一种表示方法，是计算机处理的数据源。彩色空间表示 方法具有实际物理意义，r g b 依据三原色原理，y u v 依据亮度、色度分离原理。了解 彩色空间表示在计算机内存的储结构，对于视频格式转换、编码是必要的。 h 2 6 4 实时编码器的优化研究 图2 3y u v 4 2 0 格式存储结构 f i g 2 3 t h es t o r i n gs t r u c t u r eo fy u v 4 2 0 2 2 视频压缩原理简介 2 2 1 视频压缩目的 视频是由图像组成的序列。为了确保视频的连续性，每秒钟至少播放2 5 帧图像。 假设图像分辨率为6 4 0 x 4 8 0 ，帧率为2 5 帧秒，彩色空间表示为r g b 2 4 ，一秒内视频数 据量为： 6 4 0 x 4 8 0 x 3 x 2 5 = 2 1 9 7 2 6 5 6 = 2 1 9 7 m b y t e s = 1 7 5 8 m b i t s ( 2 2 ) 从式2 2 中可以看出，未经压缩的视频一秒钟的数据量达到了2 1 9 7 兆字节，如果 此视频在网络上传输，要求网络带宽至少为1 7 5 8 m b p s 。这将会占用大量的网络带宽， 导致一般网络无法满足其带宽要求。所以未经压缩的视频很难在实际中应用，尤其是当 视频需要进行存储、传输的场合。这就使得视频压缩成为视频处理过程中必须解决的首 要问题之一。视频压缩的比例要尽量大，并且要保证压缩视频的质量，否则会失去视频 压缩的意义。而且目前的压缩算法都在向尽量能够同时满足这两个方面需求而努力。 2 2 2 视频压缩方法 通过减少视频图像的时间、空间冗余度可以达到对视频压缩的目的。目前视频压缩 算法主要分为两方面：预测编码与变换编码。 ( 1 ) 预测编码【2 9 1 大连理工大学硕士学位论文 视频序列中连续两幅图像间隔相差的时间很小，当帧率为2 5 帧秒时，连续图像时 间间隔为00 4 秒。如图2 , 4 所示，t o r m 柚视频序列的第4 8 、4 9 帧可见连续图像内容 变化很小，去除视频序列的时间相关性是实现视频压缩的重要手段。编码时以4 8 帧为 参考图像，将4 9 帧与4 8 帧做差得到d ，d 值相对较小，这样只要保留4 8 帧和差值d 就可以得到4 8 、4 9 两帧图像，达到视频压缩的目的，此种压缩方法称为帧间预测编码。 隰隰 隰 ( 2 ) 变换编码 图像信号中包含了低频部分和高频部分，低频部分代表图形的整体轮廓以及变化平 坦的部分，高频部分代表图像的细节【删。统计表明，图像的主要信息集中在直流和低频 h 2 6 4 实时编码器的优化研究 部分，高频部分只占少量。将图像进行二维变换，例如采用d c t 变换，得到变换域图 像，变换域图像的能量主要集中在图像的左上角，其他部分含有大量的o 点或接近o 点， 这样在编码图像时忽略掉这些0 点，就可以实现一定的视频压缩。由于忽略掉的点只是 一些图像细节信息，因此变换编码对图像质量影响不大。 2 3 h 2 6 4 编码过程 h 2 6 4 采用了预测编码技术和变换编码技术，显著地提高了视频压缩效率。h 2 6 4 标准并未规定编码器实现的细节，只是规定了一个编码比特流的句法，这样编码端的实 现就有了很大的自由度，不同厂家编码器的实现方式不同，研究人员可以自行选择方案 来改进或优化编码器，但根本准则是编码所产生的比特流可以使用标准h 2 6 4 解码器来 解码。 h 2 6 4 中对视频序列采用如下划分编码层次：图像组( g o p ) 、图像( p i c ) 、片组 ( s l i c eg r o u p ) 、片( s l i c e ) 、宏块( m b ) 、子块( s u b m b ) 、块( b l o c k ) 。下面从 编码层次角度阐述h 2 6 4 编码过程。 2 3 1图像组( g o p ) 视频序列首先划分成一系列图像组，每个图像组中包含多幅图像，一般取固定数目。 每个图像组所采用的帧结构一般是相同的，如图2 6 所示，每一图像组包含4 幅图像， 帧结构为i b b p 。每个图像组也可以采用不同的帧结构。 ：卜g o p l 一卜g o p 2 一 图2 6 图像组结构示意图 f i g 2 6 t h es t r u c t u r eo fg o p 图像组的长度会影响编码效果。在一定范围内，图像组长度值越大，压缩效率越高， 因为图像组中只有一个i 帧，剩下的为b 帧和p 帧，i 帧只采用帧内编码方式，压缩效 率较低，b 、p 帧采用帧间编码方式，压缩率高。但是，图像组长度也不能任意取值，i 帧过少会导致编码质量下降，尤其是针对运动较剧烈的视频序列和场景切换的情况，所 以g o p 的长度要根据实际情况适当设定。 大连理工大学硕士学位论文 2 3 2图像( pic ) 由于电视信号采用隔行扫描，h 2 6 4 支持帧、场、帧场自适应编码。采用场编码时， 一帧图像分为顶场与底场两部分，分别进行编码。图像是个集合概念，顶场、低场、帧 都可以称为图像。根据图像内片( s l i c e ) 的类型，可以将图像划分为表2 1 中的8 种类 型。例如，图2 6 中i 帧是指p r i m a r y _ p i c _ t y p e = 0 的图像，p 帧是指p r i m a r y _ _ p i e _ t y p e = 1 的图像，b 帧是指p r i m a r y 的图像。 表2 1 图像类型 ! 垒垒：至：! 坠曼笪巳皇! q ! 巳i 璺! 坠翌 p r i m a r y _ d i c t y p e 出现在基本编码图像中的s l i c e t y p e 值 i i ，p i ，p ，b s i s i ，s p i ，s i i ，s i ，p ，s p i ，s i ，p ，s p ，b 序列参数集与图像参数集是h 2 6 4 标准中规定的两个语义集合，其中定义了图像组 层与图像层的相关参数，例如序列参数集中的p i co r d e rc n tt y p e 指示p o c 类型，图像 参数集中的s u mr e fi n d e x 指示最大参考帧数目。编码时将这些参数集存储在固定的单 元中，需要时直接进行打包传输。如果这两个参数集在传输过程中出错，那么会导致解 码端出错，因此，参数集数据需要可靠性高的网络协议传输。 下面要介绍两个重要参数：图像顺序号( p o c ) 与帧编号( f r a m en u m ) 。视频序 列里每一幅图像都要按照顺序进行编码，由于h 2 6 4 中存在双向预测，这个顺序就不一 定是显示顺序。为了使解码器能正常地解码并显示，h 2 6 4 中使用f r a m en u m 指示图像 序列的编码顺序，p o c 指示了图像的显示顺序。 图像顺序号与帧编号参数是在对图像编码之前已经设定好的。原始图像采集顺序就 是显示顺序。如果只采用前向预测，那么编码顺序与显示顺序一致；如果采用双向预测， 那么当前编码帧将会使用显示顺序前、后的已编码图像进行预测编码，这时就要求编码 帧之后的参考图像要先于此帧进行编码，否则不能进行双向预测。p o c 与f r a m en u m 的关系如图2 7 所示： h 2 6 4 实时编码器的优化研究 p i c 0i 2 34567891 01 i1 2 帧类型1 1 b 1b 2p ib 3b 4 p 2b 5 b 6p 3b 7b 8 i ) 4 p o c02468l o1 21 4 1 61 8 2 0 2 2 2 4 f rn u m0 2 31564897ll1 21 0 图2 7p o c 与f r a m en u m 关系图 f i g 2 7 t h er e l a t i o n s h i pb e t w e e np o ca n df r a m e _ n u m 其中，p i c 指示图像的原始顺序，可以看到p o c 顺序与p i c 顺序一致。f r a m en u m 指 示了每一帧的编码顺序，由于图中存在双向预测编码，因此f r a m en u m 与p o c 顺序将 不一致。b 1 、b 2 编码时要使用1 1 与p l 进行双向预测，这样需要p 1 先于b 1 、b 2 编码， 所以p 1 的f r a m en u m 值取1 ，在此之后的p 、b 帧编码顺序类似。另外，当f r a m en u m 与p o c 数值累计到最大值时需归零重新计数。 f r a m en u m 句法在标准的片头中直接给出，p o c 可以以三种方式传输给解码端， 用p i co r d e r c n t _ t y p e 来标识，p i co r d e r _ c n t _ t y p e = 0 时直接给出，p i c _ o r d e r c n t _ 1 c y p e =