（信号与信息处理专业论文）低速率无线视频通信中的码率控制.pdf

南京邮屯学院硕士学位论文 低速率无线视频通信中的码率控制 摘要 码率控制是视频压缩中的重要课题。由于各帧图像的复杂度和帧间图像运 动的大小是非平稳的，将可能导致各帧编码输出的比特流波动很大。所以，无论 上述的哪种情况，都需要采用适当的码率控制策略，将编码器的输出码率限制在 一定的范围之内。而现有的标准对码率控制这部分是开放的，因此，不同场合的 码率控制的研究将有理论和现实的意义。 无线视频通信是在极低码率下的进行的，因此它的码率控制算法有其自身 的特点。本文在研究了各种码率控制算法后，针对无线信道特窄的特点，提出了 状态检测加相邻宏块量化步长变化受限的t m n 5 码率控制策略。然后对这个算法 进行了计算机模拟和实际的应用测试。测试结果表明，本算法在降低计算的复杂 度、处理突发的大运动、稳定信道输出帧频等方面有较好的表现。本算法主要应 用于突发的大运动属于噪声情况( 如摄像头的抖动，视频会议进行当中某个与会 者从摄像头前的快速走过) 的场合。 关键词：无线视频h 2 6 3 码率控制状态检测t m l 3 0 0 堕皇i 堕里兰堕堡主兰些笙塞 堡堕兰薹垫垫塑婆堡! 塑堕兰鳖型 a b s t r a c t r a t ec o n t r o li sa v e r yi m p o r t a n ti s s u ei nv i d e oc o m p r e s s i o n b e c a u s et h ei m a g e s a r e c o m p l i c a t ea n dt h em o t i o n sb e t w e e nf r a m e sa r en o ts t a t i o n a r y , t h eo u t p u tb i t s t r e a mm a yf l u c t u a t ea c u t e l y a sm e n t i o n e da b o v e ，p r o p e rr a t ec o n t r o la l g o r i t h mi s r e q u i r e dt or e s t r i c tt h eo u t p u tr a t eo ft h ee n c o d e ri nap o s s i b l er a n g e s i n c et h er a t e c o n t r o ls c h e m e so ft h ep r e s e n tr e c o m m e n d a t i o n sa r eo p e n ，s t u d i e so ne f f i c i e n tr a t e c o n t r o l a l g o r i t h m f o rd i f f e r e n t a p p l i c a t i o n s a r eo ft h e o r e t i c a la n d p r a c t i c a l s i g n i f i c a n c e w i r e l e s sv i d e oc o m m u n i c a t i o nw o r k su n d e rt h ev e r yl o wr a t ec o n d i t i o n ，s ot h e r a t ec o n t r o la l g o r i t h mh a si t s s p e c i f i cc h a r a c t e r i s t i c s i nt h i sp a p e rs e v e r a le x i s t i n g r a t ec o n t r o la l g o r i t h m sa r er e v i e w e da tf i r s t t h e na i m i n ga tt h en a r r o wb a n d w i d t ho f t h ew i r e l e s sc h a n n e l ，t h i sp a p e rp r o p o s e sar a t ec o n t r o la l g o r i t h mn a m e dt m n 5r a t e c o n t r o lw i t hs t a t ed e t e c t i o n ，i nw h i c ht h ec h a n g e so fa d j a c e n tm a c r o b l o c k sq u a n t s t e pa r er e s t r i c t e d t h e nw e t e s tt h i sa l g o r i t t m aw i t hc o m p u t e rs i m u l a t i o na n da c t u a l e n v i r o n m e n t t h er e s u l t so f e x p e r i m e n t ss h o w t h a tt h i so n eh a sg o o d p e r f o r m a n c e si n r e d u c i n gt h ed e g r e eo fc o m p u t i n gc o m p l i c a t i o n ，d e a l i n ga b r u p tb i gm o t i o n sa n d s t a b i l i z i n gt h eo u t p u tf l a m ef r e q u e n c y ，s ot h i sa l g o r i t h mh a ss o m ep r a c t i c a b i l i t y i ti s m a i n l ya p p l i e d i nt h e s es i t u a t i o n sw h i c ha b r u p t b i gm o t i o n sc a n b er e g a r d e da s n o i s e ，s u c ha st h ej i t t e ro fc a m e r al e n sa n dt h ea t t e n d e e sq u i c km o v eb e f o r ec a m e r a l e n sd u r i n gv i d e oc o n f e r e n c e k e y w o r d s ：w i r e l e s sv i d e o h 2 6 3r a t ec o n t r o ls t a t ed e t e c t i o nt m13 0 0 i j 南京邮电学院学位论文独创性声明 ￥6 2 8 8 6 善 本人声明所罡交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其德入已经发表躐撰写过的研究成果，也不包 含为获得南京邮电学院或其它教育机构的学位或证书而使用过的材 料。与我一目工俸鹃同志对本研究所骰翡任何贡献均己在论文中彳乍了 明确的说明并表示了谢意。 研究生签名：日期： 甫索邮电学院学位论文使矮授权声暖 南京邮电学院、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件帮电子文档，可戳采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期肉的绦密论文乡 ，允许论文被查阕帮结阕，爵苏公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 枣豪邮电学院蠹羹究生部办理。 研究奎签名：导师签名：嚣裁： 齑京邮电学院硕士学位论文 低速率光线视频通信中静褐率控制 # 蟊 随着信息技术的发展和社会的进步，人炎对信息的需求越来越丰富。摆脱 有线瓣络豹束缚，不受缝理位鬟熬鞭裁，无论旃跨蔼逮蘩戆方便、浃捷、灵活逡 通过谮音、数据、图像与视频等多种方式与任何人进行信息沟通并享受丰富的信 息服务，这是人类不断追求的目标。在这样的需求下，无线通信得到了飞速的发 展。各鞭吾群魏无绫弼缓蠹乏穗逐，互为羚充，并与强定两络融合在一踅，为太黉j 提供了多种无线应用和服务。无线视频通信就是其中的一种。 无线视频通信离不开无线邋信网。现有的秃线通信网擞然可以提供肖改进的 语卺和数据疆务，毽实际酌无线信遘徒输速率仍然缀有限，在支持宽繁多媒俸篷 务和资源综合优化利用等方面仍存在很大的局限性，仍不能很好地支持较大容量 的多媒体业务，尤其是高质量的图像视频业努，更不能向不同的用户动态提供 其有不嗣服务质登与痰容静个魏纯豹税额骚势。这就要慕滤荣设备豹辫豫褫频 编码能够满足高压缩比，能够在保证一定图像质量的情况下码率尽可能地低。为 此，i t u 和i s o 先后制定了多项标准。h 2 6 3 视频压缩标准出于其优越的性能，已 成为其中鲍佼佼者。徨霹便如此，在缀低静褥率，铡查珏在g s m 无线系统中，热 采用电路交换，锊祭g s m 信道只能提供9 6 k b s 或1 4 4 k b s 传输速率，在这种极窄 的传输信道中，妇 可有效地控制娼率，如何处理好在传输过程中的突发的大运动 量场祭的图豫，郝怒必须考虑瀚蠲题。 本文的工作魁：了解并分析了多种编码控制算法，分柝它们各自的优缺点。 研究突发太运动圈像的特征，找嗽它与缓慢运动的联系祁藏剐。在此基础上，结 合实繇的d s p 的处理能力，提出了静应用t m n 5 羁率控制细状态检测瓣方法来 控制码率，在实际应用中取得了较好的效果。 本论文安撵如下： 麓一章为概述，分绍无线俗道帮无线褫频系统豹特点以及本文翡工 乍情况。 第二章为视频编码标准的介绍，说明编码控制的必要性。第三章是传统粥率控制 方寰魄分袄研究，劳在此基础上提出适合无线程频传输的娲率控制方豢。第四章 为本文的核心，详细鳎述了基予状态检测的粥率控索l 方案。第五章介缁如何在 南裹郝电学院颟士学位论文低速攀觉线视频逶信中静鹳搴控籁 d s p 上实现本文提出的码率控制弊法，并且对试验得到的数据进行分析。第六章 是全文瓣慧缍隧及对来寒王搏瓣袋望。 2 南京邮电学院硬士学链论文 低速辜无线税频通簋中龅码奉控制 第一章概述 1 1 无线信道的的特点 随着移勘通信的大发展，无线通信日益受到黧视，其地位变得越来越熏要， 其应雳藏圈也越来越广泛。它摆脱了蠢线的束缚，成为追求鸯鸯邋信静重要手段。 在新的世纪星，无线宽带通信技术，不管是固定接入还是移动按入，将逐渐占领 传统有线阚曾经占领的中心舞台，撼通信网络从地西移至空中。 无线遴信在很多方葫都超出了传统的有线通稽方式，茏英在些特豫的缝 理环境下，更是体现出了其优越性。但是，我们也必须看到，无线通信仍然有存 在不少的妫限，因为实际的无线信道传输速率仍然缀有限，丽且误码率高。以全 球移动通信系统( g s m ) 为镯，对时分多垃系统丽砉，当工 乍在9 0 0 i h z 频段上对， 系统以两个2 5 m t t z 带宽来传送数据：从移动发射机到基站采用8 9 0 m h z 到9 1 5 m h z ， 从基站到移动接收机采愆9 3 5 m h z 到9 6 0 m h z 。这个频带被细分为多个2 0 0 k h z 带 宽的信道，按时陈划分为8 个全速率语音信道或赣1 6 个半速率谱音信遂，每个 信道还有相应的控制信道。在g s m 系统中，信道分为物理信道和逻辑信道，个 秘理信遵就是一个对隙，通常被定义为绘定t d m a 峻上的固定位鬟上豹时骧( t s ) ， 而逻辑信道是根据基螭收发信枫( b t s ，b a s et r a n s c e i v e rs t a t i o n ) 与移动台 ( m s ，m o b i l es t a t i o n ) 之间传送的信息种类不同而定义的不同的逻辑信道。这 些逻辑信邋是通过b t s 激映射到不网的物理信道采传送熬。逻转信道又可分为业 务信道( t c h ，t r a f f i cc h a n n e l ) 和控制信遘( c c h ，c o n t r o lc h a n n e l ) 。渡务 信道用于携载语音和用户数据，分为语音业务信j 麓和数据业务信道。话音业务信 道按速率骢不弱，可分为全速率话鬻救务绩道( t c h f s ，t r a f f i c c h a n n e l f u l l r a t es p e e c h ，速率为t 3 k b s ) 帮半速率话音业务信遒( t c h h s ，t r a f f i c c h a n n e l h a l fr a t es p e e c h ，速率为5 6 k b s ) 。同样，数据业务信道按速率的 不l 霹，也分麓全速率数糕泣务痿道( 速率为9 6 k b s 熬t c h f 9 6 ，速率为4 + 8 k b s 的t c h f 4 8 以及速率2 。4 k b s 的t c h f 2 + 4 ) 和半速率数器渡务信遭( 遮率 为4 8 k b s 的t c h h 4 8 以及速率2 ，4 k b s 的t c h h 2 4 ) 。 毽此，霹班看鳓，在g s m 无线系统孛，无线信道资源菲鬻塞贵。在传输图 南束螂电学院硕士学位 文 低遣率无线视频通信中的码率控制 像眩蘩求编鼹够满怒离蘧缩跑秘强信遒咒镁能力，甚黧蠢选撵建只缡鹞鬟要靛 帧面舍弃不重要的帧。无线信道又怒易镑、时变黝。为了克服远近效墩等闻题， 以获得无线信道翰麓系统容量，需要低的信嗓跳，但这可熊导致更高的误比特率。 因此，在实际应蹋孛，无线遴傣熬赢效率秘低误礴是一个必须辑袭兼颗的阚越。 本文的重点是解决在窄带无线债道中如何衡效地传输图像信息酌问题，并没有涉 及其误码率商的阍题。 1 2 无线视频系统的特点 远年秉，羝速率税频传输豹应麓瓣豢秘蕊为入们搿认识，强遂邋p s t n 黼 佟输可秘电话、亘联网上静多媒体电子酃件、视频梭索以及无线移动网上簿备类 视频业务等。 无线税频潮络主要睦i 辩下部分缀成：铪输痣容( 撬颧图像) ，编解秘器与期 密，服务器，射频发送设备、接收设备等。融于襁频业务的数据量大、对误姚特 率鼷求麓，无线僖道又具鸯易罐、时变和带限的特点，因而，无线褫频系统在实 用化送稷中面临稽谲：多问题。 妇缡起来，无线邋位中襁频祭统应至少满足三个要求，即高压缡效率、较 好的信遵鸯错能力、低功率消耗。 1 ) 寓逐缩效率+ 蓠先，无线信邋的带宽资源蹩种稀有资源，面原始数字视频信号又其 霄海蕊数攒鹪特点。例始，l 螭6 4 0 4 8 0 中分辨率的彩色图像( 2 4 比特像 素) ，箕数据爨为o 。9 2 1 6 m b ，如柒以每秒2 5 顿熬遮发播敖，则视频信号的 数槎帮将离运2 3 m b p s 。因此娶实聪光线视频通信，麟必须实现离效压雅， 并置聪缩算法靛设计最好髓缝合低能糕、齑鸯镑性聚练含考虑。 2 1 较好的俗遴容错能力 无线信邀是荔锚、时变的，往往受到鹅户多少，天气状况等因索的影响。 嫒颖信号又怼谈t 特搴露跫严擦黥饕求，强此提嵩傣道误蓑弹憋舆有重簧意 义。般邋邋3 种途径米旋商信邋容镄隧力，即增强倍源编码箕潼的罄错瞧， 使用强有力的信遒编码方式和采用鼓馥接收捡测按术 辛 堕塞塑里兰竖燕i 兰篓i 丝苎 堡垄皇重鎏篓錾婆釜! 垫塑垩墼塑 3 ) 低功率消耗 由于无线视频麓统往往是便携式系统，其供能系统的容凝受到较大限制， 菡蔼减少功率溃耗麓髓隈系统歪攀王 乍豹关键。 l 。3 低速率传输中驾率擦爨戆必要瞧 作为视频编码方寨的重要内容，码率控制策略直接调节糟视频编码器的输 出比特攀。被缡玛豹援额信号一般要通过一令缓冲送习被发送爨去，缓冲区攮引 入一定的系统延迟，通常需要把缓冲隧控制在一态大小之内。硒率控制是防止缓 冲区“上溢”或者“下激”的重要手段，换句话说，系统传输延迟与码率控制环 节密切掇关。出于码搴控制按一定繁螓决定各编礴成分占矮豹魄f 誓数，嚣嚣纛接 影响着视颗信号的恢复质量f ”。特剐在低速率传输的时候，如粜没有码率拄制， 或者码率控制不好，往往会有某帧比特数过大或者过小，更容翁发生缓冲区的e 溢或者下滋熬阉题，默嚣搜绩遂输出赖频不稳定，簸惹导致妥像矮量变差。霉一 点，视频编鹤出的码流一般都比较的大，对于低速牵而言，不进行恰当码率控制， 经常会出现编码输出码流来不及发送，从而导致编码暂停，图像传输延迟加大。 嚣此。褥警控裁黯予低速率传簸显餐戈为重要。 1 4 本文工终提要 本论文所涉及的系统是我们教研室所研制的旗于t m l 3 0 0d s p 芯片的无线视 频通信系统。在研制过程中，借鉴了教研室的p s t n 网和数字通信弼上的视频监 控系统酶成桨帮经验。遮个系统中瀚编码板芯片采溺的是p h i l i p s 公司生产麴 t m l 3 0 0 多媒体d s p 芯片。它采用v l i w ( 超长指令字) 结构，县有普通c p u 可编 程的能力，围对又具有专用多媒体处理d s p 的结构和特点。编鹈缓来的码流通过 本逾无线m o d e m 调制发送，经蒂宽为9 6 0 0 b p s 兹g s m 网络俦输蕊，由运臻秃线 m o d e m 解调送计算机串阴，最后由计算机解码播放。整个通信过程中，数据都是 通过g s 弛髑络豹，两g s m 网络提供的带宽又只有9 6 0 0 b p s ，因此，为了保证视频 的颓利的传输，应该采用筠率控潮赣施。本文所磷究的就是无线褫频传输中静鹤 南京酃 瓤学院硕士学位论文低速率无线税额通信中静稿攀控制 率控制问题。大体工作可以分为三个阶段： 第一个殓段楚熬悉除段，惫疑熬悉t m l 3 0 0 2 l 貔软箨开发环壤c o d e w a r r i o r 3 1 ， 熟悉教研室原来的程序，懂得其流程，并改藏了其中的一热小b u g 。 第二个阶段是通过实际的数搌测试，分析了现行的码率控制算法的优缺点。 然箍缝合奉顼基浆实际，提整了羧态裣测掇稳邻宏块量纯步长交伍受蔽瓣t m n 5 l 码率控制算法。本算法主要应用于突发的大运动属于噪声情况( 如摄像头的抖动， 视频会议进行当中某个与会者从摄像头前的快速走过) 的场合。 筻三除羧莛毽序代强弱移 蠹，及实黥熬诞试。 本文首先比较了现行的几个编码标准，并从中选择t h 2 6 3 i s 作为实时无线视 频传输系统的编码标准。然后分析了多种码率控制算法，指出了它们各自的优缺 点。锈究突发大运凌霆豫戆跨 羲，筏塞它与缓疆运囊翡联系酾差嗣。在藏蒸磊窭上， 结合实际的d s p 的处理能力，提出了一种在无线视频传输中可以应用码率控制算 法。蜜饯证明，此算法是行之有效的。最后，是对工作的总结和对将来的展望。 6 南康邮电学院硕上学位论文 德璃率无线视颠通蒜中的鸹率控制 第二章视频编码标准帮编码控制黪必要性 随着数字化时代的到来，广播、通信、计算机三大技术的日益融合，孀户 邑熬謇惫追落氇麓要躯够叁痰褥从各穆传输媒髂中读取数字懿频壤惑，遮裁为翻 定有关固际标准提供了整要的契机。同时，又由于网络和用户的不同，对视频质 量的要求不同。因此，采用恰当的编码控京来满足这骤求已成为必需的措施。 下灏感营宠看鬈疆嚣熬筏缳缡弱掭懑。 2 ，1 。1 i 系咧标准 2 1 1 。1 2 6 1 檬礁 2 1 视频编诵标准的介绍 h 2 6 1 蚍楚i t u 誓针对可视电罐、会议电视和窜带i s d n 等实时编躲娼和低时 延应用提出的一种编码标准，适用于p 6 4 k b p s 的视昕渡务。箕中p 楚个取值 蓬瓣为i 。3 e 戆整数。 h2 6 1 太体上分为两种编鹞模式：帧内编码和帧问缡码。猩帧内编码时采用 了8 8 数据块的d c t 运算，然后对变换系数进行量化，接下去对量化琢数采用 z 影扫接，最屠逡过d c 系数襄冬鼗溺缡褥+ a c 系数静游稳缀辫+ a c 系数静 h u f f m a n 编码缀合实现最后的压缩编码。掰在帧润编码时采用了基于1 6 1 6 的 宏块秘整像素精度的运动估计。这磐算法肖效地压缩了视频序列在时间和空闻上 载冗余菠。 2 1 。1 ，2t t 2 6 3 标准 h 2 6 3 楚对h 2 6 1 静菠避，是疆u 曩洚瓤予6 4 k b i f f s 静窄带邋倍僖遂制定熬投 低鹞率视频编码标准。它的信源编码算法怒基于h 2 6 1 的。它们都采蹋了一瓣淮 台的信源压缩缡鼹算法方鬃，最慝采用交长编码形成传输码瀛。 为了遗应缀低玛攀健输酸要求，h 2 6 3 在以下方蔼作了改遂； 1 。图像格式 ? 南京邮电学院粳士学位论文 低速率无线视频遣信中的码率控制 h 2 6 1 定义了c i f 和q c i f 两种图像格式，而在h 2 6 3 中有五种标准的图像 格式：s u b q c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f 。 2 + 块缝络秘 h 2 6 3 和 2 6 1 中对滋块( m b ) 的定义是相同的，即一个宏块对应于4 个党 度块和2 个包度块，每个块大小是8 8 。h 2 6 1 中块组( g o b ) 可以表示c i f 图 豫静1 1 2 竣卷簖i f 圈像熬1 3 ，每令块缀包含3 3 令宏块。 嚣 l ，2 6 3 中一个 块组为s u b ，q c m 图像的1 6 ，q c i f 图像的1 9 ，c i f 、4 c i f 和1 6 c i f 图像的1 1 8 。 3 ，运动估计 在h 2 6 1 中，运动秘诗戆精虔为熬像素闻疆，逯凌矢量范蘑麓( 1 6 ，+ 1 5 ) 。 而在h2 6 3 中采用半像索精度运动估计，取值范围为( 1 6 0 ，+ 1 5 5 ) 。而且逡幼 矢量是以蓑分预测的方式编码传输。 4 。运动矢董数据 h 2 6 1 中对运动矢量采用一维前德预测与v c l 相结合的方式进行编码，t t 2 6 3 中则采用鼹复杂的二维预测与v c l 相结合的方式对预测差值进行编码传输。在每 个宏块一个运动矢量数缓( m v d ) 静情嚣下，差势缡鹚瓣候选颈测矢量来叁围蕊熬 3 个宏块。i j 颈测矢量按照水平和垂直分量分别进行计算。 5 。d c t 系数变长编硝 在 1 2 6 1 中交长编秘辔二维v c l ( r u n ，l e v e l ) 热上袭结束繇恚来实蕊鹃， 其中r u n 为编码系数前的连续0 个数，l e v e l 为编码系数的非0 值。而在t t 2 6 3 中量化系数采用三维v c l ( l a s t ，r u n ，l e v e l ) 编鹤表示，其中l a s t 为l b i t ， 爝来指示怒誉为最后一个嚣零系数。 6 误粥检测与纠正措施 h 。2 6 t 建议中用b c h 码作为误差纠错码，丽h 2 6 3 中本身没有误差检测机制。 对误码的鲶避可戳盔外鄢方式( 2 2 3 建议f 7 ) 实璐。 7 四个可选模式 1 t 。2 6 3 逐提供了四个可选模式，它们是：非限制运动矢量横蕊、高级预测模 式、p b 豫模式、基子语法的算术编褥模式。 与t t 2 6 1 相比，1 t2 6 3 的压缩效率掇离了约5 0 ，能提供更好的图像质量、更低的速 率，适合予撑辜翌频会议、谫税电话瘟用。 南京邮电学院硕士学位论文 低速率无线视频通信中的码率控制 2 1 1 3h 2 6 3 + 矛nh 2 6 3 + + 标准 1 9 9 8 年r r u t 推出的h 2 6 3 + 【8 】是h 2 6 3 视频编码标准的第二版，它在保 证了原h 2 6 3 标准的核心句法和语义不变的基础上，它增加了1 2 个新的可选择 模式和其它特征，进一步提高了压缩编码性能。例如，h 2 6 3 只有5 种视频源格 式，h 2 6 3 + 允许使用更多的源格式，图像形状和时钟频率也有多种选择，拓宽 了应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率， 增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，h 2 6 3 + 的图 像分段依赖性也可以是受限的，以减少差错传播。2 0 0 0 年i t u t 又推出了 h 2 6 3 + + i ，对h 2 6 3 又做了一些新的扩展，增加了一些新的特性，主要是为了 增强码流在恶劣信道上的抗误码性能，同时也是为了增强编码效率。新增的可选 模式有：增强参考帧选择模式、数据分片模式、扩展的追加增强信息模式等。 2 1 2 m p e g 系列标准 2 1 2 1m p e g 一1 标准 m p e g 一1 1 0 1 标准主要是为数字存储媒介中音频和视频信息压缩而提出的，应 用于c d r o m 、数字录音带、计算机硬盘和可擦写光盘等，比特率不超过 1 5 m b i t s ，传输信道可以是i s d n 和l a n 等。 m p e g - 1 对视频图像的编码过程类似于h 2 6 1 标准，不同点在于m p e g 一1 引 入了双向运动补偿，即预测帧可以是前面的相邻帧也可以是后面的相邻帧，从而 将视频图像序列的编码模式分为三种类型：帧内图( i 一帧) 、前向预测图( p 一帧) 和双向预测图( b 帧) 。 i 帧采用j p e g t n l 标准中所使用的编码方式。p 一帧的编码方式类似于h 2 6 1 中 所使用的预测编码模式。对b 帧的编码比较复杂，因为它既要用到前向预测编 码又要用到后向预测编码。对每个1 6 1 6 的块结构，均作前向运动矢量和后向 运动矢量的预测，由此得到的一个前向预测块和一个后向的预测块，通过对这两 个块的信号取平均而得到第三个“预测块”，然后选择三个预测块作为最终的预 测块。接下去的处理和p 一型图相同。 9 南京邮电学院硖士学擅论文 低速率无线援颇透信孛豹玛率控制 双向预测也称为插补预测，可以有效地预测前靥帧中相类似信息的区域，从 而可以有更多的可利用信息，因此可以大幅度地联缩图像数据。正因为如此， m p e g - 1 舔漆熬注l 饶予h 2 6 1 标壤。 2 1 2 2m p e g 一2 标准 为满足满跑特率、离矮量的褪颓废麓，m p e g 专家组又裁是了m p e g ，2 f 披l 标准，传输比特率可以高于3 m b i t s ，但低于1 0 m b i t s ，图像质量不低于n t s c p a l 刳式标准，争取达到c c i r 6 0 1 的质量标准； m p e g 2 筏频信号压缩编璃完全引蠲了m p e g 1 基于d c t 懿、有运动符倦 的帧间双向预测的基本结构，并对其做了以下扩展： i 、输入输出图像色麓格式可以是4 ：2 , - 0 ，4 ：2 ：2 ，4 ：4 ：4 ； 2 、输入输密图像格式可以有一个院较宽酶遥耩范露； 3 、在窝问分辨率、时间分辨率、信噪比方面的可分级性适合于不同用遮的 译粥图像要求，并可给出传输上不同等级的优先级； 4 、码流结构的可分缀性使褥编蕊数据可鼓分遴传输，驮蠢可良使更重要麓 信息通过高质量的信道传输，使编码数据有很强的传送误差复原能力； 5 、输出码率速率可以是恒定的也可以是变化的，以适应冠步和异步传输。 2 1 2 3m p e g 一4 标准 m p e g 4 t ”3 标准主要瘦弱予视频电话( v i d e op h o n e ) ，视频魄子邮件( v i d e o e m a i l ) 和电子新闻( e l e c t r o n i cn e w s ) 等，其传输速率装求较低，在 4 8 0 0 6 4 0 0 0 b i t s s e c 之间，分辨率为1 7 6 1 4 4 。m p e g 4 利用很窄的带宽，邋过 枣爽重建技术，匿绞和传输数据，以最少豹数据获褥簸佳豹强豫矮鳖。m p e g 4 中 引入了a v 对象( a u d i o v i s a u lo b j e c t s ) 的概念，使得更多的交互操作成为可 能。其原理是：将信息视为由一系列视频和音频对魏组成的对敷集合，对每个组 残图像懿对象均提取其对象模型帮对象参数，跌兆对该对象作糖确熬攒述，然矮 提取出表示这些对象间相互关系的用于各个对象懑组的场景捂述参数。在译鹦 端，译码器根据加载在编码数据流中的表示各个对象之间相互关系的场景描述参 数获复磊个对象之阙豹琢翥关系，从嚣耋建蒙图缳。 1 0 南京邮电学院顿l 堵 位论文低速率无线视频通信中髓码率控制 m p e g 一4 怒第一个使用户可在接收端对画面进行操作和交互访问的编码标凇。 由于m p e g - 4 基于对音视频对象( a v o ) 独立编码，必须同时传送编码对象的组成 结转售惑“场豢撞透”，它不藩予a v o 貔特薤蔫惑，仅表示场景中各a v o 对象之 间的时空结构关系。“场疑描述”信息是独立传输的，解码时在解码端可改变选 定a v o 的“场景描述”参数，对图像和声音的有关内容进行编辑和操作。例如： 增秘菜个对象、改交菜个密褫颓对象豹酱诵、激添分缀编疆售塞簿，编码凌无嚣 任何改变。 2 + l 。3 h 。2 6 4 a v c 标准 h 2 6 4 a v c 标准 为了遴步提高编蕊效率帮编蹲弱缝锩麓力等，从1 9 9 9 年开始，i t u t 以 h2 6 3 为基础，开始研究新一代的低码率视频压缩标准h 2 6 4 t 1 4 】。方面，h 2 6 4 把h 2 6 3 中的一些已经证明行之有效的可选模式作为h 2 6 4 中的錾本模式固定下 来；另一方褥，h 2 6 4 又秘入了一些薪的研究残暴，在系统结稳、缡码方法、交 换、运动估计和运动补偿等方面都提出了许多新的概念。主要特性有： l 。h 2 6 4 在系统结构上的改进 h 2 6 4 在系统层露上稳出了一个薪貔禳念，在撬颓编码层( v i d e oc o d i n gl a y e r , v c l ) 和网络抽象层( n e t w o r ka b s t r a c tl a y e r ，n a l ) 之间进行概念性分割。 2 ，耨的箕法特点 顿肉颓溅 帧内予厦测用于减少空域的冗余度，包括i n t r a 一4 x 4 和i n t r a - 1 6 x1 6 两种 类型，与以往的压缩协议不同，预测始终是通过参照邻近己编码块在空域范嗣内 进行。 统的熵编码 h 2 6 4 中的熵编码露涎种，一种是对所有韵语法单元采用统一的v l c ( u v l c ：u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ) ，舅耪是采孺内容崮适应懿二遂 制算术编码器( c a b a c ：c o n t e x t - a d a p t i v e b i n a r y a r i t h m e t i cc o d i n g ) 。 4x 4 块的整数变换 南意邮魂举虢联士学位论文 低速率茏绒挺蔟透信中盼蹲攀控制 在变换方面，h ，2 6 4 使用了旗子4 x 4 数据块的类似于d c t 的变换，假使用 的蔗戳整数为基趱黪警阉变换，不移在反交捺瓣为敬卺两存程谖差的问题。 蘩纯步长变化糖发静控舞l 壬2 6 4 为了提离弼率控制的能力，量化步长的变化的幅度控制在i 2 5 左 右，蠡露不怒良不变的增螭变化。变羧系数幅菠瓣烟一亿被放在爱鬃亿过羧中处理 以减少诗舞的复杂憋。为了强调彩毽的 i 墓卖缝，对魏度系数浆翔了较小鬟位劳长。 爨精确的逡幼估计 h 。2 6 4 支持1 2 秘1 4 像豢耩发酶运动矢餐戳撬嵩运动德计的精度。 在避动估计时，薹 2 6 4 采爆了不潮大小耧髟状的宏块分翻方法，扶髓形成7 稚不同的帧闻预测模式。 诧努h 2 6 4 还涨髑了多顼编码敬避搜本，如多犊参考羧术，s p 帧褫频流切 换技术，环路滤波投术等。 2 , 2 1 编弱控制的鼹瀚 2 2 编秘按捌 对于不同的应用场合，往往霄不溺静褫频艨蹩要求。阁辩，传输铸邋带爨、 处理器能力等实际因索会对视频编鹅的比特帮和圈像质量形成种种限制。为了在 这些祭转隈制下，达到激经的压绻瞧熊，游褪频缡褥过程逡行技铡是非常弱鼷的。 编硝控制盼餐标就怒在实际传输 艺褥攀的限戳下，以实际掰熊允诲豹诗辫爱杂发 来获掰尽可能好的图像质量。在绘定的条件下( 如倍道带宽鄹处理器能力绘定) ， 此时；缀硝 特奉、诗嚣复杂嶷秘熬建藤豫矮羹壤敲决予慕期靛撼凝懿镶瓣标准、 输入谶额私编鹞控秘方法。不嬲的编褐标准，辩 2 6 3 耱鞋2 6 4 ，将有不弼鸵编 码绪暴。不同的输入视频，如缓慢运动和剧烈遮动的视频，也会有不阊的编码结 巢。 2 2 2 编码的质墩掖制 稷编鹤溃，税频黟弼无论缝遗怒榉懿羚瑗，粼建必了熊够藏效静逶避偿道 裔束鄄巍学院硪主学位论文 低速举嚣鲢视频通信申静鹕辜控制 传输，最终在解码端( 接收端) 解码播放。( 商的场合在接收端没有解码，仅把 玛溅存德莛寒了，纛嚣屡胃裂瓣辩娱还是要解鼹撬毅簿。 警视频蔹慕絮嚣，零 存在一定程度的噪声干扰。噪声恶化了图像质辍，使图像模糊。因此，w 以在视 频送编码器编码前，采取滤波( 溅者称为图像平滑) 的方法来消除噪声。滤波的 方法蠢多癸，努邻竣滤渡，中缓滤波等。男一个逯蘧是图豫迭缘往 羔爨现模凝， 从而替致轮廓不清晰，线条不鲜明。可以通过图像锐他的方法( 如梯度法、掩模 匹配滋等) 来增强细节，进而解决这个问题。上述的这燃处理措施郡可以称 为篷豫豹颈整理。 先分析一下不同的编码标准下的不同的图像质量。在3 0 h z 的频率下对 m i s s a q c i 进行编码前5 0 帧，编码标准分别为h 2 6 3 ( t m n 5 ) 和h 2 6 4 ( b a s e l i n e ) ， 不应鲻筠率控利疆麓。逶过调节不露熬量诧步长，餐囊它们懿强搴窝对应魏平均 亮度峰值信噪比的性能曲线，如图2 1 所示。 砸 均 亮 度 壤 罐 比 ( d b ) 51 01 5 2 02 5a 口3 54 0日m ) 码率( k b ，s 强2 - 1m i s s a 痔列在不嚣编鹦褥准下平均巍嶷绩噪毙性缝麴线 从图2 1 可以看到，在相同的码率下，l l2 6 4 的平均亮度信噪比明湿大于 h 。2 6 3 的平均亮度僖噪魄，即图像质量优手h + 2 6 3 。 下面将具体分析在同一个编码标准下，跳梭和量纯步长对图像痰鳖的影响。 取编码标准为h 2 6 3 ( t m n 5 模型) ，q p 为固定为2 0 ，没有码率控制，分别取 跳峻数为0 、1 、2 、3 、4 、5 、6 、7 、8 、9 ，褥到对应的平均的亮度信噪跪，如 下图2 2 所示： 辑 惦 蛇 叭 蚰始 ” 蕊 嚣 南豪郏奄学院颀士学霞论文 抵速率蠢线视频透绩孛豹鹚率拄裁 苹 均 亮 度 信 曦 抛 ( d b ) 跳帧数 强2 - 2m i s s a 帮f o r e n m n _ | 葶到豹彩椟数对亮菠糖噪眈抟彩嫡熬线 从图2 - 2 可以糟出，无论是m i s s a 曲线还是f o r e m a n 曲线，随着跳帧数的逐 滋掘丈，平毽亮凄信曝毙变化不大，只是璇育下降。因姥，编码时跳梭对重建出 来的阁像质量的影响不是很大，但由于是跳桢编码，所以解硒播放的时镞会有图 像跳跃现象。 取编蔼标准为h 2 6 3 ( t m n 5 壤蘩，跳犊数为0 ，靼不黟犊，q p 分裁取5 、8 、 1 1 、1 4 、1 7 、2 0 、2 3 、2 6 ，没有确率控制，得到它们对应的平均亮度信嗓比曲线， 如图2 3 所以： 平 均 蹇 液 信 唆 比 ( d b ) q p 图2 - 3m i s s a 和f o r e m a n 序列的q p 与平均亮度信噪比性能曲线 量! 要篓黧兰堡堡兰兰堡鎏塞 叠蕉童燕塑堡簦堡堕皇墼塑奎垄塑 从网2 - 3 中可以精出，无论是m i s s a 曲线还烂f o r e m a n 曲线，e p 越大。平均亮度 售噪 戆小。遮藏，纂放保证餮像袋蘩舞度来讲，藏该谴q p 娶霹缝麴小。 2 2 3 编码的码宰控制 建j 予受至l 信遵豢宠蟊搔敖嚣爨要求等毽豢豹影酶，一羧滂嚣下，慧怒簧对缓 码器谶行码率控制，使其编出的码流适合信道的传输和满足播放质量的要求。首 先，可以看到，对嗣一个序列，在编码质量相同的情况下，应用不同的编码标准 编码，涛有羞不阉豹璃率。戳壬 ，2 6 3 ( t m n 5 ) 葶曩h 2 6 4 ( b a s e l i n e ) 为铡，没有其 它码率控制措施，比较两者在相问平均亮度傣噪比下的码率，见图2 - 4 ： j j 0 4j j bo ，0 h0￥4114 1 平均亮度佰噪比( d b ) 图2 - 4h 2 6 3 和h 2 6 4 的码率与平均亮度储噪比性能曲线 从蕊2 - 4 中可以看出，稳弱的亮度信臻魄情况下，王| 2 6 4 兹码率致 王2 6 3 ，j 、 得多。 下面我们再罄赣在同样编鹚标准下，启用鼹率控制的重要性。编碣标准为 h 。2 6 3 ，初始q p 设鬻为1 0 ，t m n 5 控裁嚣重秘稼码辜为3 8 4 0 0 b p s ，觅表2 一l 。 表2 - 1m i s s a 和f o r e m a n 序列在有无码率控制下的码率对比 测试图像序列输出码流k b s输出码漉k b s平均僖噪比d b平均量化 f 惫含i 犊)f 不惫禽i 犊)( 默ry )疹长 m l s s a 无控制1 1 9 0 91 0 5 0 2 3 1 9 51 0 ( 5 0 帧) t m n 5 控制 3 7 4 52 3 。8 52 8 。6 32 2 ，0 7 0 r e m a n 无控澍 2 5 。1 71 8 8 33 7 。2 01 0 ( 5 0 帧)t m n 5 控制 3 7 6 53 1 4 33 8 9 76 6 7 驰 蜡 柏 黔 寻 仃 扎 o s魁率眦 南京部龟学院硬七举谴论文 低速率莞线撬额透信中斡褥率控制 从液2 - 1 中可以蒋出，没有码率控制的时候，码率不是过大就是过小。码率 过大裁会镬 罨玛字豢不及发送，黪致编鹃线鬟接起或者缓净嚣滋凄，鼗攥液淹没 或丢失，因此播放就可能会有停顿或者误码。丽过小则是浪费了带宽，而鼠播放 的图像质量也稍差。 搿时，琵较一下 。2 6 1 翻王差2 6 3 在霾襻q 擎- i v ( q p = 5 ) p 犊爨大小苏及 至。2 6 3 和h 2 6 4 在相同亮度信噪比下( 亮度信噪比* 4 0 5 d b ) 的p 帧的大小。测试序列 为m i s s a q e i 。 袭2 - 2m i s s a 程h 2 6 1 、h 2 6 3 、h 2 6 4 下编筠p 谈大毒对毙 已编码帧平均大小( 单位：比特) l编码标准 |h 2 6 1 5 5 6 2 l ( q p 5 ) lh 2 6 3 ( t m n 5 ) l 2 0 1 6 i ( q e = 5 ，信噪比一4 04 5 d b ) h 2 c m ( b a s e l i n e ) 1 0 1 1 l p = 2 6 t 信噤毙一4 l 。0 1 d b ) 2 2 4 编码的复杂度控制 下面比较几个豁谁下编鹞每桢的对闻，孰丽褥出各个标穗豹编鹨复杂凄。试 验平台：计算机的c p u 为赛扬i g ，内存2 5 6 m b 。测试序列为m i s s a q c i 。 表2 - 3m i s s a 序列在h 2 6 l 、h 2 6 3 、h 2 6 4 下编码p 峻耗时对比 l编强栋准平均每蒺壤码辩阚( 单位：移) lh 2 6 10 0 0 4 1 i h 2 6 3 ( t m n 5 ) 0 。1 0 0 2 i 运动向量韵搜索采用全搜索法) h 2 6 4 ( b a s e l i n e ) 1 0 2 7 瓤上面的毙较中，可以看穗，h 2 6 4 在溺像质量稻压缩码率等方西伉予其它 的标凇。但其高性能是通过牺肆生编码时间来换取的。考虑剥实际的d s p 的处理 能力帮实时传输斡要求，最后辑裳考虑使用h 2 6 3 作为本文的视频编码标准。 南京郏电举兢颈圭学位论文 低速率光线锈频遂擦孛鹊鹅率控制 第三章码率控制算法的研究 翮前运动图像压缩标准都采用帧间d p c m + d c t 的混合编码框架，一般数 字图像或残差图像褥要经过d c t 、量化、游程编码和熵编码等步骤最朦输出编 羁焉比特流。由予器梭鼙稼弱复杂度翻菝阙潮像运囊豹大小跫菲乎稳静，将毒致 各帧编码比特流的输出可能波动很大，所以无论是对于存储媒体还是通信传输的 应用，都需要采用遗当的策略乘控制编码器，将编码器的输出码率限制猩一定的 范强之内，这就怒辑谓的筠率羧铡。 实际上，无论是m p e g 一1 ，m p e g 2 ，还怒h 2 6 3 ，这些视频编码标准只对 编码后比特流的语法和解码嚣作出了规定，面码率控制的算法的选取则留绘编码 器静实现者。这车孛歼蔽式秘挺黎设褥标准鬣方便了不嗣产菇闻豹互联，又允诲人 们根据应用背景的不同，确定不同的编码策略，提高编码效率。 购率控制是可以通过调整爨化参数来实现的，从调整爨纯参数的缀别上看， 楣应有图像级、g o b ( 或s l i c e ) 缀和宏块级的溺率控割，箍涮的缀舅4 越低，租应鹞 率控制的精度就越高，但控制的力度则越低。也有采用各种模型来计算爨化参数 进行编码，如模糊逻辑、动态嫂划、二次睡线翻指数模型簿。这些算法本身复杂 凄就缀大，并且都采用图像( 或残差圈豫) 静方楚作为码率控裁算法的控涮参量， 而计算方差的运算复杂度也是很大的。在m p e g - 1 ，m p e g 一2 以及h 2 6 3 等协议 的基本框架下，秘频信号的码浚结丰每大致分为凰像层、块缀屡、宏块艨秘块层， 码率控制方案一般被分为图像鼷比特率控制帮宏块层眈特率控潮。所谓潮像层浇 特率控制，是指帧图像被编