（通信与信息系统专业论文）h263视频编码及数字电视解复用系统的研究与实现.pdf

人连理t 大学硕+ 学位论文 摘要 计算机技术和网络技术的发展和普及，大大推动了视频技术的发展和应用。视频流 的数据量大，且对传输的实时性和可靠性要求高。在有限的网络带宽中进行高效数据传 输的要求，促进了视频编码技术的研究和发展。其中，h 2 6 3 是国际电联i t u t 制定的 一个标准草案，以其灵活性，节省带宽的特性，被许多多媒体通信终端标准所采用。近 年来，数字电视的概念已为人们所熟知。电视信号的传输链路上采用m p e g - 2 传输流复 用解复用技术，实现数字信号的网络传输。电视台在播放电视节目前，需要借助技术手 段，对各路节目进行质量监控，检测电视信号中的异常状态，例如黑场和静帧。针对这 一应用，本文设计并开发了数字电视解复用系统。 本文的主要内容如下： 1 本文首先研究h 2 6 3 编码标准的基本知识以及基本算法，在此基础上，给出h 2 6 3 编解码器的设计方法：在编码过程中，主要采用帧间预测减少时间冗余度，利用离散余 弦变换减少空间冗余度，采用可变长度编码技术进行码流压缩。 2 运动估计算法占视频编码中5 0 - 8 0 的运算量，本文在分析了各种传统的块匹配 运动估计算法的基础上，提出了一种改进的六边形搜索法，该算法利用运动矢量的相关 性以及中心偏置特性。通过预测，确定搜索起始点。搜索初期采用小模板进行搜索，后 期则采用大模板进行搜索。实验表明，本文的改进算法在不影响编码质量的前提下，有 效地提高了编码的速度。 3 本文在研究m p e g - 2 系统层规范的基础上，采用d i r e c t s h o w 技术，设计数字电视 解复用系统。系统可以将包含多路节目的m p e g - 2 传输流进行解复用，并同时显示多路 节目。在节目显示前，进行质量检测，检验是否出现黑场和静帧现象。 关键词：视频编码；改进的六边形搜索；m p e g - 2 传输流；解复用；黑场和静帧的检测 大连理工大学硕士学位论文 t h er e s e a r c ha n dr e a l i z a t i o no fv i d e oc o d i n go fh 2 6 3a n dd i g i t a lt v d e m u l t i p l e xs y s t e m a b s tr a c t w i t ht h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fc o m p u t e ra n dn e t w o r kt e c h n o l o g y , v i d e o t e c h n o l o g yh a sb e e nw i d e l ya p p l i e dt ov a r i o u sa p p l i c a t i o n s t h e r e i sl a r g ca m o u n to fd a t ai n v i d e os t r e a m ，a n dt h et r a n s m i s s i o no fv i d e os t r e a mm u s tb er e a l - t i m ea n dr e l i a b l e ，s ot h e r e q u i r e m e n to fr e l i a b l et r a n s m i s s i o ni nl i m i t e db a n d w i d t hh a sa c c e l e r a t e dt h er e s e a r c ha n d d e v e l o p m e n to f v i d e oc o d i n gt e c h n o l o g y h 2 6 3s t a n d a r di sad r a f tm a d eb y1 1 u t w i t hi t s f l e x i b i l i t ya n dl e s sb a n d w i d t h ，h 2 6 3h a sb e e ni n c l u d e di n t om a n ym u l t i m e d i ac o m m u n i c a t i o nt e r m i n a ls t a n d a r d s r e c e n t l yd i g i t a lt vi sw i d e l yk n o w ni no u rs o c i e t y , a n dt h et e c h n o l o g y i nt h ed i g j t a lt r a n s m i s s i o nl i n ki st h em u l t i p l e xa n dd e m u l t i p l e xt e c h n o l o g yo fm p e g - 2 t r a n s p o r ts t r e a m t h ea u t o m a t i cq u a l i t yi n s p e c t i o ns u c ha sb l a c kf r a m ea n ds t a t i cf r a m ei s n e e d e db e f o r ep r o g r a mb r o a d c a s t i n gi nt vs t a t i o n b a s e do nt h i sa p p l i c a t i o n ，ad i g i t a lt v d e m u l t i p l e xs y s t e m i sd e s i g n e di nt h i sp a p e r t h em a i nc o n t e n t so ft h i st h e s i sa r es h o w na sf o l l o w s 1 o nt h eb a s i co fr e s e a r c ho nt h ee l e m e n t a r yk n o w l e d g ea n da l g o r i t h mo fh 2 6 3 s t a n d a r d , av i d e oc o d i n gs y s t e mi sd e s i g n e di nt h i sp a p e r i nt h ee n c o d i n gp r o c e s s ，t h et i m e r e d u n d a n c yi sr e d u c e db yi n t e r f r a m ep r e d i c t i o na l g o r i t h m ，t h es p a c er e d u n d a n c yi sr e d u c e db y d c t a l g o r i t h m ，a n dt h ec o d ei sc o m p r e s s e db yt h ev a r i a b l el e n g t hc o d e ( v l c ) a l g o r i t h m 2 m o t i o ne s t i m a t i o na l g o r i t h ma c c o u n t sf o ra b o u t5 0t o8 0p e r c e n to ft h ew h o l e e n c o d i n gc o m p u t a t i o n a l l k i n d so fb l o c km a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h m sa r e s u m m a r i z e di nt h i sp a p e r , a n dan e wf a s tm o t i o ne s t i m a t i o na l g o r i t h m ，n a m e da sm o d i f i e d h e x a g o ns e a r c h ，i sp r e s e n t e d t h en e wa l g o r i t h mi s b a s e do nt h ec o r r e l a t i o na n dc e n t e r d i s t r i b u t i o nc h a r a c t e r i s t i co fm o t i o nv e c t o r s t h r o u g hp r e d i c t i n gt h ei n i t i a ls e a r c hp o i n t sa t f i r s t ，i ta d o p t sas m a l lt e m p l a t ea te a r l ys e a r c h i n gs t a g ea n dal a r 罟r ct e m p l a t ea tl a t e rs t a g e e x p e r i m e n t ss h o wt h a tt h en e wa l g o r i t h mi n c r e a s e st h ec o d i n gs p e e dw i t h o u tr e d u c i n gt h e c o d i n gq u a l i t y 3 o nt h eb a s i co fr e s e a r c ho nt h em p e g 一2s y s t e m ，ad e m u l t i p l e xs y s t e mb a s e do n d i r e c t s h o wi si n t r o d u c e di nt h i sp a p e r t h es y s t e mc a l ld e m u l t i p l e xt h em p e g - 2t r a n s p o r t s t r e a mw h i c hc o n t a i n sm a n yp r o g r a m s ，a n dd i s p l a ye a c hp r o g r a ms i m u l t a n e o u s l y b e f o r e d i s p l a y i n gt h ep r o g r a m s ，t h es y s t e mc a nm a k eaq u a l i t yi n s p e c t i o nf o rb l a c kf r a m ea n ds t a t i c f r a m e h 2 6 3 视频编码及数字电视解复用系统的研究和实现 k e yw o r d s ：v i d e oe n c o d i n g ；m o d i f i e dh e x a g o ns e a r c h ；m p e g - 2t r a n s p o r ts t r e a m ；d e m u l t i p l e x ；i n s p e c t i o no fb l a c kf r a m ea n ds t a t i cf r a m e i v 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：盟：兰! ! 塑垫受堡堑煎窒垫丝绽星盟叁鱼函盈窒复坌丝 作者签名：监墨 日期：丝墨年坠月j 卫日 大连理工大学硕十研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：盟：塑鱼趟签塑垒煎兰垫型丝基鲴垒筵鱼叠窒复塞丝 作者签名：薹盘盟塞日期：遂年j l 月二- 日 导师签名：逊日期： 堕年生月二l 日 大连理t 大学硕士学位论文 1 绪论 1 1视频图像压缩的研究概况 近年来，多媒体技术迅猛发展，人们对视频编码技术及其在网络中的应用，如可视 电话、会议电视、远程监控等越来越感兴趣。但由于受传输信道带宽和存储容量的限制， 多媒体技术的各项应用都离不开高效的图像( 视频) 压缩算法。数据量巨大的图像信息 处理技术成为多媒体通信中研究的热点问题i l j 。 视频压缩的根据来源于两个方面，一是视频信号中存在大量的冗余【2 j ，如时间冗余、 空间冗余、结构冗余、知识冗余、统计冗余等。视频压缩实质上就是通过减少这些冗余， 降低存储和传送视频信息所需要的比特数。另一方面，根据人眼的视觉特性，如果在对 图像质量要求不是特别严格，允许重建图像有一定限度失真的情况下，数据压缩的可能 性更大，而且压缩的比例也更大。 人们对视频图像压缩开始感兴趣可以追溯到6 0 多年前。最初，在这一领域研究的 焦点集中在如何减少视频传输所需的带宽，这一过程称为带宽压缩。数字计算机的出现 和先进集成电路的发展，导致这方面研究重点从带宽压缩转移到数字压缩。1 9 6 9 年在美 国召开的第一届“图像编码会议 标志着图像压缩作为- - f - j 独立的学科诞生了1 3 j 。7 0 年 代和8 0 年代中期，视频图像压缩的技术主要是变换编码和矢量编码。8 0 年代中后期， 人们结合模式识别、计算机图形学、计算机视觉、神经网络、小波分析和分形几何等理 论，开始寻找新的视频图像压缩的方法，如：m k u n t 在1 9 8 5 年提出的利用人眼视觉特 性的第二代图像编码技术1 4 1 ，m b a r n s l y e 在1 9 8 8 年提出的基于迭代函数系统的分形图像 编码技术【5 】，1 9 8 9 年s m a u a t 、i d a u b e c h e 【6 】将小波分析理论应用于图像编码，以及9 0 年代才发展起来的基于模型的图像编码方法等【。 近十年来，视频图像编码技术得到了迅速的发展和广泛的应用【引，并且日益成熟， 其标志是几个视频图像编码国际标准的制定1 9 j 【1 0 l ，即u 关于电视电话会议电视的视 频编码标准h 2 6 1 、h 2 6 3 等，以及i s o i e c 关于活动图像的编码标准m p e g 1 、m p e g 2 、 m p e g - 4 等。这些标准的图像编码算法融合了各种性能优良的传统图像编码方法，是对 传统编码技术的总结，代表了目前图像编码的发展水平。 1 2 数字电视复用解复用技术 数字电视是与模拟电视相对应的一个概念，是指从节目录制、编辑、播出到信号传 输、处理、显示完全数字化的系统。用户通过机顶盒，利用现有的有线电视网络，来收 看数字电视系统播出的数字电视节目。数字电视是一项全新的电视服务，是数字技术在 h 2 6 3 视频编码及数字电视解复心系统的研究和实现 电视领域发展的必然结果。 数字电视技术最先出现在欧洲，从8 0 年代开始，欧洲几个电视技术较先进的国家， 如德国、法国、英国，都开始研究数字电视技术。1 9 8 2 年，新一代数字式电视机由美国 的数字电视公司首先研制成功。1 9 9 6 年4 月法国第一个开始数字电视商业广播。全世界 的数字电视广播迅猛发展，其中尤以数字电视卫星广播技术的应用发展最为普及和迅 猛。1 9 9 8 年9 月我国的数字电视广播h d t v - t 在中央电视塔上进行的广播试验成功， 并宣布我国数字电视广播发展计划：2 0 0 8 年正式试播h d t v - t ，计划2 0 1 5 年将全面实 现数字电视广播，同时停止模拟电视广捌1 1 l 【1 2 】。 为了实现数字电视网络中的全数字传输，需要数字化的前端设备，m p e g 2 传输流 复用器是其中的关键设备。数字电视系统复用结构如图1 1 所示1 1 3 】：电视台可以从q p s k 解调器输出的数字卫星节目中选取适当节目与本地节目复用，形成新的多节目传输流。 该传输流经洲调制器调制到有线电视网中，再由用户机项盒解码播放。这样就可以 方便的组织数字节目。 图1 1 数字电视系统复用结构 f i g 1 1 t h em u l t i p l e xs t r u c t u r eo fd i g i t a lt v 典型的数字电视复用解复用技术包括两种：一是把多路单节目传输流复用成一路多 节目传输流；二是对多路传输流进行解复用，然后把其中感兴趣的节目再复用成路多 节目传输流，通常把这个过程称为再复用。 1 3 视频图像压缩的国际标准 视频编码标准的制定工作主要是由国际标准化组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o n 大连理工人学硕士学位论文 o r g a n i z a t i o n ，简称i s o ) 和国际电信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，简称 i t u ) 完成的。由l t u 组织制定的标准主要是针对实时视频通讯的应用，如视频会议和 可视电话等，它们以h 2 6 x 命名( 如h 2 6 1 1 1 4 1 、h 2 6 3 i 1 5 】【1 6 l 、h 2 6 4 1 1 7 1 1 8 】等) ；而由i s o 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的共同委员会中的 m p e g 组织( m o v i n g p i c t u r ee x p e r tg r o u p ) 制定的标准主要是针对视频数据的存储( 如 d v d ) 、广播电视和视频流的网络传输等应用，它们以m p e g x 命名( 如m p e g i l l 9 】、 m p e g 2 1 2 0 l 、m p e g 4 【2 1 1 、m p e g 7 1 冽等) 。 ( 1 ) m p e g 标准 m p e g 压缩技术是目前视频压缩的重要技术之一。m p e g 公布的标准有：m p e g 1 标准、m p e g 2 标准、m p e g 4 标准、m p e g 7 标准、m p e g 2 1 标准。m p e g 1 标准于 1 9 9 3 年8 月公布，m p e g 2 标准开始制定于1 9 9 0 年7 月，并于1 9 9 4 年1 1 月正式推出， m p e g 1 标准和m p e g 2 标准是m p e g 组织制定的第一代音视频压缩标准，为v c d 、 d v d 及数字电视和高清晰度电视等产业的发展打下了坚实的基础。1 9 9 8 年公布的 m p e g 4 标准是基于第二代音视频编码技术制定的压缩标准，以视听媒体对象为基本单 元，实现数字音视频和图形的合成应用。目前m p e g 4 标准已广泛应用于流式媒体服务 等领域。2 0 0 1 年9 月推出的m p e g 7 标准是多媒体内容描述标准，支持对多媒体资源 的组织管理、搜索、过滤和检索。目前投入开发的m p e g 2 1 标准称为多媒体框架，通 过建立统一的多媒体框架，为多媒体内容发布所涉及的所有标准提供基础体系，使连接 全球的网络设备方便地访问各种多媒体资源瞄j 。 ( 2 ) h 2 6 x 标准 h 2 6 x 标准侧重于视频信息的数据压缩效率，以适合该系统在特定的位速率下传输， 其主要应用目标是可视电话和会议电视。 h 2 6 1 标准首次尝试综合数字压缩技术和网络技术，实现数字图像实时传输，即可 以在码率为p 6 4 k b i t s ( p 取1 - 3 0 ) 的i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ，综合 业务数字网) 上实时地传输图像信息。该标准采用混合编码技术，即采用帧间预测编码 减少时间冗余，帧内变换编码减少空间冗余。因其具有压缩比高、计算复杂度低等优点， 而得到较为广泛的应用。 h 2 6 3 标准是u t 于1 9 9 5 年制定的码率低于6 4 k b i t s 的甚低码率视频编码标准。 h 2 6 3 标准不仅着眼于利用p s t n ( p u b l i cs w i m h e dt e l e p h o n en e t w o r k ，公共开关电话网 络) 传输，而且兼顾g s t n ( g e n e r a ls w i t c ht e l e c o m m u n i c a t i o nn e t w o r k ) 移动通信等无 线业务。为进一步改善图像质量，提高压缩比，h 2 6 3 提供4 个可选模式：不受限的运 动矢量、先进预测模式、p b 帧模式、基于语法的算术编码。目前，h 2 6 3 标准已被许多 h 2 6 3 视频编码及数字电视解复用系统的研究和实现 多媒体终端标准所采纳，如h u t 的h 3 1 0 标准、支持p s t n 与无线网的h 3 2 4 标准等。 2 0 0 1 年1 2 月，h u t 视频编码专家组和i s 0 i e c 动态图像专家组( m p e g ) 组成 的联合视频组( j v t ，j o i n tv i d e ot e a m ) 提出了一种高度压缩的数字视频编码标准 h 2 6 4 。h 2 6 4 标准最大的优势是具有很高的压缩比，在同等图像质量的条件下，h 2 6 4 的压缩比是m p e g 2 的2 倍以上，是m p e g 4 的1 5 2 倍。h 2 6 4 是在m p e g 4 技术的 基础上建立起来的，其编码流程主要包括5 个部分：帧间和帧内预测、变换和反变换、 量化和反量化、环路滤波、熵编码。h 2 6 4 已经广泛应用于i n t e r a c t 上的多媒体服务、 视频点播、实时多媒体监控、数字电视与虚拟视频会议等。 1 4 本文主要工作及内容安排 本文一共分为五部分： 第1 章为绪论，首先介绍视频压缩的研究概况，然后阐述数字电视复用解复用技术， 最后概述视频图像压缩的国际标准。第2 章首先研究h 2 6 3 编码标准的基本知识以及基 本算法，然后描述h 2 6 3 编码器和解码器的设计方法。最后着重分析运动估计算法中的 块匹配运动估计算法，提出一种改进的六边形搜索法，并对算法结果进行分析。第3 章 研究m p e g 2 系统层规范，着重分析传输流、节目关联表、节目映射表的结构。阐述数 字电视复用解复用的基本原理，并探讨复用解复用的关键技术( 码流分析、p s i 重构) 。 第4 章介绍d i r e c t s h o w 技术以及数字电视解复用系统的实现，包括解复用模块以及质量 检测模块的设计。第5 章对全文的工作进行总结，并对下一步的工作进行展望。 大连理工人学硕士学位论文 2 h 2 6 3 视频压缩编解码技术 本章首先介绍h 2 6 3 编码标准的基本知识，包括：编码框架、视频格式、编码顺序 以及视频压缩的基本算法，例如d c t 变换、v l c 编码、运动估计和运动补偿。为了进 一步改善图像质量，提高压缩比，h 2 6 3 增加了四个可选模式：不受限的运动矢量模式、 先进的预测模式、p b 帧模式、基于语法的算术编码。本章在研究这四个可选模式的基 础上，分析了h 2 6 3 的码流语法，给出h 2 6 3 编解码器的设计方法，并提出一种新的块 匹配运动估计算法。实验表明，将该运动估计算法应用于h 2 6 3 编码器中，可以大大地 提高编码速度。 2 1h 2 6 3 编码标准的基本知识 2 1 1h 2 6 3 标准的编码框架 h 2 6 3 标准采用离散余弦变换( d c t ) 、运动估计、运动补偿和可变长编码 v l c ) 为核心的混合型编码技术。利用离散余弦变换减小空间冗余度；采用帧间预测减小时间 冗余度；在传输中，利用可变长编码技术。h 2 6 3 输出码流的语法结构可分为图像层、 块组层、宏块层、块层四个层：有i 帧( 帧内帧) 、p 帧( 预测帧) 两种帧类型；有帧内 编码( 咖a ) 、帧间编码( 姗r ) 两种宏块编码模式，h 2 6 3 的编码框图如图2 1 所 示： 原始视频信号 分割成 1 6 1 6 像素宏 块 编码控制 控制信息 l 运动补偿后的预测图像 运动补偿后的预测图像 运动补偿 运动估计 反d c t 变换 两 运动矢量 图2 1h 2 6 3 标准的编码器框图 f i g 2 1 t h ee n c o d e ro fh 2 6 3s t a n d a r d 一5 一 h 2 6 3 视频编码及数字电视解复用系统的研究和实现 原始视频信号进入编码器后，被分割成1 6 1 6 像素的宏块，通过“帧内帧间 选 择开关切换每个宏块的编码类型。通过“编码控制”单元对图像层、块组层、宏块层、 块层进行编码。 采用帧内编码方式的帧称为i 帧。当采用帧内编码时，直接对原始数据进行d c t 变换，然后将d c t 系数量化重排，经v l c 熵编码形成码流，其中一路码流又经反量化 器、d c t 反变换形成恢复后的图像，直接存入帧存储器，用于下一步的运动估计。 采用帧间编码方式的帧称为p 帧。当采用帧间编码时，原始数据先与经运动补偿后 的预测图像相减，产生残差图像，接着对残差图像的数据进行d c t 变换和量化，再加 上运动估计得到的运动矢量一起形成压缩码流。与帧内编码对应，一路码流也经反量化、 d c t 反变换后与运动补偿后的预测图像相加，形成恢复后的图像，送入帧存储器，用于 下一步的运动估计。 2 1 2 视频格式 ( 1 ) 标准图像格式 h 2 6 3 标准支持多种图像格式，除了h 2 6 1 中的c i f 和q c i f 图像格式外，还增加 另外三种图像格式s u b q c i f 、4 c i f 、1 6 c i f ，从而使h 2 6 3 具有更广泛的应用范围。 按照“彩色电视信号的编码标准 ，图像被编码为一个亮度信号y 和两个色度信号 u 、v 。h 2 6 3 支持5 种标准图像格式，每种图像均采用j v4 ：2 ：0 的图像采样格式。 在像素正交排列的每种图像中，亮度和色度采样各不相同，如表2 1 所示。 表2 1h 2 6 3 的图像格式 m l b 2 1p i c t u r ef o r m a to fh 2 6 3s t a n d a r d ( 2 ) 图像采样格式 由于人眼对色度信号的分辨率比亮度信号低，在视频采样中，一般色度信号的采样 率比亮度信号的采样率低一倍。w4 ：2 ：0 格式是h 2 6 3 压缩标准的缺省视频格式， 一6 一 大连理t 大学硕士学位论文 其亮度和色度采样位置如图2 2 所示。若每幅图像的亮度采样为y 行，且每行x 个采样， 则每幅图像的色度采样为y 2 行，且每行x 2 个采样。 o o o o o o o o o 亮度采样值，即像素点位置 。色度采样值 图2 2 m 吖图像4 ：2 ：o 采样格式 f i g 2 2s a m p l ef o r m a to f4 ：2 ：0f o ry u vp i c t u r e 2 1 3 图像分块和编码顺序 目前的视频编码标准基本上都是基于块来操作的，把块作为基本编码单元。h 2 6 3 和h 2 6 1 中对图像的分块定义是相同的，图2 3 以q c 珥格式为例说明了h 2 6 3 标准的 编码分层结构。由图可见，一幅1 7 6 x1 4 4 的图像被分成9 个块组，块组编号由0 至8 ， 每个块组被分成1 1 个1 6 x1 6 大小的宏块，宏块编号由o 至l o 。一个宏块对应于4 个8 8 大小的亮度块和2 个8 x8 的色度块，宏块是h 2 6 3 标准编码处理的一个基本单元。 对于不同格式的图像，每帧图像包含的块组数不同，每个块组包含的宏块数也不同。 图2 4 给出了s u b q c i f 、q c i f 、c i f 格式图像的块组编码顺序。c i f 、q c i f 和s u b q c i f 格式的图像，每个块组包含1 行宏块；4 c i f 格式的图像，每个块组包含2 行宏块；1 6 c i f 格式的图像，每个块组包含4 行宏块。 h 2 6 3 视频编码及数字电视解复用系统的研究和实现 图像层 块组层 宏块层 块层 + - - - 一1 7 ，i - g o 肌 g o b i g o 毗 g o b 3 g o 射 g o b 5 g o b g o b 7 g o 聃 m m b lm b 2m m i hm b sm b m l l 7m l 硌m b ，m b l o y l y 2 l ”y uv _ 、 行羹 - l 列像蠢- - - - 图2 3h 2 6 3 图像分层结构 f i g 2 3l a y e rs t r u c t u r eo fh 2 6 3s t a n d a r d g o 舯 g o b l g o b 2 g o g o 附 g o b 5 g o b 6 g o b 7 g o 聃 g o 酗 g o b l 0 g o b l l g o b l 2 g o b l 3 g o b l 4 g o b l 5 g o b l 6 g o b l 7 3 敛爿x 1 6 行 1 6 行 ：1 晰 00 f g t 式& _ 犯i f g t 式 图2 4c i f 、q c 和s u b - q c i f 格式图像的块组编码顺序 f i g 2 4 g o bo r d e rf o rc i f , q c i fa n ds u b - q c m 一8 一 大连理工人学硕士学位论文 2 。1 4h 2 6 3 视频编码的基本算法 ( 1 ) 离散余弦变换 变换编码能够消除图像数据空间相关性，其基本原理是将原来在空间域描述的图像 信号，通过一种叫做正交变换的数学变换，变换到另一个正交矢量空间中进行描述，即 把信号由空间域变换到变换域中，用变换系数来描述。图像信号经过变换编码后，其变 换系数之间的相关性明显下降，并且能量常常集中在某些低频区域中。因为一部分变换 系数为零，或很接近零，可以舍去，所以只需对少数低频分量分配一定比特数，容易实 现码率压缩。 离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m a t i o n ，d c t ) 是一种基于实数的正交变换， 可以将图像由空域表达转换为频域表达，只需要用很少的数据表示图像；而且，产生的 系数很容易被量化，因此能获得较好的压缩效果。此外，d c t 变换是对称算法，可以用 d c t 反变换来解压缩图像，是目前最佳的图像变换算法【2 3 1 。 h 2 6 3 采用离散余弦变换来消除视频数据的空间冗余。对于帧内编码模式而言，直 接对原始亮度块和色度块作二维离散余弦变换；而对于帧间编码模式来说，对经过运动 补偿后的预测残差图像，以块为单位进行二维离散余弦变换。d c t 变换中，首先将原图 像划分成n n 的像素块，然后对n n 像素块逐一进行d c t 变换。因为大多数的高 频分量较小，变换后的系数经常为零，加之人眼对高频成分的失真不太敏感，所以采用 较粗的量化，因此传送变换系数所用的码字数量要明显小于传送原图像像素所用的码字 数量。传送到接收端的数据经过反离散余弦变换后，虽然有一定的失真，但是对于人眼 来说是可以接受的。 在h 2 6 3 中，n = 8 ，即对图像块进行编码是以8 8 像素为单位的，因此，在编码器 中，待编码的图像首先被划分成8 8 的方块；同样，在解码器中，输出端也必须将8 8 的方块拼接成完整的图像。8 8 的二维数据块经d c t 变换成8 8 个系数，这些系 数都有明确的物理意义：u 代表水平像素号，v 代表垂直像素号。当取u = 0 、v = 0 时， f ( o ，o ) 就是原来6 4 个系数的平均值，相当于直流分量，随着u 、v 的增加，相应系 数代表逐步增加的水平空间频率分量和垂直空间频率分量的大小。 二维8 8 阶d c t 变换的表达式由公式2 1 给出： f ，y ) = 三c ) c o ) 薹7 荟7 ，o ，y ) c 。s 【竿 c o s 【学】 ( 2 1 ) 其中，f ( u ，v ) 表示在变换域 ，l ，) 点的变换系数， ，y ) 是空问域( x ，) ，) 点的原始像 素值。 h 2 6 3 视频编码及数字电视解复朋系统的研究和实现 当“- o 时，c ) = ，否则c ( m ) 一1 v 么 当l ，一o n ，c ( v ) 一，否则c ( v ) 一1 v z 当比y 一0 时，由公式2 1 得到像块的平均值，也就是d c ( 直流) 系数。如果对应 像块是帧内编码，那么点( 0 ，o ) 对应的就是i n t r ad c 系数，余下的6 3 个系数成为 a c ( 交流) 系数。d c t 逆变换由公式2 2 给出： f ( x , y ) 一i 1 磊7 荟c ( u ) c ( v ) f ( u , v ) c o s 【等竽 c o s 【笔竽】 ( 2 2 ) ( 2 ) 游程编码和v l c 编码 游程编码 d c t 变换产生的是一个8 8 的二维数组，为了便于传输，还需要使用“之字型 扫描方法将其转换为一维排列方式。量化后，大多数非零的d c t 系数集中于二维矩阵 的左上角，即低频分量区，“之字型 扫描后，这些非零d c t 系数就集中于一维排列数 组的前部，后面为一长串量化为零的d c t 系数，这也为后续的游程编码创造了前提条 件。 游程编码中，只有非零系数被编码。一个非零系数的编码由两部分组成：前一部分 表示非零系数前的连续零系数的数量( 即游程长度) ，后一部分为非零系数，结构是( 游 程长度，非零系数) 。以图2 5 中的数据为例，图中包含三个( 游程长度，非零系数) 对： ( 1 ，2 5 ) 、( 0 ，1 ) 、( 1 7 ，1 ) ，其中1 、0 、1 7 分别是游程长度，即非零系数前的连零个数， 2 5 、1 、1 分别是非零系数。之后对这些非零系数进行v l c 编码，即可进一步减少编码 数据量。 由于“之字型 扫描情况下出现连零的概率较大，因此，采用游程编码的效率较高。 当一维序列中的后部剩余的d c t 系数都为零时，则只要用一个“块结束 标志来表示， 就可结束该8 x8 变换块的编码，产生的压缩效果非常明显。 v i x 2 编码( 可变长度编码) h 2 6 3 采用的v l c 编码( 也称h u f f m a n 编码) 是一种无失真的编码方法，即对概 率大的符号用短码表示，对概率小的符号用长码，则平均码长是最短的。 以图2 6 举例说明这种方法。先对各信源符号的出现概率由上到下按其大小排列： 然后对概率最小的a 6 、a 7 分别分配码1 和o ，这两个概率值相加得0 1 1 记为p l ，再把 a 6 与a 7 作为一个符号，从上到下按大小重新排列其概率；a 5 概率o 1 5 与该o 1 1 最接 近，分配a 5 为码字l ，分配a 6 a 7 组合的码为o ，依此类推，直至p 6 ，最后，可得a l 码 大连理：l ：人学硕士学位论文 字为1 1 ：a 2 码字为1 0 ；a 3 码字为0 1 1 ；a 6 码字为0 0 0 1 ：a 7 码字为0 0 0 0 。这样， 就实现概率大的符号分配短码，概率小的符号分配长码。 7 厂7， a y 。) 。刀 y 。) 。a y 。) 么_ 。7 么- 7 么_ 圈图圈圈 1 1a lo 2 0 1 0a 2o 1 9 d l la 3 o 1 8 0 1 0 a 4 0 1 7 l 矗50 1 5 o la 6o 1 0 o o a 7o 0 1 02 50ooooo - looooooo oo oo00oo 0ooo00oo oooooooo l0oooo00 o0 oo 0 o o 0 ooooo0oo 图2 5 “之字型”扫描 f i g 2 5z i g z a gs c a n p lp 2p 3p 4p 5跨 图2 6h u f f m a n 编码举例 f i g 2 6 h u f f m a n c o d i n g 在实际应用中，v l c 编码表为不同的语法元素建立了不同的编码模型，即采用不同 的v l c 编码表( 具体内容参考h 2 6 3 的标准草案) 2 4 】，如d c t 系数对应的v l c 编码 表、色度块编码模式对应的v l c 编码表、亮度块编码模式对应的v l c 编码表、运动矢 量对应的v l c 编码表等。 以v l c 编码输出d c t 系数过程为例。h 2 6 3 标准采用( l a s t ，r u n ，u ! v e l ) h 2 6 3 视频编码及数字电视解复用系统的研究和实现 形式，其中l a s t 表示非零系数是否是最后一个，如果非零系数是最后一个，则l a s t 码字为1 ，否则为0 ；r u n 表示连零个数；l e v e l 表示非零系数值。h 2 6 3 标准中定义 了一个编码表，结构如表2 2 所示。 表2 2d c t 系数的v l c 编码表 t a b 2 2v l ct a b l ef o rd c tc o e f f i c i e n t 详细的v l ct a b l ef o rt c o e f 参见h 2 6 3 标准草案 2 4 1 。v l c 代码表示输出码字。s 代表符号位，“1 表示负号；“0 一表示正号。因此，编码时查表即可得到要编码的码字。 对于编码表中没有的( l a s t ，r u n ，i ，e l ) 组合情况，采取固定的2 2 比特码字编码。 2 2 比特包括7 比特e s c a p e ，1 比特l a s t ，6 比特r u n 和8 比特l e v e l 。其中e s c a p e 表示待编码组合不存在于v l c 编码表中，其比特值总为0 0 0 0 0 1 1 。 以编码图2 5 所示的d c t 量化系数为例，按照h 2 6 3 的( l a s t ，r u n ，l e v e l ) 形式，三个待编码的非零系数可以表示为( 0 ，1 ，2 5 ) 、( 0 ，0 ，1 ) 、( 1 ，1 7 ，1 ) 。由 于v l c 编码表中不存在( 0 ，1 ，2 5 ) 组合，因此需要采取固定的2 2 比特码字进行编码， e s c a p e 码字总为0 0 0 0 0 1 1 ，l a s t 码字为0 ，r u n 码字为1 的二进制表示，即0 0 0 0 0 1 ， l e v e l 码字为2 5 的二进制表示，即0 0 0 1 1 0 0 1 ，则( 0 ，1 ，2 5 ) 组合的编码结果为0 0 0 0 0 1 1 00 0 0 0 0 10 0 0 1 1 0 0 1 。查询v l c 编码表可知( o ，o ，1 ) 组合对应表2 2 中第一行，由于 非零系数为1 ，因此符号位s 为1 ，( o ，0 ，1 ) 组合的编码结果为1 01 。同理，通过查 找v l c 编码表，( 1 ，1 7 ，1 ) 组合的编码结果为0 0 0 0 1 1 0 0 00 。 大连理工人学硕士学位论文 ( 3 ) 运动估计和运动补偿 运动图像多数情况下只是其中的很少一部分图像在运动，同一场景相邻的两幅图像 之间在内容上的差异不会太大，或者说后一帧的内容与前一帧重复的部分很多，用数学 术语来讲，二者是相关的。 对于相关的视频图像，发送端不一定必须把每帧图像上所有的像素都传给接收端， 而只要将物体的运动信息告知接收端，接收端就可以根据运动信息和前一帧图像的内容 来更新当前帧图像，这比全部传送每帧图像的具体细节所需要的数据量小得多。 要将物体的运动信息告知接收端，首先要解决的问题是如何从序列图像中提取有关 物体运动的信息，这个过程称为运动估计( m o t i o ne s t i m a t i o n ，m e ) ，其表达方式是运 动矢量( m o t i o nv e c t o r ，m v ) ，运动估计研究的主要内容就是如何快速、有效地获得足 够精度的运动矢量；而把前一帧相应的运动信息根据运动矢量补偿过来的过程称为运动 补偿( m o t i o nc o m p e n s a t i o n ，m c ) 。运动估计的基本思想是将图像序列的每一帧分成许 多互不重叠的宏块，并认为宏块内所有像素的位移量都相同，然后对于当前帧中的每一 块到前一帧