（通信与信息系统专业论文）基于mpeg2标准的视频压缩编码系统的实现与应用.pdf

中文摘要 摘要：本文是基于m p e g 2 标准的视频压缩编码系统的实现与应用。 m p e g 2 标准于1 9 9 4 年由i t u t 的视频编码专家组( v i d e oc o d i n ge x p e r t s g r o u p ，v c e g ) 和i s o i e c 的活动图像编码专家组( m o v i n gp i c t u r ee x p e r t g r o u p ，m p e g ) 的联合视频组( j o i n tv e d i ot e a m ，j v t ) 提出，虽然说m p e g 2 压缩 标准提出比较早，与后来陆续出台的m p e g 4 ，h 2 6 4 等压缩标准相比，缺少一些 新的功能，但它有其自身的特色和广泛的应用范围，它是针对标准视频清晰度电 视的数字压缩标准，d v b c 、d v b s 等数字电视广播的一系列标准均以m p e g 2 为基础。导师与其它公司合作的项目，传感器遥测装置的研制中，传输选择的是 d v b t 方式，这就要求前端视频的处理采用m p e g 一2 标准进行压缩，本文也是对 项目中压缩的一个预研。 首先对视频图像和m p e g 2 标准进行了理论介绍，然后比较了实现m p e g 2 算法的几种方式，考虑到丌发周期和丌发成本，本设计中m p e g 2 算法的实现利 用现有的i c 压缩芯片。本文对系统进行了硬件设计和软件设计，利用捅件对输入 到p c 的压缩视频流进行软件解压缩并播放，验证了基于m p e g 2 标准的视频压缩 编码系统的软硬件设计的f 确合理。基于m p e g 2 标准的理论与以上的实践，结 合项目中非标准格式视频源的特性，利用本设计系统中的压缩模块，提出了用现 有的i c 集成芯片来压缩非标准信号的方案。 硬件设计，选用c m o s 感光芯片o v 7 6 4 0 产生数字视频源，给压缩芯片 g 0 7 0 0 7 s b 进行压缩处理，选择h y 5 7 v 6 4 3 2 2 0 d t 6 做为预处理帧和输出缓冲区， 压缩后的数据经压缩系统的u s b 接口传出。基于m p e g 2 标准的视频压缩编码系 统的软件设计，按照对整个系统的工作流程的设计，先对g 0 7 0 0 7 s b 进行初始化， 启动芯片，再把设计好的o v 7 6 4 0 配置文件下到o v 7 6 4 0 中，初始化o v 7 6 4 0 ，启 动整个系统，对输入的视频源进行压缩处理。 整个系统的硬件设计具有小巧，低功耗的特点，可以考虑利用电池供电，开 发成便携式设备。经过本文验证的g 0 7 0 0 7 s b 初始化设计，通用性很强，不论是 w i n d o w s 操作系统、l i n u x 操作系统、w i n c e 系统还是用单片机对其控制，都要遵 循这个设计流程，可以缩短开发周期，具有实际的参考价值。 关键词：视频压缩；m p e g 2 ；g 0 7 0 0 7 s b ；非标准格式视频信号 分类号：t p 2 7 7 j 匕立窑墟厶堂亟堂僮! 佥塞旦s 至b 至 a bs t r a c t a b s t r a c t ： t h i sp a p e ri st h ei m p l e m e n t a t i o na n da p p l i c a t i o no fv i d e oc o m p r e s s i o ne n c o d i n g s y s t e mb a s e do nm p e g - 2s t a n d a r d m p e g - 2s t a n d a r dw a sp r o p o s e db yj o i n tv i d e ot e a m ，w h i c hi sm a d eu po fv i d e o c o d i n ge x p e r t sg r o u po fi t u - ta n dm o v i n gp i c t u r ee x p e r tg r o u po fi s o i e ci n19 9 4 b e c a u s eo fi t s e a r l ya d v e n t ，m p e g 一2s t a n d a r dl a c k ss o m en e wf u n c t i o n s ，c o m p a r e d w i t hm p e g 一4a n dh 2 6 4 ，b u ti th a si t ss p e c i a la n dw i d ea p p l i c a t i o nf i e l d s i ti sad i g i t a l c o m p r e s s i o ns t a n d a r dw h i c ha i m sa ts t a n d a r dv i d e od e f i n i t i o nt v as e r i e so fs t a n d a r d s i nd i g i t a lt vb r o a d c a s t i n gs u c ha sd v b c ，d v b sa r ea l lb a s e do nm p e g - 2 i nt h e p r o j e c to fm ym e n t o ra n ds o m ec o m p a n y ，w h i c hi sr e s e a r c ha n di m p l e m e n t a t i o no f s e n s o rr e m o t em e a s u r e ，t h ew a yo ft r a n s m i s s i o ni sd v b - t ，w h i c hr e q u i r e sm p e g 一2i n t h ep r o c e s so ff r o n tv i d e oc a p t u r e t h i sp a p e ri st h ep r e r e s e a r c ho ft h ei nt h ep r o j e c t f i r s t ，t h et h e o r yo fv i d e op i c t u r ea n dm p e g - 2s t a n d a r da r ei n t r o d u c e s w i t ht h e c o n t r a s to fs o m em e t h o d si ni m p l e m e n t i n gm p e g 一2s t a n d a r da n dt h ec o n s i d e r a t i o no f t h ed e v e l o p m e n tc y c l ea n dc o s t ，t h ei cc o m p r e s s i o nc h i p sw h i c ha r eo f t e nu s e da r e c h o s e nt oi m p l e m e n tt h ec o m p r e s s i o ne n c o d i n g t h es y s t e mi sd e s i g n e db yh a r d w a r e a n ds o f t w a r e b yu s i n gp l u g - i n st od e c o d et h ec o m p r e s s e dv i d e os t r e a m ，t h ed e s i g no f h a r d w a r ea n ds o f t w a r ei sp r o v e dt ob ec o r r e c t b a s e do na l lt h ew o r ka b o v e ，c o m b i n e d t h ec h a r a c t e r i s t i co fv i d e os o u r c ei nt h ep r o j e c ta n dw i t ht h ec o m p r e s s i o nm o d u l e d e s i g n e di nt h i ss y s t e m ，ap r o p o s a lo fc o m p r e s s i n gn o n s t a n d a r ds i g n a lu s i n gi cc h i p s i nt h eh a r d w a r ed e s i g np a r t ，c m o ss e n s i t i v ec h i po v 7 6 4 0i sc h o s e nt og e n e r a t e d i g i t a lv i d e os o u r c e a n dt h ec o m p r e s s i o nc h i pg 0 7 0 0 7 s bw i l ld ot h ec o m p r e s s i o n p r o c e s s h y 5 7 v 6 4 3 2 2 0 d t - 6i sc h o s e nt ob et h eb u f f e rf o rf r a m ea n do u t p u td a t a t h e c o m p r e s s e dd a t aa r et r a n s m i t t e db yt h eu s bi n t e r f a c e i nt h es o f t w a r ep a r t ，t h ev i d e o s o u r c ei sc o m p r e s s e da c c o r d i n gt ot h ew o r k i n gf l o w f i r s t l y , i n i t i a l i z eg 0 7 0 0 7 s bt o s t a r tt h ec h i p s e c o n d l y , f i l lt h eo v 7 5 4 0w i t ht h ed e p l o y e df i l et oi n i t i a l i z e t h e ns t a r t t h ew h o l es y s t e ma n dd ot h ec o m p r e s s i o np r o c e s s t h ec h a r a c t e r i s t i c so fh a r d w a r ed e s i g na r el i g h t w e i g h t p o r t a b l ea n dl o wp o w e r c o n s u m p t i o n t h ei n i t i a l i z a t i o nd e s i g no fg 0 7 0 0 7 s bv e r i f i e db yt h i sp a p e rh a se x c e l l e n t c o m m o n a l i t y w i mt h i sf l o w , a l lo fw i n d o w , l i n u x ，w i n c e ，s i n g l ec h i pa n do t h e r o p e r a t i n gs y s t e m sc a ns h o r t e nt h e r ed e v e l o p m e n tc y c l e t h i sm a k e st h ed e s i g np o s s e s s = i 匕塞窑垣厶堂亟堂僮途塞旦苎至基! m o r ep r a c t i c a lv a l u e k e y w o r d s ：v i d e o c o m p r e s s i o n ；m p e g - 2 ：g 0 7 0 0 7 s bn o n s t a n d a r dv i d e of o r m a t c l a s s n 0 ：t p 2 7 7 v 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：都业所 签字同期：为塔年莎月i m f i 导师签名： 签字同期：1 9 年，月肛日 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：签字同期：年月同 致谢 在结束本文之际，谨向所有曾经支持和帮助过我的老师、同学和朋友致以深 深的谢意! 本论文的工作是在我的导师杨文考教授的悉心指导下完成的，杨老师严谨求 实的治学念度和一心钻研的忘我精神，在两年的耳濡目染中，令学生终生受益， 在此衷心感谢两年来杨文考老师对我的关心和指导。 感谢实验室内各位同学，正是他们热情的帮助才使我j i r 娇j j 完成学业，使我快乐 地度过了研究生的学习阶段，谢谢大家。 另外也感谢我的家人，他们的理解和支持使我能够在学校专心完成我的学 斗k 。 1 1图像压缩的研究意义 1 引言 现代信息技术已经全面服务人们生产和生活的各个方面，所以对信息的处理 和传输己成为人们生活中很重要的一部分，其中，图像信息是人类获取信息的最 重要的来源之一。与语音和文字信息相比，视频、图像信息具有信息量大、更直 观和更确切的特点，因而具有更为广。泛的实用性和更高的使用效率，对人们的生 活和工作、生产和军事都非常重要。二十世纪中期就有人提出可视电话的概念， 利用电话线传输语音的同时传输图像。到今天研究丌发以视频、图像为主的多媒 体业务已成为信息技术的热点【l 】。 将信息转换成数字信息后利用计算机等设备对信息进行处理是很方便有效 的，但是对这些信息传输、存储需要耗费大量的资源和带宽。数据量巨大是数字 视频的固有特征。假定7 2 0 4 8 0 的视频信号，采用4 ：2 ：2 的采样格式，每个亮 度分量取8 位的量化精度，则每个图像需要6 7 5 k _ b 的存储单元来表示数字信息量， 若帧频为2 5 帧秒，原始的视频数据率为1 3 1 8 3 5 9 3 7 5 m b p s ，那么两分钟的视频， 则需要1 5 4 4 9 5 2 3 9 g b 的存储空间，目前的宽带网也只可提供1 1 0 m b p s 的持续 传输能力，对这两分钟的源视频传输则会产生很大的延迟。 而在很多领域中都需要对大量图像数据进行传输与存储。例如在传输方面： 数字电视、遥感照片、由雷达或飞机等提供的军事侦察图像、可视电话、v o d 、 视频会议、基于i p 的视频服务、数字图像监控和传真照片等；在存储方面：教育、 商业、管理等领域的图文资料、c t 机、x 射线机等设备的医用图像、天气云图 等等，几乎涉及各个行业【2 】。 为了解决这个问题，单纯靠扩大存储器的容量和增加通信干线的传输率是不 现实的。如果不对数字图像进行有效的处理和压缩，大量图像信息的存储和传输 将是难以实现的，计算机及网络的发展将会受到限制。而视频压缩技术可以有效 去除图像的空间冗余性和时间冗余性，稍微降低一些图像质量，就可以大大减少 图像的数据量，所以图像数据的压缩势在必行。通过压缩手段把信息的数据降下 来，以压缩的形式存储和传输，既节约了存储空间，又提高了通信干线的传输效 率【3 1 。 为了利用有限的存储容量存储更多的图片，或者是为了在有限的带宽条件下传 输尽可能多的活动图像，需要采用压缩技术，研究怎样才能最大限度的压缩图像 数据，并且保证压缩后的重建图像能够被用户所接受，这都决定了采用视频压缩 技术的必要性【3 1 。 1 2图像压缩的发展现状 近十几年来，图像编码技术得到了迅速发展和广泛应用，并且同臻成熟。图 像压缩的制定机构国际电信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n ，i t u ) ，国 际标准化组织( i n t e r n a t i o n a ls t a n d a r d so r g a n i z a t i o n ，i s o ) 和国际电工委员会 ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，i e c ) 制定了一系列压缩标准。 早在1 9 8 4 年，i t u t 颁布了h 2 6 1 标准，用于可视电话和会议电视。后来又 陆续发展了h 2 6 2 、h 2 6 3 和h 2 6 4 4 1 。它们的压缩原理是充分利用视频数据的空 间和时问冗余，采用预测与变换的混合编码方法，对残余的数据进行编码，保证 了极大的压缩比。 低码率图像压缩标准h 2 6 3 在h 2 6 1 标准的基础上作了一些相当重要的改进， 它提供了很多可选的编码技术，例如非限制的运动矢量( u m v ) 模式、高级预测 模式、基于句法的算法编码( s a c ) 模式、p b 帧模式，经编码后的图像质量有很 大的提高。h 2 6 3 在多媒体电脑、掌上电脑、网络电视、远程视频监控、视频会议 和可视电话等都己经有了广泛的应用。目前最新的h 2 6 4 标准是j v t 开发的标准。 在相同的重建图像质量下，h 2 6 4 能够比h 2 6 3 节约5 0 左右的码率。但是h 2 6 4 获得优越性能的代价是计算复杂度的增加，据估计，编码的计算复杂度大约相当 于h 2 6 3 的三倍，解码复杂度大约相当于h 2 6 3 的两倍，在现有的处理器上还是 难以达到实时性能的。 1 9 9 2 年i s o 通过了m p e g 1 图像编码标准，它是一种活动图像编码压缩标准。 后来又陆续发展了m p e g 2 和m p e g 4 。它们共有的特点是在时间域的正、反方 向进行的运动补偿的帧间内插，m p e g 标准把视频图像帧( f r a m e ) 分为三类，i 帧( i n t r af r a m e ) 图像；p 帧( p r e d i c t i o nf r a m e ) 图像，它以前面的i 帧或p 帧为 参考：b 帧( b i d i r e c t i o n a lp r e d i c t i o nf r a m e ) 图像，以前面和后面的i 帧或p 帧为 参考。i 帧做为帧内编码，p 帧和b 帧做为帧间预测编码【5 】。 m p e g 1 与h 2 6 1 相比，虽然它的图像压缩算法框图与h 2 6 1 相同，但有重要 改进，它提高重建图像的质量并满足数字存储体在点数图像重放方面的需要，对b 帧图像进行有运动补偿的帧间内插，是m p e g 1 的显著特点。 m p e g 2 标准是1 9 9 4 年1 1 月，由联合视频组提出，它在m p e g 1 的基础上作 了重要扩展和改进，将其图像质量从基本级到最高级分为四级；最高级图像质量， 可达h d t v 质量，其数码率视图像质量等级从2 - - 4 0 m b i t s 不等。在非可分等级的 2 编码中，与m p e g 1 一样，m p e g 2 是以通用的混合d c t 和d p c m 编码为基础， 加入了宏块结构、运动补偿和帧问预测的编码方式。m p e g 2 引进了一些新的运动 补偿场预测模式，以便有效地对场图像和帧图像加以编码，如为了支持隔行视频 的场图像的场l 日j 预测、帧图像的场问预测、用于p 帧的双基预测和用于场图像的 1 6 x8 预测等针对隔行扫描图像的更有效预测编码模式。另外，m p e g 2 还引入了 更高的色度信号取样模式。m p e g 1 中使用4 ：1 ：1 模式，即色度信号的取样无论在 水平方向，还是在垂直方向上都是亮度信号样点数的1 2 。m p e g ，2 除了4 ：2 ：0 外， 还支持4 ：2 ：2 和4 ：4 ：4 模式，前者色度信号的样点数在垂直方向上与亮度信号相同， 只在水平方向上是亮度信号的l 2 ；后者的色度信号的样点数和亮度信号则完全相 同。 1 9 9 9 年1 2 月i s o i e c 制定了m p e g 4 标准，它支持了7 个新的功能。料略划 分为基于内容的交互性、高压缩率和灵活多样的存取模式。m p e g 一1 应用于v c d 领域，m p e g 2 应用于d v d 领域和数字视频广播领域中，应用范围更广，m p e g 一4 不仅仅着眼于定义不同码流下的具体压缩编码标准，更多强调了多媒体通信的交 互性和灵活性。m p e g 家族的m p e g 7 制定于2 0 0 1 年9 月，它并不兼容以自矿的标 准，而是以前标准的扩展和延伸，主要描述各种类型的视听材料，如静止图像、 图形、3 d 模型、音视频等。2 0 0 0 年6 月制定的m p e g 2 1 的目标是定义一个交互 式多媒体框架，跨越大范围不同的网络和设备，使用后能透明地使用多媒体资源， 存取、使用并交互多媒体对象。 1 3课题来源与意义 上述一系列压缩标准中，有很多标准比m p e g 2 标准支持的功能要强大，但 m p e g - 2 标准与其它标准相比，有本身的特色。在欧洲电信标准学会( e t s i ) 所 颁布的数字电视广播系列标准( d i g i t a lv i d e ob r o a d c a s t ，d v b ) 中，都是以m p e g 2 标准为基础，d v b 这一系列标准包括d v b s 、d v b c 、d v b t 、d v b s m a t v 、 d v b m s 和d v b m c ，分别以卫星、有线电视、地面、s m a l w 、m m d s 等传输 媒介【6 l 。而且在对高速运动图像进行压缩时用m p e g 2 标准，效果要好于m p e g - - 4 。 本文选择基于m p e g 2 标准的压缩编码系统的研究与实现的另一个因素是老 师与其它公司合作的项目，该项目的任务是传感器遥测装置的研制，将非标准的 视频源经压缩、传输到地面做处理，主要包括图像处理，无线传输及模式识别3 块。为满足项目需求，兼顾项目里的各项指标，最后确定传输模块采用d v b t 进 行传输，这就要求前端图像处理基于m p e g 2 标准。 经对m p e g 2 的理论研究，比较m p e g 2 算法的各个实现方式，选择了开发 成本低，开发周期短的实现方案，利用现有的i c 压缩芯片，进行芯片选择，硬件 电路设计，软件设计，最后实现了基于m p e g 2 标准的压缩编码系统。此系统硬 件设计的目标是低功耗、小巧，此设计中可以使用电池供电，使之便于改进成为 便携设备。软件设计方面，尤其是g 0 7 0 0 7 s b 初始化流程设计为不同的系统利用 g 0 7 0 0 7 s b 进行压缩提供了参考，大大缩短了丌发周期。压缩编码系统的研究与设 计做为项目的预研，紧接着在整个压缩编码系统实现后，根据m p e g 2 标准、利 用压缩编码系统中的压缩模块、结合项目中非标准视频源的特性，给出了实现项 目压缩的解决方案。 1 4论文的主要工作和结构安排 本文是基于m p e g 2 压缩标准的视频编码系统的设计与实现，论文的主要工 作包括以下几个方面： 1 ) 对图像的基本概念和压缩编码系统采用的标准做了理论上的介绍。 2 ) 对系统进行了硬件设计，所做工作包括：对m p e g 2 算法实现方式进行比 较，考虑到丌发周期和开发成本选择专用i c 芯片实现压缩；对系统整体进行分模 块设计；为主模块选择芯片后，再根据主模块芯片的选择，选其他功能模块的芯 片；最后根据要实现的功能和压缩芯片支持的工作模式以及管脚特性，进行各芯 片连接的电路设计，以及整个压缩编码板的时钟、电源、其他外围电路的设计。 3 ) 系统的软件设计包括：根据压缩芯片的工作模式，设计整个压缩编码系统 的工作流程；对g 0 7 0 0 7 s b 的初始化，进行了o v 7 6 4 0 的初始化设计，为了得到 系统需要的视频源格式，对视频源芯片的设置设计。 4 ) 给出整个压缩编码系统实现后的结果，用实践证明以上软件硬件设计的合 理。 5 ) 提出了一个用g 0 7 0 0 7 s b 对传感器输出的非标准格式的数字灰度视频信号 进行处理的方案。 论文的结构安排如下： 第一章引言介绍了论文的研究意义，压缩的研究现状，课题的来源以及章节 的安排。 第二章图像的基本概念及m p e g 2 标准，本章是关于视频图像的一些基本概 念和m p e g 2 标准的介绍，包括压缩层和系统层两个方面。 第三章m p e g 2 的视频压缩编码系统硬件设计，本章是实现整体压缩编码系 统的硬件设计，包括从开发初期的设计框架到框架中每一模块实现的设计。 第四章m p e g 2 的视频压缩编码系统硬件设计，本章是压缩编码系统的软件 4 设计，利用压缩芯片的s d k 进行整个工作流程的设计、g 0 7 0 0 7 s b 的初始化和 o v 7 6 4 0 的配置设计和初始化。 第五章实现结果与应用设计，给出压缩编码系统实现的结果及提出在实现的 压缩编码系统基础上对传感器输出的非标准格式的数字灰度视频信号进行处理的 方案。 第六章总结与展望，对论文的工作进行了总结，提出了下一步要做的工作。 5 2 图像基本概念及m p e g 一2 标准 2 1图像信号的基本概念 图像信号根据不同的标准有不同的分类。按其亮度等级的不同，可分成只有 黑白两种亮度等级的二值图像和多种亮度等级的狄度图像两种；按色调不同，可 分为黑白无色调的狄度图像和有色调的彩色图像两种。黑白图像只有亮度分量值， 如黑白电视画面，彩色图像上的每个像素点有多个分量，如彩色摄影和彩色电视 中出现的图像，每个像素除有亮度分量外还有色度分量；按占空i b j 维数的不同， 分为平面二维图像和立体的三维图像。照片属于二维图像，三位图像可以用两个 或多个摄像头来成像，是按空间分布的图像；按其内容的变化性质，分为静念图 像和动态图像等。静念图像是不随时间而变化的图像，如各类图片等，动念图像 随时间变化，如电影和电视画面等视频。图像信息转化为电信号后大体有两种方 式，一是模拟基带信号，另一种是数字基带信号，一般要想获得数字信号，是将 模拟信号数字化，近年来，随着数字化的发展，有些设备可以直接输出数字化图 像信号【7 1 。 2 1 1彩色空间转换 所谓彩色空间即彩色的表示模型。在数字图像中每个像素的颜色可以用8 位、1 6 位或3 2 位来表示。常用的几种彩色空间有：r g b 彩色空间、c m y 彩色 空间、y u v 彩色空间、y i q 彩色空间、y c b c r 彩色空间、h s i 彩色空间等【8 】【i o 】。 1 ) r g b 一加色混合色彩模型。r g b 分别代表红绿蓝，从理论上讲，任一种种 颜色都可用三种基本颜色按不同比例混合而成，即c = a r + b g + c b ，其中c 为任意 彩色光，a ，b ，c 为三基色r 、g 、b 的权值，这是彩色的最基本的表示模型。在 彩色阴极射线管显示器( c i 玎) 和液晶显示屏( l c d ) 中，是根据r g b 的每个分 量的强度分别显示像素的红色、绿色和蓝色分量，合成后便得到期望的彩色图像。 c m y 是减色混合色彩模型，是r g b 三基色的补色，c m y 分别代表青色、深红色、 黄色，一般用于硬拷贝设备，如彩色打印机。 2 ) y u v 彩色模型应用于电视传播系统的色彩模型。对于视频信号的传输， 为了减少所需的带宽并与单色电视系统兼容，采用亮度、色度坐标系模型。1 9 3 1 年，国际照明协会( c i e ) 规定了x y z 彩色坐标，主要用于定义其他的基色和彩 6 色的数字说明，如用于传输彩色电视信号的y i q 和y u v 彩色坐标。p a l 制采用 的是y u v 彩色模型，n t s c 制采用r g b 彩色空间。 根据r g b 基色和v 基色之间的关系，把摄像机设备输出的彩色图像信号， 经处理得到r g b ，再经过矩阵变换电路得到亮度信号y 和两个色差信号u 、v ， y u v 彩色空间的优点之一是亮度信号和色差信号是分离的。人眼对彩色图像细节 的分辨本领比对黑白的低得多，因此对色度信号u v ，可以采用“大面积着色原理”。 用亮度信号y 传送细节，用色差信号u v 进行大面积涂色。j 下是这个原因，多媒 体计算机中采用了y u v 彩色空间。y u v 与r g b 两种彩色空间的关系为： h 卜9 9 o 5 8 7 o h i u i = f 0 1 4 7 一o 2 8 9 o 4 3 6j jg ( 2 - 1 ) 【- 矿jlo 6 1 5 一o 5 1 5 一o , o o j t b j 其中，y 表示亮度，色差u 、v 是由b y 、r y 按不同比例压缩而成，即 u y ：= 彳c t 。( r b 一- y y ，) c 2 2 ， 如果要由y u v 空间转换成r g b 空间，只要进行相反的逆运算即可。数字化后通 常为y ：u ：v = 8 ：4 ：4 或者是y ：u ：v = 8 ：2 ：2 ，对于后者具体做法是把亮度信号y 的每个 像素都数字化为8 b i t ，而u 、v 色差信号每四个象素用一个8 b i t 数据表示。将一 个像素由2 4 b i t 表示压缩为1 2 b i t 表示，很大得减少了存储容量。 3 ) y c b c r 彩色模型。它是由y u v 彩色空间派生的一种颜色空间，主要用于 数字电视系统，以及图像、视频压缩标准中，如j p e g 、m p e g 系列、h 2 6 3 系列 等。与r g b 的关系如下： - 乙 ：| 一0 。2 。9 6 9 8 7 0 。5 3 8 3 7 。3 。0 5 1 。1 。4 - 耋 。2 3 ， l c r jl 0 5 0 0 0 4 1 8 7 一o j 4 ) h i s 一视觉彩色模型。以上讨论的彩色模型是从硬件的角度或者从色度学 的角度提出的。而h i s 很好的与肉眼的视觉特性相匹配，是根据人眼的色彩视觉 三要素：色调( h u e ) 、饱和度( s a t u r a t i o n ) 、亮度( i n t e n s i t y ) 提出的。 2 1 2数字视频信号的视频格式与采样格式 数字视频信号属于图像信号的一种。所以它不只具有图像信号共有的性质， 还有其本身的一些特性，如采样格式，数字视频的描述方式。 由于人眼对亮度信号比较敏感，对色度信号的分辨能力比较低，这样可以通 过对色度信号采用相对低的采样率来降低图像数据量【8 1 ，采样方式有很多种，如果 7 使用y ：u ：v 的形式表示y u v 3 个分量的采样比例，则数字视频采样格式有4 ： 4 ：4 、4 ：2 ：2 、4 ：2 ：0 和4 ：l ：l 等，第1 个数字是亮度信号的采样数目，做 为色度信号的参考一般定为4 ，第2 个和第3 个数字分辨表示色度信号采样的数目。 如图2 1 所示。 4 ：4 - 44 ：2 ：24 ：2 ：0 x 表示亮度样本o 表示色度样本 幽2 1 图像采样格式 f i 9 2 1s a m p l ef o r m a to fl m a g e 视频格式描述方式有光栅扫描方式，高宽比，水平垂直分辨率，帧率。 表2 1 视频格式 t a b l e 2 1v i d e of o r m a t 亮度分量色度分量 图像格式 y ：u ：v 像素行行数像素行行数 p a l7 2 05 7 63 6 05 7 64 ：2 ：2 n t s c7 2 04 8 03 6 04 8 04 ：2 ：2 s i f 3 6 02 8 81 8 01 4 44 ：2 ：0 s u b - q c i f 1 2 89 6 6 4 4 84 ：2 ：0 q c i f 1 7 61 4 48 87 24 ：2 ：0 c i f 3 5 2 2 8 8 1 7 6 1 4 44 ：2 ：0 4 c i f7 0 45 7 63 5 22 8 84 ：2 ：0 1 6 c i f1 4 0 81 1 5 27 0 45 7 64 ：2 ：0 光栅扫描方式即逐行扫描和隔行扫描。逐行扫描以帧为单位，从每帧图像的 左上角开始扫描，水平移动到图像的最右端，完成1 个扫描行，快速返回到下一 行的最左端，开始第2 个扫描行，依次扫完整个图像。隔行扫描被p a l 、n t s c 和 s e c a m 制式采用，来自每个视频帧的视频信号被分割成两个视频扫描场：项场 ( t o pf i e l d ) 包含所有奇数线，底场( b o t t o mf i e l d ) 包含所有偶数线。视频显示 的时候在同一时刻只显示实际分辨率一半的水平线，即一个顶场或一个底场。这 x x x x x x 西 西一d p 西 区 x x x x x x d 矗一p b 一玲 b x x x x x x 西 区僵 d 静 d x x x x x x 母 b h 秘一冀 q 西 西 矗 珏 西 区 一目 母 母 珏 嚣 母 西 矗 哥 甚 母 西 矗 置 矗 h 母 日 一目 强 日 珏 日 珏 一 种扫描方式依赖人眼视觉系统的视觉暂留特性以及电视机显像管上电暂留使两个 扫描场变得模糊，形成人眼感知到的一幅图像。这两种扫描方式，逐行空间处理 效果好，但数据量比较大，隔行扫描只要原来的一半数据量就可以获得高刷新率 ( 5 0 h z 或6 0 h z ) 。高宽即一帧图像的宽度和高度的比值，数字视频的高宽比一般 为4 ：3 或1 6 ：9 。水平垂直分辨率，指图像水平和垂直方向上所具有的像素数目， 这是模拟视频空i 、日j 采样量化后的概念。帧率，是模拟视频经过时间采样后的概念， 指数字视频序列的帧与帧之间出现的频率，根据人眼的特性，一般的数字视频要 求帧频高于2 5 f p s 。目前主流的视频格式如表2 1 。 2 2m p e g 一2 标准 m p e g 一2 是由m p e g 开发的第二个标准。是“活动图像及有关声音信息的通 用编码”( g e n e r i cc o d i n go fm o v i n gp i c t u r e sa s s o c i a t e da u d i oi n f o r m a t i o n ) 标准。 它是针对标准视频清晰度电视的数字压缩标准。其码流由外层系统层和内层压缩 层两层组成。 2 2 1视频编码压缩层的码流结构 m p e g 2 的编码码流分为6 个层次，从上至下依次为：视频序列层( v i d e o s e q u e n c el a y e r ) 、图像组层( g r o u po f p i c t u r el a y e r ) 、图像层( p i c t u r el a y e r ) 、 片组层( s l i c el a y e r ) 、宏块层( m a c r ob l o c kl a y e r ) 和子块层( b l o c kl a y e r ) ，如 图2 2 所示： 各层结构如下： 1 ) 视频序列层：即构成某路节目的图像序列，首先为序列起始码，随后的序 列头信息中包含了图像尺寸、宽高比和帧率等多种信息。为保证视频的随机接入 特性，序列头中必须重复发送。 2 ) 图像组层：图像组由相互间有预测和生成关系的一组i 、p 、b 帧组成，但 第1 帧图像必须为i 帧，图像组层的头信息中还包含相应得时间信息。 3 ) 图像层：图像层分为i 、p 、b 三种类型，头信息中包含了图像编码类型和 时间戳的参考信息。 4 ) 片组层：一个片组是包含特定数量的宏块集合，在m p e g 2 中片组的排列 顺序与扫描顺序一致。为了使码流具有更好的抗误码特性，片组内宏块的定义非 常灵活，可包含帧内不同位置的宏块。 、 9 幽2 2m p e g 2 码流结构 f i 薛2 m p e g - 2c o d es t r e a ms t r u c t u r e 5 ) 宏块层：m a i np r o f i l e 只支持4 ：2 ：0 的视频采样格式，因此宏块层包含1 个 亮度块和2 个色度子块。高级类还支持另外2 种类型的采样格式：4 ：2 ：2 和4 ：4 ：4 。 图2 3 给出了3 种采样格式的宏块层模式示意图。 4 ：2 ：04 ：2 ：24 ：4 ：4 图2 3m p e g 2 宏块层模式 f i 9 2 3 m p e g 2m a c r ob l o c kl a y e rm o d e 6 ) 子块层：子块是m p e g 2 码流的最底层，也是d c t 变换的基本单元，块 由8 8 像素组成，同一块内的数值必须全部是y 信号采样值，或全部是u 或v 信 号的采样值。此外，子块也用于表示d c t 变换后生成的8 8 个d c t 系数。 在上述的基本结构中，除宏块层和子块层外，其他4 层中都有相应的起始码 ( s t a r tc o d e ，s c ) ，用于由信道传输误码所造成的收发两端失去同步时，便于解码 器重新捕捉同岁5 】【8 】。 2 2 2视频压缩层算法结构 1 0 到 一 一 一 8 一m 1 | m p e g 2 对于输入的图像帧采用如下3 种不同的编码方式。 1 ) 帧内编码帧( i n t r ac o d e dp i c t u r e s ) ：简称i - p i c t u r e s 或i 帧。i 帧图像采用帧 内编码方式，即只利用单帧图像内的相关性，不利用时问相关性，因而压缩率较 低。视频接收初始化时必须使用i 帧作为基准图像，同时i 帧也为节目的切换和插 入提供了可能，因而也最为重要。视频编码的第1 帧编码，编码中i 帧图像是周期 性出现在图像序列中的，出现频率可由编码器的参数定义。 2 1 预测编码图像( p r e d i c t i v ec o d e dp i c t u r e s ) ：简称p - p i c t u r e s 或p 帧。p 帧是 采用从最近的前一个l 帧或p 帧进行运动估计所得出的编码图像，由于有效地去除 了时白j 冗余，因而较i 帧的编码效率有所提高。由于p 帧的参考帧总在当自，j 帧之前， 所以也被称为前向预测帧。p 帧中可以包含帧内编码的部分，即p 帧中的每一个宏 块可以是前向预测，也可以是帧内编码。 3 1 双向预测编码图像( b i ，p r e d i c t i v ec o d e dp i c t u r e s ) ：简称b p i c t u r e s 或b 帧。 b 帧在编码时同时利用前面和后面的图像作为参考帧进行运动估计，由于使用了2 个参考帧，其预测更为精确，压缩效率更高，但计算复杂度也相应增加，同时需 要更多的额外存储空间。由于在解码器中b 帧只能在它的参考帧( i 帧或p 帧) 被 解码之后才能被解码，所以发送的图像序列要被编码器重新排列，使之符合解码 器所要求的解码顺序。 在实际的编码过程中可以根据应用需要，灵活安排上述3 种类型的帧。图2 4 给出了一个i 帧、p 帧和b 帧序列编码的示意图，其中图2 4 ( a ) 为显示顺序， 图2 4 ( b ) 为编码顺序。 一 前项预测 前项顶溯 ( a ) 显示顺序 ( b ) 编码顺序 图2 4i 帧、p 帧、和1 3 帧编码的图像序列 f i 9 2 4i m a g es e q u e n c eo fif r a m e ，pf r a m ea n dbf r a m e 2 2 3压缩编码原理 视频编码层实现数字视频压缩编码的核心任务，其原理是经典的基于d c t 变 换的混合编码方案。图2 5 给出了m p e g 2 单层视频编码器的算法流程图。在编码 器端，输入图像首先根据帧编码模式来进行相应处理【5 】【8 】【9 】。 帧内编码：编码图像分块后直接进行d c t 变换，随后使用量化矩阵 ( q u a n t i z a t i o nm a t r i x ) 进行量化处理，以缩小数值的动态区域。由于量化后的数 据是二维矩阵的形式，所以还需将二维数据扫描成一维数据，最后再进行可变长 编码( v l c ) ，生成编码比特流送入缓冲器l i 0 1 。 删弘迥卜d c t 娥卜龇 - - 舢 卜盟笳卜圳馁冲 图2 5m p e g 2 编码器原理框图 f i 9 2 5 b l o c kd i a g r a mo fc o d e c 皤叶x 广2 视频码漉 帧问编码：视频信号经过运动估计和运动补偿后，由运动矢量和参考帧生成 当前帧的预测图像，而后将当前帧与预测图像的残差图像进行d c t 变换、量化、 扫描和v l c 编码，生成编码比特流送入缓冲器。 帧内编码和帧间编码所用到的关键技术如下： 1 1离散余弦变换( d c t ) 1 9 6 8 年开始出现了用快速算法的离散傅立叶变换( f f t ) 进行一维图像编码，而 后又提出了不少其它类型的离散正交