（计算机系统结构专业论文）流媒体中mpeg4播放器图像的处理.pdf

摘要 近年来，数字视频技术的发展将与现实应用联系越来越紧密。对视频图像的 压缩要求根据需求也变得更高，高压缩比情况在解码播放时的视频图像质量是研 究的重点。 本文首先综述了视频技术发展的历史和数字视频技术的发展应用。第二章主 要介绍了静态图像压缩技术，采用的理论基础。新的压缩编码技术在不断的探讨 中。图像增强则是图象变化中研究的技术和热点，其算法可应用到视频播放中。 第三章简要介绍了m p e g 的压缩编码技术。视频可以看作一序列静态图像的集 合，所以在视频编码压缩技术中很多借鉴了静态图像的算法，同时视频又有自己 新的特点，运动的相关性，所以在算法上更加复杂。m p e g 4 是针对网络而做出 的方案，它的出现使视频的应用更加适合网络环境，而且提出了薪特性，使视频 发展应用越来越广泛。第四章结合网络与m p e g 4 ，介绍了流媒体的技术。流媒 体的提出改变了以前视频点播或视频会议等应用的传输方式，而且国际上也针对 该技术提出了新的网络传输协议。流媒体技术进一步改善了网络视频传输，从某 种意义上可以说是节约了资源。前几章在很大篇幅上阐述了视频应用中的理论基 础和技术，第五章则是根据前几章的内容，根据c o m 、d i r e c t x 等软件技术，提 出了播放器具体的实现和改变图像变化质量的方案。该方案在w i n d o w s 环境中 能够很好的和操作系统融合。该方案改善的图像质量仅仅是因为编码或者放大时 的算法欠缺而产生的，如果图像质量是由于网络产生的，将是另外的研究内容。 【关键词】图像压缩编码视频压缩k l p e g 4流媒体c o m 绢件 a b s t r a c t r e c e n t l y , d a t av i d e oh a sm o r ea n dm o r es t r o n gr e l a t i o n si nm a n ya p p l i c a t i o n s a t t h es a m et i m ec o m p r e s s i o nr a t i ob e c o m e s h i g h e r t h a n b e f o r e ，m a dt h ei m a g eq u a l i t yo f p l a y i n g v i d e oi st h ef o c u sw h i c hh a sb e e nr e s e a r c h e d f i r s t l yt h i sd o c u m e n td e s c r i b e st h eh i s t o r ya n dt h ed e v e l o p m e n to ft h ev i d e o s e q u e n t l yt h es e c o n dc h a p t e rm a i n l yi n t r o d u c e st h ei m a g ec o m p r e s s i n gt e c h n o l o g y a n dt h eb a s i ct h e o r y m a n ys c i e n t i s t sc o n s t a n t l ys e e kt h ed e wt e c h n o l o g yf o ri m a g e c o m p r e s s i o n i m a g ee n h a n c e m e n ti ss t i l lt h em a i nd i r e c t i o ni ni m a g ea p p l i c a t i o n o f c o u r s et h ea i g o r i f l u n sa b o u ti ts t i l la r ev a l i di nv i d e op l a y i n g t h et h i r dc h a p t e ri s a b o u tm p e gc o d em e t h o d i nf a c tv i d e oc a l lb er e g a r da sas e r i a lo f i m a g e s s ov i d e o c o d i n gt e c h n o l o g yp a r t l yu s e st h ea l g o r i t h m sw h i c hw e r eu s e di ni m a g e b u tv i d e o h a si t so w ec h a r a c t e r s ，f o ri n s t a n c em o t i o nr e l a t i v i t y , s ov i d e oa l g o r i t h m sa r em o r e c o m p l e x m p e g 4i s m u c ha d a p tt on e t w o r k ，i tm a k ev i d e om o r ea d a p t i v et o w a r d s n e t w o r ka p p l i c a t i o n t h ef o n l lc h a p t e rp r e s e n tt h e s t r e a m i n gm e d i a w h i c hi s t h e m p e g 4a p p l i c a t i o ni nn e t w o r k i tc h a n g e st h et r a n s m i s s i o nw a yi nc o n v e n t i o n a l v o do rv i d e oc o n f e r e n c i n gs y s t e m f o rs t r e a m i n gm e d i a ，t h e r ea r en e w p r o t o c o l s s t r e a m i n gm e d i ai m p r o v e st h en e t w o r kt r a n s m i s s i o no f v i d e oa n ds a v e st h er e s o u r c e i nt h ef i f t hc h a p t e r ，a c c o r d i n gt ot h ea b o v ec o n t e n ta n dt h es o f t w a r ef o ri n s t a n c e c o m 、d i r e c t xa n ds oo n t h e r ei sa d e s i g nf o rp l a y e ra n de n h a n c e m e n t t h eq u a l i t y o fz o o m i n gi m a g ei nv i d e o b e c a u s eo f u s i n gt h ed i r e c t s h o w , t h ep l a y e rw i l lm a t c h t h ew i n d o w sv e r yw e l l b u tt h em e t h o do n l ya i m sa tt h ef a u l tw h i c hc a u s e db yt h e p l a y e r s o f t w a r eb u tn o tt h en e t w o r k u a曲鹏 唱 锄咱n4盼肝n沁黔m 帅 v北nm豁阳 叩 e 船 m】d盯 m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 繇盖车一蹶伽寸年及月可日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：z 墨益导师签名： 日期：伽 电子科技大学硕士论文 第一章引言 1 9 世纪发明电话，人们就开始用电子来复制声音。2 0 世纪初，留声机和无 线电通信发明扩大了电子声音的应用。第二次世界大战以后，有了电视，人们在 家里就可以观看运动图像。电视使用了模拟技术产生声音和图像。模拟技术要求 的信息在源和接受者之间的图像和声音是实时和连续的电子信号。模拟系统在今 天已经得到了高度发展和广泛的应用。 然而，数字技术也得到了更广泛应用，并且是一项很有价值的技术。这项技 术可以追溯到1 9 世纪晚期和2 0 世纪早期。数字技术用一些离散点的固定数字来 表示数据。最开始的数字技术的目的是发展电子计算。第二次世界大战以后，有 了数字计算机，但是它非常的昂贵和难得使用。直到2 0 世纪6 0 年代，固态集成 电路的发展改变了这个状态。计算机开始降价，并且计算速度和可靠性得到提到， 使用者也开始增加。 现在随着电视、录像机的大量使用和个人电脑的普及，出现了用个人计算机 来视频图像的质量。这个可以看作是计算机和电视技术的一个改革，它们的结合 产生了数字视频。 1 1 模拟视频简介 数字视频的图像特征仍然依赖于在标准电视机上显示视频时使用的是何种 标准电视系统：n t s c 或p a l s e c a m 。所以为了阐述数字视频技术( d v ) ，先简要 讲述一下传统的视频系统。 通常的视频采集设备抓取图像并把图像信息转换为模拟信号。模拟视频有不 同的标准但均采用亮度色差系统来表示和处理信息。图像数据被转换成三种模 拟信号：一种表示亮度，另外两种表示色差信息。有三种主要的视频格式：n t s c 制式，p a l 制式和s e c a m 制式( 顺序与存储彩色电视系统) 。这些制式都定义了 视频的主要特征：分辨率，亮度和色差编码，视频的刷新频率。n t s c 和p a l 制 式( 两大主要的视频标准) 的主要特征如下所示： n t s c 制式： ( 1 ) 每帧5 2 5 条扫描线，每秒2 9 9 7 帧( 3 3 3 7 毫秒帧) ； ( 2 ) 每帧分两场：奇数场和偶数场：两场相互交错，2 6 2 5 线场； ( 3j 每场开始预留2 0 条扫描线作为控制信息。实际上可视数据最多只有4 8 5 线； 电子科技大学硕士论文 ( 4 ) 采用y i q 颜色系统。从r g b 色彩系统得到亮度信号y 和两个色差信号 ( i 和q ) 的关系如下： y = o 3 0 r + o 5 9 6 + 0 1 4 b ： i - 0 7 4 ( r y ) 一0 2 4 ( b y ) ： q = o 4 8 ( r - y ) + o 4 1 ( b - y ) ： p a l 制式： ( 1 ) 每帧6 2 5 条扫掐线，每秒2 5 帧( 4 0 毫秒帧) ； ( 2 ) 每帧分两场：技术场和偶数场：两场交相交错，3 1 2 5 线场； ( 3 ) 每场开始预留2 0 条扫描线作为控制信息。实际上可视数据最多只有 5 8 5 线。 ( 4 ) 采用y u v 色彩系统。从r g b 色彩系统得到亮度信号y 和两个色差信号 ( u 和v ) 的关系式如下： y = o 3 0 r + o 5 9 g + o 1 4 b ： u - o 4 9 3 ( b - y ) ： v = o 8 7 7 ( r - y ) ： 1 2 数字视频介绍 数字视频可以简单地理解为数字记录的视频。它包含了声音和图像，它们是 由计算机产生的数字图像。视频是指用计算机数据来表示实时或者计算机产生的 图像。数字视频则是用计算机数据来表示这些图像。 数字视频技术是今年来信息技术领域中飞速发展的一个科学，将电视技术、 计算机技术和通信技术结合在一起，在电视系统中得到了广泛的应用，已经进入 了千家万户的日常生活中，如数字电视、会议电视和可视电话等数字视频系统。 电视为人们所喜爱已有两代人的历史了。活动图像的发明从无声电影开始到 后来的有声电影，产生了比任何其他娱乐方式都重大的影响。幻灯放映和电影在 教育中也是很重要的媒体。而嵌入到文件中的全运动视频则更有价值。 数字视频的使用有很多的优点： ( 1 )多样性：数字视频能够混合音频、图表和更多生动的内容使视频 具有更好的可交互性； ( 2 )数字视频比同等模拟视频系统廉价和实用； ( 3 )精确的表示图像的信息： ( 4 )能够精确地存储、重放； ( 5 ) 能够存储大量的数据。因此针对不同的图像帧有不同的解决方案； ( 6 )能够提供没有显著损失的图像压缩； 电子科技大学硕士论文 ( 7 ) 在传输中有很高的可行性和可靠性。传输信道的噪声不会使图像 变形。 随着信息时代的发展，在众多领域都要用到视频信息：实时多媒体监控，可 以应用到很多地方，比如楼层监控，商场监控，还有机场、博物馆、银行等。这 个应用是需要采集实时数据：极低比特率下的移动多媒体通信；基于内容存储和 检索多媒体系统；i n t e r n e t i n t r a n e t 上的视频与可视游戏；基于面部表情模拟 的虚拟会议：d v d 上的交互多媒体应用；基于计算机网络的可视化合作实验场景 应用；演播室和电视的节目制作等。 在众多的应用中，视频的应用可以简单归结为：视频采集编码、存储、传输、 解码播放等几个环节。 1 3 数字视频的发展 随着现代通信事业的发展，为信息传输提供更宽频带的信道已经成为现实。 但人们可以得到的信息的增长速度总是比能够提供的信道频带的增加速度快，人 们不断地在探索各种高效率的编码方法，阻降低码率。到了八十年代初期，经过 几年的发展，数字视频方面的编码技术也变得非常成熟了，并且制定了许多国际 标准如：j p e g 、h 2 6 1 、m p e g l 2 。可是到了低码率( 码率低于6 4 k b i t s ) 的应 用环境中，这些标准又暴露了严重的不足：一方面会产生些难以忍受的赝像现 象，这主要表现为块效应、振铃现象和快速运动的不连续性；另一方面由于这些 标准的可分级性能较差，在多点传送时无法同时满足具有不同接收性能的终端用 户的要求。1 9 9 5 年，国际电信联盟为很低码率视频编码制定了一个标准一h 2 6 3 ， 但它的主要应用是可视电话，因而不是一个通用的视频编码标准。 今年来，对所谓更进一步的图像和视频编码技术的研究新区正在逐步增加。 这些技术从图像分析的角度引入了一些新概念，提出了许多新的、更加有效的图 像表示方法，充分利用在人类视觉方面生理学和心理学上的研究成果，极大地提 高了编码效率，可以获得非常高的压缩比。新的技术把图像分割成许多区域，对 每一个区域的形状和纹理分别进行编码，对形状进行编码可以提高图像的主观质 量，增大压缩比。作为未来新一代多媒体通信标准，m p e g 4 集中反映了这方面的 成果，它不但能够提高编码的效率，而且能够提供好的方法来表示、综合和交换 图像的视觉效果。 新一代多媒体技术可以应用到我们生活的方方面面：交警可以在指挥中心监 控各个主要交通路短的道路畅通情况；医生可以使用视频医疗仪器检查病人的器 官，代替了传统的检查；在生活方面可以在家中可以随心所欲地收看想看的节目， 变被动为主动。总之，它改变我们的生活和学习方式，影响着我们的未来。这个 电子科技大学硕士论文 领域在各国都是软件研究人员的重点研究内容，没有哪个国家的技术可以统一这 个领域，因此我们也应该在这里有所发展。 电子科技大学硕士论文 第二章图像处理 本章处理的图像是经过模数转换后的原始数据。经过转化后的图像信息要经 过编码存储和解压重现。存储一幅中等大小的图像，比如说5 1 2 5 1 2 象素，2 4 位真彩色，需要0 7 5 m b 的空间。一视频信号通常要每秒3 0 帧；一幅标准的分辨 率为1 2 姗的3 5 m m 的数字照片需要1 8 m b 的空间；秒钟的n t s c 彩色视频需要 2 3 m b 的空间。可见图像的信息量是非常大的，因此，无论是从经济角度还是技 术的角度，现在的情况是光靠硬件的支持并不能满足人们的需要。压缩技术将提 供一种解决的方案。信息压缩的动机是很明显的。如果我们能用一种压缩了的形 式来表示信息。它体现了如下好处：节省存储空间，节省c p u 时间，节省传输时 削。我们日常用到的大部分信息都具有很高的相关性，或者说，它们本身包含着 冗余，因此，没有信息丢失的压缩是可能的。压缩中最关键的问题是能够在原始 数据和压缩数据之间快速地切换。 21 信息冗余 数据是用来表示信息的。对于给定的信息，如果用不同的方法表示要使用不 同的数据量，那么使用较多的数据量的方法中，有些数据必然是代表了无用的信 息，或者重复地表示了其它数据己表示的信息。这种冗余称为数据冗余，它是数 字图像压缩中的关键问题。 数据冗余可以用数学定量地描述。假如用n ，和n ：分别代表用来表达相同信 息的2 个数据集合中的信息载体单位的个数，那么第1 个数据集合的相对( 第2 个数据集合) 数据冗余为定义为： r d = n 【一n ! c r ( 2 - 1 ) 其中c ，：称为压缩率： c r = n 。n ： ( 2 - 2 ) 上述各量的一些特殊值和对应的情况列在表( 1 ) 中。一般情况下，c n 和r u 分别在开区间( 0 ，o 。) ( - - o o ，1 ) 中取值。如c 。为1 0 ( 或者l o ：1 ) ：表明第一个数 据集合中的信息载体单位数是第二个数据集合中的1 0 倍，对应的r 。= 0 9 表明9 0 的数据在第一个数据集合中是冗余数据。 在数字图像压缩中，有三种基本的数据冗余：1 、编码冗余；2 、象素问冗余： 3 、心理视觉冗余。如果减少或消除其中的一种或多种冗余，就能取得数据压缩 效果。 电子科技大学硕士论文 表( 2 - 1 ) 相对数据冗余和压缩率的一些特例 |n 相对于n ，c rr d对应的情况 in ：n 。 lo 第1 种表达相对于第2 表达不含冗余数据 in 。 n 11第1 种数据集合包含相当多的数据冗余 n l s u b t y p e ，m t o u t 一 f o r m a t t y p e m t o u t 一 p b f o r m a t ) ： d e l e t e m e d i a t y p e ( m t o u t ) ： i f ( r e s u l ti - so k ) r e t u r nr e s u l t ： ) i f ( p i n 一 g e t p o i n t e r ( ( b y t e * * ) m f r a m e b i t s t r e a m ) ! = so k ) r e t u r nsf a l s e ： i f ( p o u t 一 g e t p o i n t e r ( ( b y t e * * ) m f r a m e i m a g e ) ! = s o k ) r e t u r nsf a l s e ： ) mf r a m e 1 e n g t h = p i n g e t s i z e0 ： if ( p l n 一 i s p r e r o l l0 1 = s o k ) i f ( m _ x v i d d e e o r e ( m _ p a r a m h a n d l e ，x v i d d e c d e c o d e ，& m f r a m e d ) ! = x v i de r ro k ) m e s s a g e b o x ( 0 ，”x v i d d e c o r e lc a nn o tw o r k ”，”e r r o r ”，0 ) r e t u r nsf a l s e ： e l s e i n t t m p = mf r a m e c o l o r s p a e e 电子科技大学硕士论文 m _ f r a m e c o l o r s p a c e = x v i d c s p n u l l ： i f ( mx v i d _ d e c o r e ( mp a r a m h a n d l e ，x v i d d e c d e c o d e ，m f r a m e 0 ) ! = x v i de r ro k ) ) m f r a m e c o l o r s p a c e = t m p ： ) r e t u r ns o k ： ) 编译好的f i i t e r 多是a x 后缀名，然后在注册表中进行注册，这样f i l t e r 可以与应用程序完成二进制一级的协作，能更好的体现c o m 标准的语言无关性。 5 4 2 图像处理实验 解码后的视频信息相可以理解成一系列的静态图像称为帧，但是视频播放有 时间的限制，m p e g 4 是2 5 帧秒。而且视频播放是要求图像连续，相比之下对 图像的色彩和清晰度的要求就不如静态图像那么高。图像变化中的一些算法也可 以使用到视频播放处理中。 视频播放中的放大或者缩小操作是播放器的基本功能之一，它的处理算法参 考图像变化中的算法。在视频播放中，没有经过特殊处理的缩放功能只是单一的 采用了图像中的最邻近插值算法，这个算法在前面的章节中提到过效果是最差 的，容易出现锯齿和图像的不连续。因此需要在视频播放时对放大进行一定处理， 如图( 5 - 9 ) 所示： 图( 5 - 9 ) 图( 5 - 9 ) 中，对缩放处理的对象是视频解码以后的可播放的每一帧视频信 息。通常人们在缩小处理中，采用重采样的算法。重才样算法相对简单，也可以 蜕就是最邻近插值算法，计算速度也能适应视频播放的要求。放大处理却是相对 复杂很多。如果采用复杂算法，则无法及时处理每一帧数据，结果完全无法播放。 因此放大算法要求复杂度低。双线性插值算法相对简单，应该可以考虑作为该处 4 7 ) 0 r0rre krotonnac2eroced d1 iv ， x e s，l 0 a( f x o s be n g r a u s t s e e r m 电子科技大学硕士论文 理算法。 由于算法实现要求时间端，可以考虑用m a s m 、n a s m 等汇编语言实现。 众所周知，汇编语言的执行效率要比c c + + 等语言高。这里只是提出用函数来实 现这个功能。同样可以将其设计成f i l t e r ，这样能够更好的融入到d i r e c t s h o w 的 框架结构中。 5 5 本章小结 本章对m p e g 4 播放器实现提出了一种方案，并对其中视频中图像基本处理 提出了一点建议。将图像处理中简单的增强算法应用到视频播放中。视频的实现 需要复杂的系统，对其的研究有很重要的实际意义。但是由于时间关系此处只是 提出了一种方案。 屯了科拉大学顶l 论文 第六章结论 本文详细分析了研究视频播放器所要涉及的一些基础知识。视频研究在飞速 发展，而且现在国际上没有哪个国家处于绝对领先的地位。因此，对视频技术各 国都处于同等水平。 静态图像和视频信息有一定的联系。在图像变化上可阻将图像中的某些算法 适当的应用到视频技术中，直接在播放器端通过软件方式改变视频图像的质量。 静态图像和视频虽然都可以统筹到图像处理的范畴内，但是他们又各自有特点。 静态图像中的图像变化算法要经过简化处理才可以应用到视频中。本文尚未完成 的工作就是还将静态图像中的良好算法应用到视频图像播放中。 电子科技大学硕士论文 参考文献 【1 】h o m a ss i k o r a ，s e n i o rm e m b e r t h em p e g 4v i d e os t a n d a r dv e r i f i c a t i o nm o d e l i e e et r a n s a c t i o n so nc i r c u i t sa n ds y s t e m sf o rv i d e ot e c h n o l o g y ，v o l7 , n o 1 , f e b r u a r y 19 9 7 2 c h u l h e el e e ，m e m b e r ，i e e e ，m u r r a ye d e n ，l i f ef e l l oh i 出一q u a l i t yi m a g er e s i z i n g u s i n go b l i q u ep r o j e c t i o no p e r a t o r si e e et r a n s a c t i o n s o ni m a g ep r o c e s s i n g ，v o l 7 ，n o 5 ，m a y19 9 8 【3 】m i c h a e lu n s e r ，s e n i o rm e m b e r , i e e e ，a k r a ma l d r o u b i ，a n dm u r r a y e d e n e n l a r g e m e n to rr e d u c t i o no fd i g i t a li m a g e sw i t hm i n i m u ml o s so fi n f o r m a t i o n i e e et r a n s a c t i o n so ni m a g e p r o c e s s i n g ，v o l4 ，n o 3 ，m