（信号与信息处理专业论文）基于软件协议的视频特效并行处理.pdf

摘要 摘要 视频特效处理是电影电视制作过程中的一个重要环节，人们在影视节目中越 来越多地运用到了视频特效处理技术，它可以产生丰富的视觉效果，从而使影视 节目更具有吸引力。由于数字视频特特效处理的计算量非常大，因此单个的处理 器往往难以胜任。现在的计算机处理器速度越来越快，然而数字视频的图像质量， 图像尺寸以及视频特效的复杂程度也在增加，所以采取并行处理技术仍然是非常 的必要。人们已经开发出了多种基于硬件系统的视频特效并行处理方法，其核心 是依赖于特定的硬件处理设备。 然而在网络环境中，视频信息存在着变化帧速率，变化的码速率，以及随机 变化干扰的问题，使得传统的基于硬件的视频并行处理方法与网络环境不是很兼 容。本文提出了一种基于软件协议的视频特效计算机并行处理方法，该方法由多 台计算机通过网络组成并行系统，不依赖于特定的硬件设备，完全基于软件协议 来实现视频特效并行处理过程。 系统由一台视频特效预处理机和多台并行处理机两部分组成，其中预处理机 存储有数字视频文件。预处理机首先对数字视频文件进行解码处理，将其分解成 帧图像序列，然后将每帧图像分割成若干子块，每个子块分配给一台并行处理机 进行处理。在传输视频图像数据之前，预处理机先对图像子块进行压缩编码，再 将压缩后的数据流处理成论文中提出的网络传输的数据格式。然后预处理机向各 并行处理机发送控制信息，并行处理机进行应答回复后，系统即可按照论文中制 定的网络并行通信格式进行视频数据传输。各并行机收到视频流数据后，对数据 进行解码，然后进行视频特效处理，处理完毕后将视频数据流反馈发送给预处理 机。预处理机对数据流进行整合后，就输出最后结果，从而完成视频特效并行处 理过程。 基于软件协议的视频特效并行处理系统具有几点优势：第一，系统具有高度 的灵活性，和网络环境非常兼容；第二，系统易于实现，不需要特殊硬件设备， 在普通的局域网环境中即可实现；第三，价格低廉，具有很强的推广性和实用性。 关键词：网络环境；并行处理；小波变换；视频特效 华南理工大学硕士学位论文 a b s t r a c t v i d e oe f f e c tp r o c e s s i n gp l a y sa ni m p o r t a n tr o l ei nm o v i ea n dt vp r o d u c t i o n m o r ea n dm o r ea d v a n c e dv i d e op r o c e s s i n gt e c h n i q u e sh a v eb e e na p p l i e dt om o v i e s a n dt vp r o g r a m s t h o s et e c h n i q u e sm a yp r o d u c ea f f l u e n tv i s i o ne f f e c t s ，w h i c h a l l o wo u rv i d e op r o g r a m st ob em o r ea t t r a c t i v e d u et ot h el a r g ec a l c a u l a t i o np a y l o a d f o rd i g i t a lv i d e op r o c e s s i n g ，as i n g l ec p ui sn o te l i g i b l e a l t h o u g ht h es p e e do f m o d e r nc o m p u t e rc p uh a sb e e nm u c hf a s t e r , t h ev i d e oq u a l i t y ，i m a g es i z ea n dt h e c o m p l e x i t y o fv i d e oe f f e c ti n c r e a s et o o t h e r e f o r ei t i s n e c e s s a r y t o a d o p t p a r e l l e l l e d - p r o c e s s i n ga l g o r i t h m v a r i o u sp a r e l l e l l e dp r o c e s s i n gt e c h n i q u eb a s e do n h a r d w a r es y s t e mh a v eb e e nd e v e l o p e d t h ek e yi d e ar e l i e do nt h es p e c i a lh a r d w a r e p r o c e s s i n ge q u i p m e n t s b u ti nt h en e t w o r ke n v i r o n m e n t ，t h ep r o c e s s i n go fv i d e os i g n a l sa r ep u z z l e db y t h ep r o b l e m so fv a r i a t i o n sc o n c e r n e dw i t ht h er a t eo ff r a m e sa n dc o d e sa n dt h e d i s t u r b a n c e a c t u a l l y ，t h o s ep r o b l e m sl e a dt ot h ei n c o m p a t i b i l i t yb e t w e e nt h e t r a d i t i o n a lp a r a l l e lv i d e op r o c e s s i n ga l g o r i t h ma n dt h en e t w o r ke n v i r o n m e n t i nt h i s d i s s e r t a t i o n ，av i d e oe f f e c ta l g o r i t h mi sp r o p o s e db a s e do ns o f t w a r ep r o t o c o l ，w h i c h i sp a r a l l e l l e dp r o c e s s e db yc o m p u t e r s t h ec o m p u t e r sa r eo r g a n i z e da sap a r a l l e l l e d s y s t e m b yt h en e t w o r k ；i td o e sn o tr e l yo nc e r t a i nh a r d w a r ee q u i p m e n t ，i n s t e a d ，t h e w h o l ep a r a l l e l l e dp r o c e s s i n gp r o c e s si sb a s e do nt h es o f t w a r ep r o t o c 0 1 t h es y s t e mi s c o m p o s e do ft w op a r t s ，t h e f i r s t p a r t i sav i d e oe f f e c t p r e - p r o c e s s i n gm a c h i n e ，t h es e c o n dp a r tc o n s i s t so fm u l t i p l ep a r e l l e l l e d p r o c e s s i n g m a c h i n e s t h ep r e p r o c e s s i n gm a c h i n ei su s e dt os t o r ed i g i t a lv i d e of i l e s a tt h ef i r s t s t e p ，p r e p r o c e s s i n g m a c h i n ed e c o d et h ed i g i t a lv i d e of i l e si n t o i m a g ef r a m e s e q u e n c e t h e ni tw i l ld i v i d ee a c hf r a m ei n t os u b b l o c k s e a c hb l o c ki sa s s i g n e dt oa p a r a l l e l l e dp r o c e s s i n gm a c h i n e b e f o r et h et r a n s m i s s i o n ，t h ep r e p r o c e s s i n gm a c h i n e w i l lc o m p r e s sa n dc o d ee a c hs u b - b l o c k ；t h e nc o m p r e s s e dd a t as t r e a mi sp r o c e s s e d i n t oaf o r m a tt h a ti sm e n t i o n e di nt h et h e s i sf o rn e t w o r kt r a n s m i s s i o n a f t e rt h a t ，t h e p r e - p r o c e s s i n gm a c h i n es e n d sc o n t r o ls i g n a l st op a r e l l e l l e dp r o c e s s i n gm a c h i n e ，a n d w a i tf o rt h er e s p o n s e ；t h e nt h ec a nb e g i nt h ed a t at r a n s m i s s i o na si sm e n t i o n e di nt h e t h e s i s a l lt h ep a r a l l e l l e dm a c h i n e sd e c o d et h ev i d e os t r e a ma n dp r o c e s si tw i t h v i d e oe f f e c t t h ep r e - p r o c e s s i n gm a c h i n ew i l lg e tt h ef e e d b a c ka n ds y n t h e s i z et h e d a t as t r e a ma n de x p o r tt h er e s u l t ，t h e nt h ep r o c e s si sc o m p l e t e d t h e r ea r es e v e r a la d v a n t a g e sf o rp a r e l l e l l e dp r o c e s s i n gt e c h n i q u et h a ti sb a s e d i l a b s t t a c t o nh a r d w a r es y s t e m ：f i r s t l y ，t h e s y s t e mi sv e r yf l e x i b l ea n dc o m p a t i b l ew i t ht h e n e t w o r ke n v i r o n m e n t ，s e c o n d l y ，t h es y s t e mi se a s yt oi m p l e m e n t ；i td o e sn o tr e q u i r e s p e c i a lh a r d w a r ee q u i p m e n tt ob ep e r f o r mt h ep r o c e s s ；t h i r d l y ，i ti sc h e a pa n di ta l s o h a v eah i g he x t e n d i b i l i t ya n dp r a c t i c a b i l i t y k e yw o r d s n e t w o r ke n v i r o n m e n t ；p a r a l l e lp r o c e s s i n g ；w a v e l e tt r a n s f o r m v i d e oe f f e c t s i i i 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名：井星骏日期： 哆年歹月j 。日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密囱。 ( 请在以上相应方框内打“”) 日期：i o 嗲年r 月；o h 日期：年月日 缆钎 程知 轹 辄 签 垒 眷 师 孵 副 第一章绪论 1 1 引言 第一章绪论 数字视频技术目前得到了广泛的应用，而其中的视频特效处理技术起着重要 的作用，显而易见，这项技术可以很大程度的增加数字视频的附加值和多样性。 例如在电视和电影节目中，视频特效处理往往是吸引观众的重要因素。 随着网络的普及和发展，在网络环境中实现视频特效处理是数字视频技术的 发展趋势。在这方面，人们已经作了许多努力。人们传统上是采用视频产品转换 器( v p s ) 来实现视频特效处理的。视频特效处理器是一种通过处理模拟或者数 字视频信号来产生视频特效的特定硬件设备，通常由工作人员通过控制台操作。 但是，这项技术依靠的是固定的帧速率，固定的码速率和严格的信号同步技术， 而目前的网络视频资源环境却具有变化的帧速率，变化的码速率和随机的信号突 变等特点，所以传统的基于硬件的视频特效技术很难和网络环境相兼容。 本文提出了一种基于软件协议的视频特效并行处理方法。此方法的关键是采 用了基于软件协议的计算机并行处理技术。由于采用了软件并行技术，所以系统 具有高度的灵活性，可以较好的处理网络通信过程中常见的帧速率变化和数据报 丢失等问题，克服了传统硬件的缺点。而技术的关键在于处理过程的并行性。因 为视频特效技术需要处理大量的数据，而单处理器的速度往往不够理想，所以采 用并行处理技术可以实现这一目标。数字视频的并行处理技术有三种方案：功能 并行，时间并行和空间并行。考虑到视频图像的分割和实验室局域网的结构， 本文采用了空间并行处理技术实现。该系统由多台计算机通过网络协议互联，由 一台预处理机对视频帧图像进行空间结构划分，然后进行数据压缩，将数据处理 成固定长度的数据块，加上码头等控制信息，成为特定的网络传输格式，然后根 据结构进行任务分配，将数据块传送给各个并行机分别进行处理，各并行机对数 据码头进行分析，接收指定地址的数据块，然后进行视频特效的处理，处理结果 反馈给预处理机，最后由预处理机对结果进行整合，最后将结果输出，从而实现 并行处理过程。 系统结构如图卜l 所示，从图中看出系统属于n o w ( n e t w o r ko f w o r k s t a t i o n s ) 结构，即工作站网络结构。系统可以分为两个部分：预处理机部 分和并行处理机部分，两个部分之间通过网络协议互联。图中双向箭头表示数据 流的传输过程是双向的。 华南理工大学硕士学位论文 图卜l 基于软件协议的视频并行处理结构 f i g u r e1 - 1s t r u c t u r eo fp a r a l l e lv i d e oe f f e c ts y s t e m 1 2 国内外的研究现状 目前国外已经开发出多个硬件系统来进行视频特效并行处理。美国麻省理工 学院的b o r e 和w a t l i n g t o n 开发出了c h e o p s 系统瞄j ，该系统在下几个方面实现并 行的先进性：1 有多重并行计算模块组成的独立的特定处理单元。2 同时在一个 处理器单元内部进行多重流处理操作。3 在后台底板具有多个操作模块。b o v e 和w a t l i n g t o n 最近取得了一些新的进展，他们提出了一套可以与一系列的网络硬 件资源相匹配的系统和算法，用来在理论上抽象地描述流媒体。在这个系统中， 网络硬件资源是专用的多媒体处理器或者是通用的处理器。该系统运用了一种通 用化的方法，具有独立性，并不依赖于特定的视频流或者视频数据包格式。 美国i b m 公司开发出了i b mp o w e r 视觉系统j ，该系统由3 2 个同样得处理 器芯片通过总线连接而成。该系统是和i b me f x 视频处理软件相匹配的。i b m p o w e r 视觉系统将处理器的计算能力、存储器的容量和输入输出设备的带宽联 合了起来，获得了并行的处理能力，使得它在数字视频后期制作阶段得到了很好 的应用。这个多功能的计算机系统几乎可以胜任视频后期制作的任何阶段的指定 任务，包括计算机图形的处理、视频的编辑、特效处理、自动整合和压缩。 普林斯顿大学的系统也开发出了相应的视频并行处理系统，取名为普林斯顿 引擎f 4 】。该系统可以用来实时的处理视频图像信号，包括n t s c 制式信号和h d t v 视频信号，它由大规模的并行处理器单元组成，总共有2 0 4 8 个并行处理器单元。 每个处理器单元包含有一个1 6 位的算术模块，乘法器，和一个6 4 个字节的寄存 器堆栈，其中寄存器堆栈有3 个端口，一个是可写端口，两个是可读端口。而且 每个处理器单元还包含有1 6 0 0 0 字节的本地存储器，用来存储数据。相邻的处理 第一章绪论 器单元通过内联的通信总线相连，可以通过一个指令集系统来进行数据的交换。 因此该系统具有很强的视频并行处理能力。而目前国内的研究情况主要集中在数 字图像的并行处理算法研究方面。浙江大学c a d & c g 国家重点实验室对图形系 统的并行性进行了研究【5 】，结合光线跟踪并行算法的设计，对对象空间并行、图 像空间并行、任务分配以及调度策略进行了研究。中国科技大学在并行计算机上 对数字图像采用并行算法进行了处理1 6j ，使一些计算复杂度很高和计算量很大的 得到较好的解决，并获得了满意的结果。 1 3 论文内容与结构 本文研究了一种基于软件协议的视频特效并行处理方法，研究了数字视频流 的分帧，视频图像的压缩，视频图像的网络传输格式和传输协议，并行处理机的 数据接收，以及视频流的数据反馈，视频特效处理等内容。 本论文的正文主要包括以下几部分： 第一章是绪论，介绍了视频特效并行处理的应用价值和实际意义，当前的国 内外研究背景，以及本课题的研究内容。 第二章是数字视频的格式和编解码技术，对当前主要的视频格式进行了介绍 和讨论，并重点介绍了本论文实验所采用的a v i 视频文件格式，对主要的技术 参数和文件内部结构进行了探讨。 第三章是视频图像的压缩和网络传输，首先介绍了网络并行计算系统的结构 和性能。接着研究了视频特效的任务分配，图像数据的压缩，视频图像的网络传 输格式和传输协议等内容。 第四章是视频特效并行处理技术，研究了各并行处理机对数据的接收和处理 过程，各并行机对视频图像序列的特效处理过程，以及视频数据的反馈和整合输 出。 第五章是基于软件协议的视频特效并行处理系统的具体实现过程，分析了系 统的设计流程，包括视频流的解码、压缩、发送和接收、视频图像的特效处理、 视频特效的整合输出等各个部分。 1 4 本章小结 本章概括介绍了视频特效并行处理技术的发展状况以及它的应用范围，同时 分析了国内外目前的研究现状。在本章最后，列出了论文的主要研究内容。 华南理t 大学硕士学位论文 第二章数字视频编解码技术 视频特效并行处理的第一步，就是要对数字视频进行解码，以便进行迸一步 的计算。下面就对各种常见的数字视频格式进行介绍。 2 1 国际电联的f 1 2 6 1 、h 2 6 3 标准 2 1 1h 2 6 1 标准 1 9 9 0 年，t t u t 公布了第一个视频编码标准h 2 6 1 ，在帧间编码时采用了基 于1 6 1 6 的宏块和整像素精度的运动估计，而在帧内编码时采用了8 8 数据块 的d c t 运算。h 2 6 1 又称为p x6 4 ，其中p 为6 4 k b s 的取值范围，是l 到3 0 的 可变参数，它最初是针对在i s d n 上实现电信会议应用特别是面对面的可视电话 和视频会议而设计的。实际的编码算法类似于m p e g 算法，但不能与后者兼容。 h 2 6 i 在实时编码时比m p e g 所占用的c f u 运算量少得多，此算法为了优化带宽 占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运 动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编 码而非恒定质量可变码流编码。 2 1 2h 2 6 3 标准 1 9 9 6 年3 月i t u t 公布了h 2 6 3 视频编码标准。h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码流通信而设计的。但实际上这个标准可用在很宽的码 流范围，而非只用于低码流应用，它在许多应用中可以认为被用于取代h 2 6 1 。 h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善和改变，以提高性能和纠错能 力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，两者的区别有： ( 1 ) h 2 6 3 的运动补偿使用半象素精度，而h 2 6 1 则用全象素精度和循环滤 波； ( 2 ) 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以配置 成更低的数据率或更好的纠错能力； ( 3 ) h 2 6 3 包含四个可协商的选项以改善性能； ( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码； ( 5 ) 采用事先预测和与m p e g 中的p b 帧一样的帧预测方法； ( 6 ) h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外， 还支持s q c i f 、4 c i f 和1 6 c i f ，8 q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分别为c i f 的4 倍和1 6 倍。 1 9 9 8 年i u t - t 推出的h 2 6 3 + 是h 2 6 3 建议的第2 版，它提供了1 2 个新的 可协商模式和其他特征，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频源 格式，h 2 6 3 + 允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用 范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强 4 第二誊数字视频编解码技术 了视频信息在易误码、易丢包异构网络环境下的传输，另外，h 2 6 3 + 对h 2 6 3 中的不受限运动矢量模式进行了改进，加上1 2 个新增的可选模式，不仅提高了 编码性能，而且增强了应用的灵活性。h 2 6 3 已经基本上取代了h 2 6 1 。 2 2 m p e g 视频标准 m p e g 标准是由国际标准化组织i s o 和国际电工委员会i e c 共同制定的。m p e g 为m o v i n gp i c t u r e se x p e r t sg r o u p 的缩写，可译为活动图像专家组，简称动像 专家组。 m p e g 是针对运动图象的压缩技术，它同时采用帧内图象数据压缩和帧间图 象数据压缩来提高压缩比。帧内压缩算法采用与j p e g 基本相同的基于d c t 的变 换编码技术，以减少空间冗余信息。帧间压缩采用预测法和插补法。预测法有因 果预测器( 纯粹的预测编码) 和非因果器( 插补编码) 。预测误差可再通过d c t 变换编码处理，进一步压缩。帧编码技术可减少时间轴方向的冗余信息。 2 2 1 m p e g - 1 和m p e g 一2 视频标准简介 m p e g 一1 基本工作原理就是h 2 6 l 所用的混合编码( h y b r i dc o d i n g ) ，就是 采用三种基本方法一一空间的( d c t ) 、时间的( 运动补偿) 和统计的( 可变长编 码) 信息压缩法，并用量化步长来控制整个码的产生量。m p e g l 标准的任务是 使质量适中的视频及音频数据在计算机网络和广播电视等通信网络中兼容( 包括 传输、显示及记录存储) ，其传输码率符合目前计算机网络传输码率( 约i 1 5 m b p s ) 并适应多种网络应用。 m p e g 一2 是一种高质量视频的压缩标准，也有人称它为用于广播电视的视频 压缩标准。它的任务是制定通用的活动图像及其伴音的编码方案，以适用于各种 应用( 如存储媒体、分配传输和通信) 等目的。其技术基础完全继承m p e g 1 ， 而且受到了当时并行进行标准化工作的美国下一代电视广播制式a t v ( a d v a n c e dt e l e v i s i o n ) 的很大影响m p e g 2 最显著的特征之一是其通用性，即 不依赖于特定的应用，这使得m p e g 2 成为当今为止重要的视频压缩标准。 2 2 2 m p e g 一4 和m p e g - 7 简介 m p e g 4 是一个正在制定的压缩标准，到目前为止仍在发展中。它支持数字 音频视频数据的通信、存取和管理的途径，其显著特点是“基于内容”的。它 的主要目标是提供一个视听表示的标准，专门用于6 4 k b p s 以下甚低速率的音视 编码，不仅适用于移动通信和个人通信，而且也适用于固定公用通信网和电视电 话，适用于窄带多媒体通信等广泛的应用。 随着人们对多媒体信息需求的日益增长，基于内容的多媒体搜索引擎取代现 有的基于文本的搜索引擎已是大势所趋。为了推动由文本信息时代向多媒体信息 时代的过渡，继m p e g 1 、m p e g 2 和m p e g 4 之后i s o 又推出了m p e g 7 ，并 正式命名为“多媒体内容描述接口”( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) 。 华南理工大学硕士学位论文 它提出了一种适用于现实生活中的各种多媒体内容的标准化描述方案，这种描述 以提取待描述对象的各方面特征为基础，便于人们对所需的多媒体材料进行快 速、有效的检索。 m p e g 4 和m p e g 一7 的研究属于新兴的视听领域，许多技术细节到目前为止 仍在拟定中。现今家庭或网络应用中大部分的视频仍采用m p e g 1 或m p e g 2 格式。 2 3 数字视频的新标准及发展 h 2 6 4 a v c 标准是由i t u t 的是皮编码专家组和i s o i e c 的移动图像专家组 大力发展研究的适应于低码率传输的新一代视频压缩标准f7 1 。联合开发的，定位 于覆盖整个视频应用领域，包括：低码率的无线应用、标准清晰度和高清晰度的 电视广播应用、i n t e r n e t 上的视频流应用，传输高清晰度的d v d 视频以及应用 于数码相机的高质量视频应用等等。 新标准官方的命名为“高级视频编码协议”( a v c ) ，但在大多数文献和工 作中，人们仍然习惯使用| 日的工作名称“h 2 6 l ”或者i t u t 的文件编号h 2 6 4 8 】。 既然f i v e 是当前m p e g 一4 标准的拓展，那么它必然将受益于m p e g 一4 开发良好的基 础结构( 比如系统分层和音频等) 。很明显，作为m p e g - 4 高级简洁框架( a d v a n c e d s i m p l ep r o f i l e ，f i s p ) 的m p e g 一4a v c 将会优于当前的m p e g - 4 视频压缩标准， 它将主要应用在具有高压缩率和分层次质量需求的方向。 h 2 6 4 最具价值的部分无疑是更高的数据压缩比。压缩技术的基本原理就是 将视频文件中的非重要信息过滤，以便让数据能够更快地在网络中传输。在同等 的图像质量条件下，h 2 6 4 的数据压缩比能比当前d v d 系统中使用的m p e g 一2 高 2 3 倍，比m p e g 一4 高1 5 2 倍。正因为如此，经过h 2 6 4 压缩的视频数据，在 网络传输过程中所需要的带宽更少，也更加经济。 在m p e g 一4 需要6 m b p s 的传输速率匹配时，h 2 6 4 只需要3 m b p s 一4 m b p s 的传 输速率。我们用交通运输来做更加形象的比喻：同样是用一辆卡车运输一个大箱 子，假如m p e g 一4 能把箱子减重一半，那么h 2 6 4 能把箱子减重为原来的1 4 ， 在卡车载重量不变的情况下，h 2 6 4 比m p e g 一2 让卡车的载货量增加了二倍。 h 2 6 4 获得优越性能的代价是计算复杂度的大幅增加，例如分层设计、多帧 参论、多模式运动估计、改进的帧内预测等，这些都显著提高了预测精度，从而 获得比其他标准好得多的压缩性能。不断提高的硬件处理能力和不断优化的软件 算法是h 2 6 4 得以风行的生存基础。早在十年前，主频为几十兆的c p u 就达到了 顶级，而如今普通的台式机，c p u 的主频已经离达几千兆。按照摩尔定律的说法， 芯片单位面积的容量每1 8 个月翻一番，因此h 2 6 4 所增加的运算复杂度相对于 性能提升效果而言微不足道。更何况新的计算方法层出不穷，也相对缓解h 2 6 4 对处理速度的要求。 第二章数字视频编解码技术 2 4a v i 数字视频 本论文的视频特效并行处理系统在软件实现时，采用的视频数据是a v i 格式， 所以在这罩将a v i 数字视频各式做详细的介绍。 a v i 文件是m i c r o s o f t 公司指定的一种r i f f ( r e s o u r c ei n t e r c h a n g ef i l e f o r m a t ) 格式，其基本构件是块( c h u n k ) i9 1 。a v i ( a u d i ov i d e oi n t e r l e a v e ) 是一种音 频视像交插记录的数字视频文件格式。1 9 9 2 年初m i c r o s o f t 公司推出了a v i 技术 及其应用软件v f w ( v i d e of o rw i n d o w s ) 。 2 4 1 a v i 视频的文件结构 在a v i 文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件 设备。这种按交替方式组织音频和视像数据的方式可使得读取视频数据流时能更 有效地从存储媒介得到连续的信息。构成一个a v i 文件的主要参数包括视像参 数、伴音参数和压缩参数等。 其中，文件的基本构建是块，块由块头和块体两部分组成，如图所示，块头 有8 个字节，其中前4 个字节是一个4 字符的标示字段，后4 个字节为一个无符 长整型数，记载块体的长度，紧接其后的是块体，其所含字节数就是块体长度之 值。快体积可能是基本数据组成的数组，也可能是再嵌套一个具有同样块头、块 体结构的子块。这种嵌套具有递归性质，因此可能形成多层子块结构，但不管其 嵌套结构如何，最底层子块的块体必须是由基本数据构成的数组。为方便起见， 不妨称最底层子块为数据块，而称非底层子块为构造块。构造块的块标识一律都 为”l i s t ”，故也称此种块为l i s t 块。与数据块不同的是，构造块由于使用了统一 标识“l i s t ”，为了进一步区别其属性，在块体的前部，用4 个字节来表示其类 型，其可能的取值有几种：h d r l 、s t r l 、m o v i 、r e c 、i n f o 、p r m i 。 “构造类型”只是用来区分不同的l i s t 块，故只出现在l i s t 块中，而在 数据块中则无此项，整个块体都是数据，这是读取a v i 文件，定位各种块结构 时必须小心区分的一点。 按照以上的这种划分方法，整个a v i 文件也就是一一个大的构造块。其构造 类型为”a v i ”，类似的情况还有w a v e 文件，也是以“r i f f ”为标识，不过其构 造类型为“w a v e ”。 华南理工大学硕士学位论文 图2 1a v i 文件的块结构 f i g u r e2 1c h u n ks t r u c t u r eo fa v if i l e 按各种块在文件中的层次地位的不同，可将它们分为一次块，二次块，三次 块等等。整个a v i 文件包含两个必备的一次l i s t 块。为了使用户不受顺序播放 的限制，可以随机的访问文件中的任一段声音或者任一段画面，在次块层还可 能包含一个可选的索引块，其标识为“i d x l ”。 典型的a v i 文件，其结构层次描述如下： r i f fa v i r i f f 标识，a v i 类 l i s t h d r l 第一次一次构造参数块 a v i h 0 ； a v i 头 l i s t s t r l 二次块，视频流参数 s t r h 0 ； 三次块，视频流头 s t r f 0 ； 视频流格式块 l i s t s t r l - - 次块，视频流参数 s t r h 0 ； 三次块，音频流头 s t r f o ； 音频流格式块 ) l i s t m o v i 第二个一次构造，记录块 l i s t r e c 可选的二次构造层 o l w b ( ) j | 0 0 d c ( ) | | 0 0 d x l 0 0 d b ( ) 音频或视频数据块序列 ，可选的二次构造层序列 第一2 章数字视频编解码技术 i d x l 】 可选的索引层 其中，无引号的4 字符串为块标识，也可看作是块名。有引号的4 字符串 为”l i s t ”的构造类型。莳者在文件中必定有一表示块大小的无符号长整型值紧随 其后，后者无此值。构造名下的花括号及缩进深度表示构造的层次关系，圆括号 表示底层数据，方括号表示可选项。 除了以上这些有实际意义的块之外，r i f f 文件中还有一个“废块”，标识为 “j u n k ”，届数据块格式。其作用是便于在文件中随机的增删新旧音频视频数据， 而不至于造成a v i 文件写过程中的定位困难。这一点类似于硬盘中因随机增删 文件而留下碎块的情况。由于此块无实际内容，可不予处理。但由于它可存在于 构造的任一层，因此在操作中必须准确的跳过它。 2 4 2a m l 视频的参数 一、视像参数： 1 、视窗尺寸( v i d e os i z e ) ：根据不同的应用要求，a v i 的视窗大小或分辨 率可按4 ：3 的比例或随意调整：大到全屏6 4 0 x 4 8 0 ，小到1 6 0 1 2 0 甚至更低窗 口越大，视频文件的数据量越大。 2 、帧率( f r a m e sp e rs e c o n d ) ：帧率也可以调整，而且与数据量成正比。不 同的帧率会产生不同的画面连续效果。 二、伴音参数： 在a v i 文件中，视像和伴音是分别存储的，因此可以把一段视频中的视像 与另一段视频中的伴音组合在一起。a v i 文件与w a v 文件密切相关，因为w a v 文件是a v i 文件中伴音信号的来源。伴音的基本参数也即w a v 文件格式的参数， 除此以外，a v i 文件还包括与音频有关的其他参数： 1 、视像与伴音的交织参数( i n t e r l a c ea u d i oe v e r yxf r a m e s ) a v i 格式中每x 帧交织存储的音频信号，也即伴音和视像交替的频率x 是 可调参数，x 的最小值是一帧，即每个视频帧与音频数据交织组织，这是c d r o m 上使用的默认值。交织参数越小，回放a v i 文件时读到内存中的数据流越 少，回放越容易连续。因此，如果a v i 文件的存储平台的数据传输率较大，则 交错参数可设置得高一些。当a v i 文件存储在硬盘上时，也即从硬盘上读a v i 文件进行播放时，可以使用大一些的交织频率，如几帧，甚至1 秒。 2 、同步控制( s y n c h r o n i z a t i o n ) 在a v i 文件中，视像和伴音是同步得很好的。但在m p c 中回放a v i 文件时 则有可能出现视像和伴音不同步的现象。 9 华南理_ 人学硕十学位论文 三、压缩参数； 在采集原始模拟视频时可以用不压缩的方式，这样可以获得最优秀的图像质 量。编辑后应根据应用环境环择合适的压缩参数。 2 4 3a v i 数字视频的特点 a v i 及其播放器v f w 已成为了p c 机上最常用的视频数据格式，是由于其具 有一些显著的特点。 一、提供无硬件视频回放功能：a v i 格式和v f w 软件虽然是为当前的m p c 设 计的，但它也可以不断提高以适应m p c 的发展。根据a v i 格式的参数，其视窗的 大小和帧率可以根据播放环境的硬件能力和处理速度进行调整。在低档m p c 机上 或在网络上播放时，v f w 的视窗可以很小，色彩数和帧率可以很低；而在p e n t i h m 级系统上，对于6 4 k 色、3 2 0 2 4 0 的压缩视频数据可实现每秒2 5 帧的回放速率。 这样，v f w 就可以适用于不同的硬件平台，使用户可以在普通的m p c 上进行数字 视频信息的编辑和重放，而不需要昂贵的专门硬件设备。 二、实现同步控制和实时播放：通过同步控制参数，a v i 可以通过自调整来 适应重放环境，如果m p c 的处理能力不够高，而a v i 文件的数据率又较大，在 w i n d o w s 环境下播放该a v i 文件时，播放器可以通过丢掉某些帧，调整a v i 的实际播放数据率来达到视频、音频同步的效果。 三、可以高效地播放存储在硬盘和光盘上的a v i 文件：由于a v i 数据的交 叉存储，v f w 播放a v i 数据时只需占用有限的内存空间，因为播放程序可以一 边读取硬盘或光盘上的视频数据一边播放，而无需预先把容量很大的视频数据加 载到内存中。在播放a v i 视频数据时，只需在指定的时间内访问少量的视频图 像和部分音频数据。这种方式不仅可以提高系统的工作效率，同时也可以实现迅 速地加载和快速地启动播放程序，减少播放a v i 视频数据时用户的等待时间。 四、提供了开放的a v i 数字视频文件结构：a v i 文件结构不仅解决了音频 和视频的同步问题，而且具有通用和开放的特点。它可以在任何w i n d o w s 环境 下工作，而且还具有扩展环境的功能。用户可以开发自己的a v i 视频文件，在 w i n d o w s 环境下可随时调用。 五、a v i 文件可以再编辑：a v i 一般采用帧内有损压缩，可以用一般的视频 编辑软件如a d o b ep r e m i e r e 或m e d i a s t u d i o 进行再编辑和处理。 2 4 4a v i 采用的压缩算法 h v l 通过对视频数据的压缩可以减少其在m p c 内存储和传输时的数据量，提 高视频播放的质量。与m p e g 标准不同的是，a v i 采用的压缩算法并无统一的标 第二章数字视频编解码技术 准。也就是说，同样是以a v i 为后缀的视频文件，其采用的压缩算法可能不同， 需要相应的解压缩软件才能识别和回放该a v i 文件。m i c r o s o f t 公司推出a v i 文 件格式和v f w 软件时，同时也推出了一种压缩算法，由于a v i 和v f w 的开放性， 其它的公司也相应推出了其它压缩算法，只要把该算法的驱动加到w i o d o w s 系统 中，用v f w 就可以播放用该算法压缩的a v i 文件。 2 5 本章小结 视频特效并行处理的第一步首先是对数字视频流进行解码，将视频数据流解 成视频图像序列，以便进行下一步处理。因此我们有必要对数字视频的格式进行 深入的了解。本章对当前主要的视频文件格式进行了介绍和讨论，并重点介绍了 本论文实验所采用的a v i 视频文件格式，对主要的技术参数和文件内部结构进 行了探讨。 华南理工大学硕士学位论文 第三章视频图像的压缩和网络传输 在本文的数字视频并行处理系统中，原始数字视频数据首先要经过预处理机 进行解码处理，然后将需要进行的视频特效操作生成一个指定的任务。具体方法 是将视频的每帧图像进行空间分割成子块，每个子块分配给一个并行处理机进行 处理。由于视频数据量大，故在将子块传输给并行处理机之前，首先要将子块进 行压缩编码，以求提高网络传输速度，提高并行处理的效率。此时各子块的数据 信息就包含在编码后的数据流中，视频信号预处理机根据任务分配的要求，在每 个子块数据码流之前在加上网络数据包头，该包头含有子块的地址信息和位置信 息，以保证数据传输准确无误，和保证图像数据的f 确恢复。数据流加上包头就 形成了本系统的数据报格式。此时即可将各数据分别传输给各个并行机，各个并 行机根据任务要求进行相应计算，计算完毕后各并行处理机再将数据反馈预处理 机，预处理机将各数据包重新整合，最后输出结果。 3 1 网络并行计算系统的