（计算机系统结构专业论文）多核并行计算在流媒体服务系统中的研究与应用.pdf

山东大学硕士学位论文 皇曼曼曼曼曼皇量曼曼皇曼鼍 一i i n i i i i 蔓曼曼皇皇曼舅曼曼曼皇皇曼 摘要 随着人们对流媒体技术的要求越来越高，提高视频服务系统的实 时性是有必要的，要解决这个问题，一方面是要提高网络带宽，另一 方面就是提高视频压缩速率和优化传输协议。目前，国内外很多芯片 生产厂家正在致力于多核技术的研究和发展，多核技术可以降低芯片 的频率，从而在降低了系统功耗的同时，提高芯片的运算速度。另外， 近几年并行计算技术飞速发展，并行计算通过对计算任务的合理划分， 使计算资源得到充分利用，从而高效地解决大型复杂的计算问题。本 文结合多核并行技术对m p e g - 4 视频编码过程加以改进。 首先，本文介绍了流媒体服务系统的整体架构，包括视频流的获 取、视频的编码以及视频服务器与客户端之间的传输协议等部分。本 文主要研究后两部分。之后对m p e g 视频压缩算法中的运动估计算法以 及运动补偿预测进行了分析。 然后，对m p e g 一4 标准中的压缩算法进行了深入的研究，发现压缩 算法中存在很多并行性。并行性主要体现在以下两个方面：不同视频 对象在编码器中分别单独进行处理；v o p 帧间编码时的运动估计算法。 针对第一方面，本文将不同对象分配到不同的计算资源上，并且提出 了个对视频对象的调度算法，用来保证各个视频对象在并行编码过 程中的时间同步性；针对第二方面，本文对串行的方向菱形运动估计 算法进行了改进，得到基于并行和预测的方向菱形运动估计( p p d d m e ) 算法。分别在双核平台u p o m a p 5 9 1 0 和p c 机上用多线程对算法进行了 实现和模拟，实验中采用m & d 和s t e f a n 两个帧序列，以整个帧的内容 作为一个对象平面进行模拟。实验结果证明，使用8 核的并行算法相 比串行的方向菱形运动估计算法在压缩速度上得到了接近3 倍的提高， 考虑到进程间通信等因素，效果比较明显。 最后，本文对流媒体服务系统中的传输协议进行了分析，并且选 取了r t p r t c p 应用于本系统中。在应用中，r t p 主要负责服务器端与 客户端的数据传输，而r t c p 主要负责服务器与客户端之间的控制信息 的传输。r t p 协议通过自适应算法取得传输过程中的丢包率、网络的抖 l j l 东大学硕七学位论文 ! ii 量曼曼曼曼皇曼曼皇曼曼曼皂鼍曼曼曼曼曼曼! 曼曼曼曼! 曼曼曼曼曼皇曼曼曼曼曼曼曼毫曼曼曼蔓曼曼! 曼曼曼曼! 量曼 动情况以及接收端的接收能力，其中接收端的接受能力包括接收缓冲 区中的包排序效率和接收端解码器的解码效率。本文综合这三个因素 得到一个改进的综合网络状态衡量算法，该算法既考虑了长期的网络 状况，又考虑了当前的网络状况，同时考虑了接收端的实际接收能力。 r t c p 将包含这些影响网络状态信息的包传送至服务器端，服务器据此 调整发送速率。最后本文对传输过程中各个模块的功能进行了详细的 分析。 关键字：m p e g - 4 标准；多核处理器：并行计算：运动估计：r t p r t c p 协议 i i 山东大学硕士学位论文 a b s t r a c t n o w p e o p l ea r ei nh i g hd e m a n d so fs t r e a m i n gm e d i at e c h n o l o g y ，s o h o wt oi m p r o v et h er e a l t i m ev i d e os y s t e mi st h ea l l i m p o r t a n tt a s k t h e w a yt os o l v et h i sp r o b l e m ，o i lt h eo n eh a n di st oe n h a n c en e t w o r k b a n d w i d t h ，o nt h eo t h e rh a n di st or a i s et h ec o m p r e s s i o nr a t ea n dt o o p t i m i z et h et r a n s p o r tp r o t o c o l s ，a tp r e s e n t ，m a n yc h i pm a n u f a c t u r e r sa t h o m ea n da b r o a da r ec o m m i t t e dt ot h e d e v e l o p m e n to fm u l t i c o r e t e c h n o l o g y m u l t i c o r ec h i p sc a ni n c r e a s et h ef r e q u e n c yo ft h i ss y s t e m a n dr e d u c et h ep o w e rc o n s u m p t i o na tt h es a m et i m e ，i n c r e a s et h es p e e do f c o m p u t i n g i na d d i t i o n ，p a r a l l e lc o m p u t i n gt e c h n o l o g yi sb e i n gd e v e l o p e d q u i c k l yt h e s ey e a r s p a r a l l e lc o m p u t i n gt e c h n o l o g yd i v i d e st h ec o m p u t i n g t a s k si n t op i e c e sr e a s o n a b l y ，s ot h ec o m p u t i n gr e s o u r c e sc a nb eu t i l i z e d s u f f i c i e n t l ya n dt h ec o m p l e xc o m p u t i n gt a s k sc a nb er e s o l v e de f f i c i e n t l y i no r d e rt oi m p r o v et h es p e e do fc o m p r e s s i o n ，i nc o n ju n c t i o nw i t ht h e c u r r e n tr a p i dd e v e l o p m e n to fm u l t i c o r et e c h n o l o g yf o rt h ec o m p r e s s i o n p r o c e s st ob ei m p r o v e d f i r s t ，t h i st h e s i sp r e s e n t st h ea r c h i t e c t u r eo fs t r e a m i n gm e d i as e r v i c e s y s t e m ，i n c l u d i n go b t a i n i n gt h ev i d e os t r e a m i n g ，v i d e oe n c o d i n ga n dt h e t r a n s p o r tp r o t o c o lb e t w e e nt h es e r v e ra n dc l i e n t t h i st h e s i sm a i n l y r e s e a r c h e so nt h el a s tt w op a r t s a tt h es a m et i m e ，t h i st h e s i sa n a l y s e s m p e gv i d e o c o m p r e s s i o na l g o r i t h m s a n dm o t i o n c o m p e n s a t i o n p r e d i c t i o n t h e n ，t h r o u g ht h es t u d yo n t h em p e g 一4s t a n d a r d c o m p r e s s i o n a l g o r i t h m ，w ef i n dt h a tt h e r ea r em u c hp a r a l l e li nm a n yc o m p r e s s i o n a l g o r i t h m s p a r a l l e li sm a i n l yr e f l e c t e di nt w oa s p e c t s o n ei st h es e p a r a t e c o d e do ft h ev i d e o o b je c t i nt h e e n c o d e r ，t h eo t h e ri st h em o t i o n e s t i m a t i o na l g o r i t h ma m o n gt h ev o ef o rt h ef i r s t a s p e c t ，t h i st h e s i s p r o p o s e dav i d e oo b je c ts c h e d u l ea l g o r i t h mt oe n s u r et h es y n c h r o n i z a t i o n o ft h ev i d e oo b j e c t sd u r i n gt h ep a r a l l e le n c o d ep r o c e s s ；w h i l ef o rt h e i i i 山东大学硕七学位论文 s e c o n da s p e c t ，t h i st h e s i si m p r o v e dt h es e r i a ld i r e c t i o n a ld i a m o n dm o t i o n e s t i m a t i o na l g o r i t h m ，g o tt h ed i r e c t i o n a ld i a m o n dm o t i o ne s t i m a t i o n a l g o r i t h mb a s e do np a r a l l e l i s ma n dp r e d i c t i o n ( p p d d m e ) ，t h e ns i m u l a t e d t h i sa l g o r i t h mo nt h ed o u b l e - c o r ep l a t f o r mu p - - o m a p 5 9 10a n do nt h ep c u s i n gm u l t it h r e a d s t h em & da n ds t e f a n f r a m e sa r eu s e di nt h e e x p e r i m e n t t h ew h o l ef r a m ei st a k e na s av i d e oo b je c tp l a n e t h e e x p e r i m e n t a lr e s u l t ss h o wt h a t ，a f t e rt h eu s i n go fp a r a l l e la l g o r i t h m ， c o m p r e s s i o ns p e e di sa b o u t3t i m e sf a s t e rt h a nt h es e r i a ld i r e c t i o n a l d i a m o n dm o t i o ne s t i m a t i o na l g o r i t h m c o n s i d e r i n gt h ec o m m u n i c a t i o n a m o n gt h et h r e a d s ，t h ei m p r o v e m e n ti sd i s t i n c t f i n a l l y ，t h i st h e s i sa n a l y z e st h et r a n s p o r tp r o t o c o l su s e di nt h e s t r e a m i n gm e d i as e r v i c e ，a n dt a k et h er t p r t c pa st h ep r o t o c o lo ft h i s s y s t e m i nt h ea p p l i c a t i o n ，r t pi sb e e nu s e di nt h ed a t at r a n s p o r tb e t w e e n t h es e r v e ra n dt h e c l i e n t ，w h i l er t c pi sb e e nu s e di nt h ec o n t r o l i n f o r m a t i o nt r a n s p o r t r t pg e tt h ep a c k e tl o s sr a t e ，n e t w o r kj i t t e ra n dt h e r e c e i v ea b i l i t yo ft h ec l i e n tt h r o u g ha na d a p t i v ea l g o r i t h m t h er e c e i v e a b i l i t yo ft h ec l i e n ti n c l u d e st h ep a c k e ts o r te f f i c i e n c ya n dt h ed e c o d e e f f i c i e n c y t h i st h e s i st a k e st h et h r e ef a c t o r si n t oa c c o u n t ，g e t s a n i n t e g r a t e dn e t w o r ks t a t es c a l ea l g o r i t h m t h i sa l g o r i t h mc o n s i d e r sb o t h t h el o n g t i m en e t w o r ks t a t ea n dt h ec u r r e n tn e t w o r ks t a t e ，a sw e l la st h e r e c e i v ea b i l i t yo ft h ec l i e n t t h e nr t c ps e n dt h ei n f o r m a t i o nt ot h es e r v e r t h es e r v e ra d ju s t st r a n s m i t t i n gr a t ea c c o r d i n gt ot h e s ei n f o r m a t i o n t h e t h e s i s g i v e sad e t a i l e da n a l y s i sa b o u tt h em o d u l e sf u n c t i o no ft h e p r o t o c 0 1 k e y w o r d ： m p e g - 4s t a n d a r d ；m u l t i c o r e p r o c e s s o r ；p a r a l l e l c o m p u t i n g ；m o t i o ne s t i m a t i o n ；r t p r t c pp r o t o c o l 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名： 乌堡墨整 日 期：丝z ! ：兰z 一 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 敝储虢趣丝聊虢赵 日期：掣 山东大学硕士学位论文 第一章绪论 1 1 课题研究背景及意义 随着i n t e r n e t 的普及和宽带化趋势，多媒体通信技术及数据压缩 技术的成熟，网络多媒体通信业务成为21 世纪通信的必然趋势。视频 点播、远程教学、网上娱乐、视频通信等流式媒体应用成为网络多媒 体通信的应用热点。多媒体信息包括文本、图像、声音、视频和其它 的各种新的媒体形式在网络环境中进行传输是未来发展的必然趋势， 在这种背景之下，出现了流媒体技术( 或者称为流式媒体技术) 。 以前，多媒体文件需要从服务器上下载后才能播放。由于多媒体 文件般占用内存较大，一个典型m p e g - 1 编码视频节目，1 分钟的数 据为li 3 m b ，利用5 6 k b p s 调制解调器至少需要2 7 分钟进行下载，因 而限制了人们在互联网上使用多媒体数据进行交流。流媒体不同于传 统的媒体，它的主要特征就是边下载边观看，以流的形式进行数字媒 体的传送，从而可以使人们在线欣赏到连续不断的多媒体节目。在互 联网迅速发展的时代，流媒体技术的产生和发展必然会给我们的日常 生活和工作带来深远的影响。 流媒体技术广泛的应用于网络电视，视频会议系统，视频监控系 统，工业现场控制系统等各种场合，对于这些实时性要求特别高的应 用来说，选择一个适用于低传输速率的编码方案显得尤为必要，m p e g - 4 正是基于此而提出的种国际标准。m p e g - 4 视频编码技术采用了现代 图像编码方法，利用人眼视觉特性，从轮廓一纹理的思路出发，支持 基于内容和对象的编码，支持基于内容的交互功能。m p e g - 4 视频编码 正在完成从基于像素的图像编码向基于对象和内容的现代编码的转 变，它代表了新一代智能图像编码，是当下主流图像通信机制所广泛 采用的编码标准。 多核处理器，不但解决了单核处理器功耗过大，温度过高的问题， 而且极大的提高了性价比，因而将成为一种广泛普及的计算机体系结 山东大学硕士学位论文 构。并行计算可以降低单个问题的求解时间，增加问题求解的规模，提 高问题求解精度。基于以上种种优点，将多核并行计算应用于视频传 输之中必然会大大提高视频编码速率，提高视频传输的实时性，有重 要的理论和现实意义。 多核并行计算在流媒体服务系统中的研究与应用是国家自然科学 基金重大研究计划子项目嵌入式分布系统可信性研究( n s f c ，9 0 7 1 8 0 3 2 ) 的子课题，具有非常重要的意义。 1 2 多核与并行计算发展现状 1 2 1 多核技术的发展现状 处理器自诞生以来，人们便一直致力于单核的发展，今天，单核 处理器的性能已经发展到极致。但应用对c p u 资源的需求却远远超过 c p u 的发展速度，单核也越来越难以满足要求，其局限性也日渐明显。 单核处理器的局限性主要表现在：1 、仅靠提高频率的办法，难以实现 性能的突破。当c p u 提高到4 g h z 时，几乎接近目前c p u 的工艺极限。 2 、并行化的要求提高，单一线程中已经不太可能提高更多的并行性。 主要有以下两个方面的原因：一是不断增加的芯片面积提高了生产成 本；二是设计和验证所花费的时间变得更长。3 、通过通用x 8 6 处理器 构建大规模机群遭遇到前所未有的障碍。而目前应用对集群的需要急 剧增加，特别是对集群的处理能力的需要，通过单核处理器构建1 0 万 亿或更大规模的集群基本上没有可能。4 、功耗性能比问题日渐突出。 在过去的几年里，多核处理器的发展非常迅速。i b m 、惠普公司早 在上个世纪末就提出了双核处理器概念，并推出了相应的产品。比如 i b m 的p o w e r 处理器、惠普的p a - 8 8 0 0 处理器。此后，i n t e l 和a m d 在 x 8 6 市场上掀起了“核战争 。首先是i n t e l 发布了d e m p s e y 双核处理 器，后来i n t e l 又发布了基于c o r e 微架构的w o o d c r e s t 处理器，接着 a m d 发布了第二代双核皓龙o p t e r o n 处理器，最后i n t e l 发布了四核 c 1o v e r t o w n 处理器，目前，业界6 4 核处理器也已经推出，其性能相当 2 山东大学硕士学位论文 l i ai ! 曼曼皇 于1 0 倍的双核x e o n 。除此之外，一些嵌入式的多核处理器也发布出来， 意法半导体在2 0 0 4 年开发出集成一颗单独a r m 核的n o m a d i k 处理器， 并带有两个处理语音和视频子系统。预计在2 01 2 年可推出1 2 个子系 统的产品。德州仪器相继推出d m 2 7 0 、d m 2 7 5 、d m 3 2 0 、以及o m a p 2 4 2 0 、 o f a p 5 910 等多媒体多核处理器，为便携式多媒体终端提供了较好的解 决方案。如今，同时带有d s p ，a r m ，以及f p g a 的处理器也已经有厂家 推出。 随着技术的不断发展，用户要求操作系统不但能进行并行处理，而 且还能适应不断变化的多种硬件环境和多种程序设计模型的需要，这 就产生了并行操作系统。比如，并行语言处理系统对并行操作系统就提 出了明确的要求。过去，语言处理系统生成很多关于程序的信息，这主 要是为了提高程序的执行效率。并行操作系统介入后，由于每个程序的 调度方法、数据配置各不相同，所以并行语言处理系统仅能看到由并行 操作系统提供的虚拟机的情况是很不够的。为提高执行效率，并行语言 处理系统需要了解程序占用了哪些硬件资源( 物理处理机、物理存储器 等) 。因而，并行操作系统必须向并行语言处理系统提供必要的硬件资 源分配的信息。 目前，实际运行的并行操作系统有h a c h 、c h o r u s 、t o p a z 、p s y c h e 、 t o p lo s 、s k y - 1 、o m ic r o n v 3 、i u s t a r d 等。比较有名的是m a c h 和c h o r u s 。 1 2 2 并行计算发展现状 并行计算( p a r a l l e lc o m p u t i n g ) 是指同时使用多种计算资源解决 计算问题的过程。为执行并行计算，计算资源应包括一台配有多处理 机( 并行处理) 的计算机、一个与网络相连的计算机专有编号，或者 两者结合使用。并行计算的主要目的是快速解决大型且复杂的计算问 题。此外还包括：利用非本地资源，节约成本( 使用多个“廉价计 算资源取代大型计算机) ，同时克服单个计算机上存在的存储器限制。 传统地，串行计算是指在单个计算机( 具有单个中央处理单元) 上执行软件操作。c p u 逐个使用一系列指令解决问题，但其中只有一 种指令可提供随时并及时的使用。并行计算是在串行计算的基础上演 fl 东大学硕士学位论文 变而来，它努力仿真自然世界中的事务状态：一个序列中众多同时发 生的、复杂且相关的事件。 为利用并行计算，通常计算问题表现为以下特征： ( 1 ) 将工作分离成离散部分，有助于同时解决； ( 2 ) 随时并及时地执行多个程序指令： ( 3 ) 多计算资源下解决问题的耗时要少于单个计算资源下的耗时。 并行计算是相对于串行计算来说的，所谓并行计算分为时间上的并 行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并 行则是指用多个处理器并发的执行计算。 简单的说，算法就是求解问题的方法和步骤。并行算法，就是在 并行机上用很多个处理器联合求解问题的方法和步骤。实际上，在自 然界中并行是客观存在的普遍现象，关键问题在于能不能很好的利用。 由于人们的思维能力以及思考问题的方法对并行不太习惯，且并行算 法理论不成熟，所以总是出现了需求再来研究算法，不具有导向性， 同时实现并行算法的并行程序性能较差，往往满足不了人们的需求。 并行算法的研究历史可简单归纳为：上世纪7 0 到8 0 年代，并行算法 研究处于高潮；到上世纪9 0 年代跌入低谷；目前，又处于研究的热点 阶段。现在，人们已经可以自己搭建p ccl u s t e r ，利用学习到的理论 知识来解决实际问题，不再是纸上谈兵，这也为我们提供了新的机遇 和挑战。 并行算法作为一门学科，首先研究的是并行计算模型。并行计算 模型是算法设计者与体系结构研究者之间的一个桥梁，是并行算法设 计和分析的基础。它屏蔽了并行机之间的差异，从并行机中抽取若干 个能反映计算特性的可计算或可测量的参数，并按照模型所定义的计 算行为构造成本函数，以此进行算法的复杂度分析。 并行计算模型的第一代是共享存储模型，如s i m d s m 和m i m d s m 的一些计算模型，模型参数主要是c p u 的单位计算时间，这样科学家 可以忽略一些细节，集中精力设计算法。第二代是分布存储模型。在 这个阶段，人们逐渐意识到对并行计算机性能带来影响的不仅仅是 c p u ，还有通信。因此如何把不同的通信性能抽象成模型参数，是这个 4 l j l 东大学硕士学位论文 皇皇曼曼曼孽曼曼曼皇曼曼曼曼曼! ! 曼曼曼! ! ! ! 曼曼! 曼曼曼曼皇曼! 曼曼曼量曼皇曼曼曼曼蔓曼曼皇曼曼曼曼曼量t! i 毫 阶段的研究重点。第三代是分布共享存储模型，也是我们目前研究所 处的阶段。随着网络技术的发展，通信延迟固然还有影响，但对并行 带来的影响不再像当年那样重要，注重计算系统的多层次存储特性的 影响。 并行算法研究的第二部分是并行算法的设计技术。虽然并行算法 研究还不是太成熟，但并行算法的设计依然是有章可循的，例如划分 法、分治法、平衡树法、倍增法指针跳跃法、流水线法、破对称法等 都是常用的设计并行算法的方法。另外人们还可以根据问题的特性来 选择适合的设计方法。 以上是并行算法的常规研究内容。随着时代的进步，我们需要不 断调整研究方向。目前并行算法研究的新走向是：并行算法研究内容 不断拓宽，并行计算被纳入研究范畴；与广大用户领域结合，注重应 用，强调走到用户中去，为用户解决问题；重视新的、非常规计算模 式，如神经计算、量子计算等，这些模式能够解决某类特定问题，有 其自身的优越性。 1 3 流媒体技术发展现状 1 3 1 视频压缩技术发展现状 压缩机制通常可以分为有损压缩和无损压缩两种，无损压缩通常被 用于文本文件的压缩中，其中没有信息丢失的数据的精确重建是让人 们关心的问题。对于有损压缩，允许压缩后产生质量上的误差。 m p e g ( m o v i n gp ic t u r ee x p e r t sg r o u p ) 运动专家小组，在国际标 准化组织i s o i e c 的领导下，经过近十年卓有成效的工作，为多媒体 计算机系统、运动图像压缩编码技术的标准化和实用化，做出了巨大 的贡献，制定并发布了一系列m p e g - x 的音、视频数据压缩标准。 目前，m p e g l 和m p e g 一2 都已作为正式的国际标准，并且备受广大 多媒体软件开发和硬件厂商的重视。支持m p e g 标准的软硬件产品纷纷 问世，市场竞争非常激烈。1 9 9 8 年又正式推出m p e g 一4 标准。此标准主 要应用于视频电话( v id e op h o n e ) 、视频电子邮件( v i d e oe - m a il ) 和电 山东大学硕士学位论文 子新闻( e l e c t r o n i cn e w s ) 等。m p e g 一4 利用很窄的带宽，通过帧重建技 术压缩和传输数据，使得能够以最小的数据获得最佳的图像质量。 继m p e g - 4 之后，要解决的问题就是对日渐庞大的图像和声音信息 的管理和迅速搜索。1 9 9 8 年10 月基于这种设想的m p e g 一7 标准被提出， 它的正式名称是“多媒体内容描述接口 ，它将对各种不同类型的多媒 体信息进行标准化的描述，并将该描述与所叙述的内容相联系，以实 现快速有效地搜索。m p e g - 7 的应用范围很广泛，既可应用于存储( 在线 或离线) ，也可用于流式应用( 如广播、将模型加入i n t e r n e t 等) 。它 还可以在实时或非实时环境下应用，如数字图书馆( 图像目录、音乐字 典等) 、多媒体名录服务( 如黄页) 、广播媒体选择( 无线电信道、t v 信 道等) 等。在未来它将会在教育、新闻、导游信息、娱乐等各方面发挥 巨大的作用。 1 3 2 流媒体实时传输协议现状 目前，多媒体和网络领域的相应国际标准和协议充分考虑了流媒 体的应用。在网络领域，i n t e r n e t 专家任务组i e t f ( i n t e r n e te x p e r t t a s kf o r c e ) 制定了实时传输协议实时传输控制协议 r t p r t c p ( r e a l - t i m e t r a n s f e r p r o t o c o l r e a l - t i m e t r a n s f e r c o n t r o lp r o t o c 0 1 ) 协议族。该协议族是流媒体的应用层协议，早在 1 9 9 6 年就成为i n t e r n e t 的国际标准。针对具体应用，i e t f 还制定了 r t p 与特定媒体相结合的标准( r f c ) ，如h 2 6 3o v e rr t p ，i n t e r l e a v e d m e d i ao v e rr t p ，g e n e r a la u di oo v e rr t p ，f e co v e rr t p 等。m p e go v e r r t p 的标准为r f c 2 2 5 0 ，该协议在r t p 对m p e g 的封装过程中，将m p e g 码流特征信息如时间戳、编码层次结构等拷贝到r t p 包头中，对m p e g 视频的解析和封装直达片层( s l i c e ) ，从而使r t p 分组有很强的q o s 保 障，传输终端可通过r t p 包头分析传输中的差错( 丢失率、乱序、延迟 和抖动) ，再通过一定的缓冲和补偿算法，修复相当程度的网络差错。 随着r t p 协议族的成功应用，最新制定的多媒体标准也开始考虑同r t p 协议的结合，m p e g 一4 标准中就涉及了r t p 封装和传输，同时i e t f 也 制定了针对m p e g 一4 的r t p 封装协议。除了r t p 协议以外，还有很多 【j l 东大学硕士学位论文 其他支持多媒体的传输和控制协议，如r s v p ( 资源预留协议) 、r t s p ( 实 时流化协议) 等。 1 4 论文的组织安排 第一章对多核技术和并行计算的发展现状进行了介绍，并总结了流媒 体技术的发展现状。第二章提出了流媒体服务系统的总体架构，并且 详细分析了m p e g 编码技术。第三章对m p g e - 4 对象层上的压缩编码的并 行性进行了分析，为保证并行编码过程中对象间的同步性，提出了一 种实时调度对象的算法。第四章对m p e g - 4 中的运动估计算法做了分析， 并提出了基于并行和预测的方向菱形运动估计算法。第五章分析了流 媒体服务中的传输协议，对r t p r t c p 协议自适应算法做了改进，使之 全面考虑了当前网络状况、长期网络状况以及接收端接收能力。第六 章总结了前面章节所做工作，并且对以后的工作进行了展望。 i i j 东大学硕士学位论文 皇曼曼曼曼皇鼍皇置曼曼曼曼曼曼曼皇皇i 一, m 曼曼皇曼毫曼曼曼曼曼曼曼曼曼皇曼曼曼曼曼曼曼曼曼曼皇皂曼曼鼍量曼曼蔓曼曼曼曼曼皇曼寡 第二章流媒体服务系统整体架构 所谓流媒体是指采用流式传输的方式在i n t e r n e t 播放的媒体格 式。流媒体又叫流式媒体，它是指商家用一个视频传送服务器把节目 当成数据包发出，传送到网络上。用户通过解压设备对这些数据进行 解压后，节目就会像发送前那样显示出来。这个过程的一系列相关的 包称为“流”。流媒体实际指的是一种新的媒体传送方式，而非一种 新的媒体。流技术的特点是一边下载边播放。 2 1 流媒体服务系统架构 m p e g 视频算法基于运动补偿离散余弦变换算法。这些算法在2 0 世纪8 0 、9 0 年代为专有的和标准的视频压缩技术而开发。采用基本块 结构，适用于不同信号。这些基本块是m p e g 视频算法取得高效压缩的 主要部分，但是其中还采用了许多特殊的技术增加效率和扩展性。m p e g 视频编码器的编码流程如图2 1 所示。 图2 一lm p e g 视频编码流程 图2 1 是传统的m p e g 编码的流程，在这个过程中，运动估计部分 是整系统的瓶径，如果我们能够利用目前的多核技术，对其加以改进， 山东大学硕士学位论文 那么整个系统的效率将会得到很大的提升。图2 - 2 是流媒体服务系统 的整体架构图。 图2 - 2 流媒体服务系统总体架构 如图2 2 所示，本文主要描述流媒体服务系统的两大部分：1 ) 视 频数据流压缩部分，2 ) 服务器与客户端之间的传输协议。我们在对数 据流根据m p e g - 4 标准进行压缩的同时，对其中用到的关键算法进行了 改进，使之成为适用于目前流行的多核硬件平台的多核并行算法。从 而提高整个系统的效率。 2 2m p e g 编解码技术 m p e g 标准主要有以下五个：m p e g - 1 、m p e g - 2 、m p e g - 4 、m p e g - 7 及 m p e g 一21 等。m p e g 专家组建于1 9 8 8 年，专门负责为c d 建立视频和音频 标准，成员都是为视频、音频及系统领域的技术专家。此后，他们成 功将声音和影像的记录脱离了传统的模拟方式，建立了i s o i e c l1 7 2 压缩编码标准，并制定出m p e g 格式，令视听传播进入了数码化时代。 因此，大家现时泛指的m p e g - x 版本，就是由 i s 0 ( i n t e r n a t i o n a l o r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 所制定和发布的视频、音频、数 据的压缩标准。 m p e g 标准的视频压缩编码技术主要利用了具有运动补偿的帧间压 缩编码技术以减小时间冗余度，利用d c t 技术以减小图像的空间冗余 度，利用熵编码则在信息表示方面减小了统计冗余度。这几种技术的 综合运用，大大增强了压缩性能。 m p e g 一4 在1 9 9 5 年7 月开始研究，1 9 9 8 年1 1 月被i s o i e c 批准为 9 山东大学硕士学位论文 正式标准，正式标准编号是i s 0 i e c l4 4 9 6 ，它不仅针对一定比特率下 的视频、音频编码，更加注重多媒体系统的交互性和灵活性。这个标 准主要应用于视像电话、视像电子邮件等，对传输速率要求较低，在 4 8 0 0 6 4 0 0 b i t s s 之间，分辨率为1 7 6 1 4 4 。m p e g 一4 利用很窄的带宽， 通过帧重建技术、数据压缩，以求用最少的数据获得最佳的图像质量。 利用m p e g - 4 的高压缩率和高的图像还原质量可以把d v d 里面的m p e g 一2 视频文件转换为体积更小的视频文件。经过这样处理，图像的质量下 降不大，但体积却可缩小几倍，可以很方便地用c d r o m 来保存d v d 上 面的节目。另外，i d p e g - 4 在家庭摄影录像、网络实时影像播放方面也 大有用武之地。 2 2 1n p e g 视频压缩算法 m p e g 视频压缩技术1 1 - 3 1 是针对运动图像的数据压缩技术。为了提 高压缩比，帧内图像数据压缩和帧间图像数据压缩技术必须同时使用。 数据的压缩充分利用了时间和空间上的冗余信息。由表2 1 可以看出， 运动图像本身在时间上和空间上都含有许多冗余信息，图像自身的构 造也有冗余性。对电视图像的压缩，m p e g 主要采用了以下的一些算法。 1 帧内压缩算法 采用与j p e g 压缩算法大致相同的算法 4 - 7 1 ，即基于d c t 的变换编 码技术，用以减少空间冗余信息。 2 帧间压缩算法 帧间压缩算法包括预测法、差补法和运动补偿算法，其中预测法 分为因果预测器( 纯粹的预测编码) 和非因果预测器( 即差补编码) 。预测 误差可以再通过d c t 变换编码处理，进一步压缩。帧间编码技术可以 减少时间轴方向的冗余信息。运动补偿压缩和编码删除了一些即使缺 少了它们也不会显著破坏大脑和眼睛对图像感知的帧。 1 0 l l i 东大学硕士学位论文 表2 一l 视频压缩利用的冗余信息 种类 内容目前用的主要方 法 统空间冗余像素间的相关性变换编码，预测编码 计 时间冗余时间方向上的相关性帧间预测，移动补偿 特 性 图像构造冗余图像本身的构造轮廓编码，区域分割 知识冗余收发两端对人物基于知识的编码 的共有认识 视觉冗余人的视觉特性基于知识的编码 其他不确定性因素 2 2 2m p e g 宏块 i 篙竺竺一 口口口口口口口口口口口 图片 块 图2 - 3m p e g 数据流结构 对数字化采样后的图像序列，进行m p e g 编码处理时，要经过如图 2 - 3 所示的数据结构的转换。 ( 1 ) 运动图像序列 山东大学硕士学位论文 运动序列包括个表头、一组或多组图像序列结束标志码。 ( 2 ) 图像组 图片组由一系列的图像组成，可以从运动序列中随机存取。 ( 3 ) 帧 m p e g 一1 将视频表示为一系列的帧。每帧有3 个表示像素的矩形矩 阵。一个为亮度( y ，黑和白) ，另两个为色度( c r 和c b ，颜色的差异) ， 亮度和色度定义从c c i r 一6 0l 标准中来，该标准是表示未压缩视频的国 际标准。 m p e g 一1 的色度矩阵由两个与亮度矩阵关联的垂直与水平的分量进 行采样。其采样关系如图2 4 所示。 口口 y 口口 口口 口口 口口口口口亮度 色度 口口口口口 口口口口 口 口口口口口 图2 4m p e g 一1 色度与亮度采样关系 ( 4 ) 图像切片 图像切片由一个或多个连续的宏块构成。 ( 5 ) 宏块 每个图片帧都被分成1 6x16 的块，每个块由4 个8x 8 ( y ) 亮度块和 2 个8 8 ( c b 和c r ) 色度块组成。这一组6 个块称为宏块，是用于获得 高水平压缩的基本分层部件，如图2 - 5 所示。 ( 6 ) 块 yuv 12 34 田田 8 88 x 8 图2 5 宏块的组成 【f f 东大学硕士学位论文 曼皇曼曼曼曼曼曼曼曼曼皇曼皇曼量曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼! 曼曼i ii i ii i i i i i 曼曼皇曼曼曼曼曼曼皇璺曼曼皇! 皇曼 一个块由一个8x8 的亮度信息或色度信息组成。 2 2 3u p e g 运动补偿预测 1 运动补偿的概念 运动补偿( m o t i o nc o m p e n s a t i o n ) 实际上是在对活动图像进行压缩 时所使用的一种帧间编码技术。所谓“活动图像”实际上是一系列静 止图像的连续排列，当它们以不小于2 4 f p s s 的速率连续显示时，由 于人眼的视觉有暂留特性，会使人产生了连续活动的感觉，因此一般 情况下，相邻帧间的内容实际上没有太大的变化( 场景切换除外) ，有很 大一部分甚至是完全一样的，所以相邻帧间有较大的相关性，这种相 关性称为时域相关性。运动补偿的目的正是要将这种时域相关性尽可 能去除。 2 运动补偿的基本原理 运动补偿的基本原理简述如下，当编码器对图像序列中的第n 帧进 行处理时，利用运动补偿中的核心技术一运动估计m e ( m o t i o n e s t i m a ti o n ) ，得到第n 帧的预测帧n 。在实际编码传输时，并不总是 传输第n 帧，而是第n 帧和其预测帧n 的差值。如果运动估计十分 有效，中的概率基本上分布在零的附近，从而导致比原始图像第n 帧的能量小得多，从而传输所需的比特数也就少得多，这就是运动 补偿技术能够去除信源中时间冗余度的本质所在。 运动补偿预测技术通常由以下几方面组成： 首先把图像分割为静止和运动的两部分，这里假设运动物体仅 做平移。 估计物体的位移值。 用位移估值进行运动补偿预测。 预测信息编码。 图像分割是运动补偿预测的基础，但实际上要把图像分割成不同 运动的物体比较困难，通常采用两种较简单的方法，一种把图像分为 矩形子块，适当选择块的大小，把子块分为动和不动两种，估计出运 动子块的位移，进行预测，如在m p e g 中，就是基于1 6 x1 6 子块的算法， l 【i 东大学硕士学位论文 将每个子块作为一个二维的运动矢量进行处理：另一种方法是对每个 像素的位移都进行递归估计，因此，在对图像的分割作了必要的简化 后，对运动子块的估计或者说运动估值m e ，因此，在对图像的分割做 了必要的简化后，对运动子块的估计或者说运动估值m e ，就成为必须 解决的关键技术。得到了运动物体的位移估值后，即可送入m c 预测器 和一切预测编码一样，输入到预测器的数据都要