（信号与信息处理专业论文）基于h264流视频解码的实时动态能量管理功能的研究.pdf

上海大学硕士学位论文 摘要 随着无线通信技术的飞速发展，多媒体移动终端的应用越来越普遍。为了 延长电池的使用时间，低功耗硬件电路的设计方法得到了广泛应用。在此基础 上，进一步提出“动态能量管理d p m ( d y n a m i cp o w e rm a n a g e m e n t ) 的思想， 动态电源管理旨在根据当前应用的需要调节处理器的电压和频率，以满足便携 式系统所特有的对低功耗的要求。本文在移动l i n u x 平台上，构建一个多线程 h 2 6 4 视频传输平台，在此基础上提出一种动态时间预测方法进行实时能量控 制，在保证视频播放速度的条件下，实时地调节c p u 的工作频率，减少移动设 备的能耗。实验证明，该方法能有效节省能量，从而实现延长电池使用时间的 目的。 本文对基于h 2 6 4 a v c 的视频实时传输动态能量管理系统及其相关算法进 行了研究，主要贡献如下： 第一、提出动态时间预测方法：根据每解码n 帧的时间来预测整个运行过 程所需的时间，并将预测值与期望值作比较，在保证视频显示质量的条件下， 根据解码预测时间实时地切换c p u 工作频率和电压，尽可能的减少能耗，从而 实现延长移动设备电池使用时间的目的。 第二、采用多线程的编程技术，通过条件变量和互斥锁实现线程间的同 步，实现接收、解码及显示模块的并行运行，使实验平台接近实际运行环境 第三、h 2 6 4 视频的r t p 网络封装：采用单一n a l u 封装和分割分组封装 两种方法，实现h 2 6 4 码流的网络传输。鉴于参数集的重要性，针对参数集采 用重发保护机制，确保客户端正确接收及解码。 研究成果：实现了在移动l i n u x 平台上，构建了一个多线程h 2 6 4 视频传 输平台，在此基础上提出了一种动态时间预测方法进行实时能量控制，在保证 视频播放速度的条件下，实时地调节c p u 的工作频率，减少移动设备的能耗。 关键词：多线程，视频传输，动态能量控制 v 上海大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fw i r e l e s sc o m m u n i c a t i o na tv e r yf a s ts p e e d ，t h e a p p l i a n c eo fm u l t i p l em o v e m e n te q u i p m e n tb e c o m e sm o r ea n dm o r er i f e n e s s i n o r d e rt op r o l o n gt h eu s i n gt i m eo fb a t t e r i e s ，t h eh a r d w a r ec i r c u i tw i ml o wp o w e r c o n s u m ei sw i d e l yu s e d b a s eo ni t ，t h ei d e ao f d y n a m i cp o w e rm a n a g e m e n t i s a d v a n c e d d y n a m i cp o w e rm a n a g e m e n ti su s e dt oc h a n g et h ev o l t a g ea n df r e q u e n c y o fc p u ，s ot h a ti tm a ys a t i s f yt h es p e c i a ln e e do fl a pc o m p u t e r i nt h i sp a p e rw e b u i l dap l a t f o r mo fm u l t i t h r e a d i n gh 2 6 4v i d e ot r a n s m i s s i o no nl i n u x ，a n da d v a n c ea d y n a m i ct i m ee s t i m a t em e t h o dt or e a l i z ep o w e rm a n a g e m e n t w h i l ek e e p i n gt h e s p e e do fv i d e op l a y i n g ，w ec h a n g et h ef r e q u e n c yo fc p u a tr e a lt i m e ，s oa st or e d u c e t h ep o w e rc o n s u m p t i o no fm o v i n ge q u i p m e n t t h er e s u l tp r o v e st h a tt h i sm e t h o d m a ys a v ep o w e ra v a i l a b i l i t y , a n dr e a l i z et h ei n t e n t i o no fe x t e n d i n gt h eu s i n gt i m eo f b a t t e r i e s t h i sd i s s e r t a t i o nf o c u s e so nt h er e s e a r c ho ft h ep o w e rm a n a g e m e n to fr e a l t i m e t r a n s m i s s i o ns y s t e mo nt h eb a s i so fh 2 6 4 a v ca n dr e l a t e da l g o r i t h m t h em a i n c o n t r i b u t i o n sh a v eb e e nd i s c u s s e da sf o l l o w s ： f i r s t l ya d v a n c e dt h ed y n a m i ct i m ee s t i m a t em e t h o d b a s e do nt h et i m eo f d e c o d i n gnf r a m e s ，w ec a ne s t i m a t et h et i m eo ft h ew h o l ep r o g r a m m e c o m p a r i n g t h ee s t i m a t i o na n dt h ee x p e c t a t i o n ，k e e p i n gt h es p e e do fv i d e op l a y i n g , w ec h a n g e t h ef r e q u e n c yo fc p ua tr e a lt i m e ，s oa st or e d u c et h ep o w e rc o n s u m p t i o no fm o v i n g e q u i p m e n t s e c o n d l y , c o m b i n a t i o no ft r a n s m i s s i o n ，d e c o d e a n dp l a y w er e a l i z et h e p r o g r a m m ew i t hm u l t i t h r e a d i n ga n du s ec o n d i t i o n a lv a r i a b l ea n dm u t e xl o c kt o s y n c h r o n i z et h er u l e s i tr e a l i z e st h em o d u l e so ft r a n s m i s s i o n ，d e c o d i n ga n dd i s p l a y r u n n i n gt o g e t h e r , s ot h a ti ti sc l o s et ot h ef a c t t h i r d l y , p a c kt h eh 2 6 4s t r e a m i n gw i t hr t pp a c k e t s w ea d o p tt w ok i n d so f v i 上海大学硕士学位论文 p a c k e t ，s i n g l en a l up a c k e ta n df i a g m e n tp a c k e t s ，i no r d e ro ft h et r a n s m i s s i o no f h 2 6 4v i d e o i nv i e wo ft h es i g n i f i c a n c eo fp s ( p a r a m e t e rs e t ) ，w ep r o p o s et h e r e s e n d i n gm e c h a n i s mt op r o t e c tt h ep s ，a n de n s u r et h ec l i e n t sr e c e i v ec o r r e c t l ya n d d e c o d es u c c e s s f u l l y t h ec h i e fr e s u l to fr e s e a r c h ：i tr e a l i z e saf l a to fm u l t i t h r e a d i n gh 2 6 4v i d e o t r a n s m i s s i o no nl i n u x ，a n da d v a n c ead y n a m i ct i m ee s t i m a t em e t h o dt or e a l i z e p o w e rm a n a g e m e n t w h i l ek e e p i n gt h es p e e do fv i d e op l a y i n g ，w ec h a n g et h e f r e q u e n c yo fc p u a tr e a lt i m e ，s oa st or e d u c et h ep o w e rc o n s u m p t i o no fm o v i n g e q u i p m e n t k e y w o r d s ：m u l t i t h r e a d i n g ，v i d e ot r a n s m i s s i o n ，d y n a m i cp o w e rm a n a g e m e n t v i i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：骂p 址e l 期：世 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：牟虬导师签名：匆岳牲一日期： 1 - 、u 上海火学硕士学位论文 1 1 课题来源 第一章绪论 本课题来源于自然科学基金项目“适于无线通信的基于最小传输能量的可伸缩 性视频编码”( 项目编号：6 0 3 7 2 0 9 1 ) 的后继研究工作。 1 2 课题研究的目的和意义 随着系统集成技术和无线通信技术的快速发展，嵌入式系统的应用日趋网 络化。尤其是无线通信系统中，人们对嵌入式设备提出了更高的要求：除了提 供基本的语音、数据通信等基本功能外，还需要整合复杂的多媒体应用【l 】。这 就要求嵌入式系统在满足必要的实时性前提下，提供更高的计算性能和大容量 的存储空间；而这些系统一般都带有电池部件并通过它向整个系统供电。满足 高性能要求的代价是更大的能量消耗，这就必然缩短电池的供电时间。大量研 究证明，系统处于空闲的时间占整个运行时间的相当大一部分。能量管理就是 为了减少系统在空闲时间的能量消耗，使嵌入式系统的有效能量供给率最大化， 从而延长电池的供电时间。 为了延长电池的使用时间，在硬件领域，低功耗硬件电路的设计方法得到 了广泛应用。然而仅仅利用低功耗硬件电路仍旧不够，因此在系统设计技术中， 提出了“动态能量管理d p m ( d y n a m i cp o w e rm a n a g e m e n t ) ”的概斜2 h 1 1 1 。传统 的计算机系统能量管理主要集中在静态模式下调节能耗，例如睡眠或脱机【2 】。 他们脱离运动状态，通常需要用户重新激活系统，并且进入和退出这些状态会 产生较大的延时。在d p m 中，普通的方法是关闭系统中目前不使用的组件或 者让其进入低功耗模式( 待机模式) ，另外一种更加有效的方法就是动态电压调 整d v s 和动态频率调整d f s 1 1 。通过在运行的时候动态地调节c p u 频率或者 电压，可以在满足瞬时性能的前提下，使得有效能量供给率最大化，并且不影 响程序的正常运行。 硬件上提供的低功耗机制，需要由软件实现来发挥它的效能。理想的条件 上海大学硕士学位论文 下，是希望在系统中以“功率监控( p o w e r a w a r e ) 的方法，管理不同的系统资 源( 硬件和软件上的资源) ，这样才能满足嵌入式系统高性能和低功耗的要求。 必然地，实时嵌入式操作系统就成了唯一理想的来实现软件上的d p m 。这是因 为：实时嵌入式操作系统可以决策不同应用任务的运行，可以收集任务相关 的实时限制信息和性能需求信息；实时嵌入式操作系统可以直接控制底层的 硬件，利用硬件提供的d p m 技术或者机n t l l 。 1 3 研究背景及现状 1 3 1h 2 6 4 编解码技术 目前最新的h 2 6 4 a v c 编码标准【1 2 】【1 3 1 不仅提供更高效率的编码机制，也在 致力于满足实际网络应用的需要，包括参数设定、n a l 单元语法结构等h 2 6 4 有较好的抗差错能力，编码效率高，但是由于算法复杂，计算量比较大，需要 进行相应的优化工作。 1 3 2 视频能量有效性方面的理论研究 目前已有许多对于视频能量有效性方面的理论研究。例如，y e i s e n b e r g 等 【l6 】提出利用已知的错误掩盖策略以及传输能量与分组丢失率的关系，同时调整 信源编码参数以及每个分组的传输能量；在【1 7 】中，c e l u n a 等将信源编码与传 输速率的自适应加以统筹考虑，在满足失真与延迟的限制条件下，调整每个分 组的传输速率与信源编码参数，使整个传输能量达到最小；在【1 8 】中，作者提出 一种基于无线信道时隙调整的f g s 视频流的能量有效传输方法，在满足失真与 延迟以及基层优先的约束条件下，通过调整f g s 层数、基层延迟以及数据传输 的时隙位置使f g s 的基层和增强层的总的传输能量达到最小；另外，p a u lj m h a v i n g a 等【3 4 】提出两种不同的检索方式a r q 、f e c ，确定哪个纠错方式可以在 无线环境中获得最严格的q o s ，使能耗最小；而在【3 5 】中，提出了一个运动预测 算法，通过减小通信距离来介绍能量消耗。在【3 6 】中，引入一个q o s 排序表，可 以分配无线信道的带宽，从而使移动设备消耗的能量数最小，而保证线路的服 2 上海大学硕士学位论文 务质量。上述理论研究存在一个共同的特点是研究主要集中在解码器或接收器 的某一模块，有一定的局限性，因此，本文尝试在一个覆盖从接收、解码到显 示的基于l i n u x 的实验平台做相应的研究工作。 1 3 3 研究平台 首先介绍以下两点研究背景： 1 3 3 1i n t e lp e n t i u mm p r o c e s s o r i n t e l 奔腾m 处理器的特色是增强i n t e ls p e e d s t e p 技术t 1 9 1 。与以前的i n t e l s p e e d s t e p 技术不同，这一新技术可以使处理器在多个频率和电压点中进行切 换，而不只是局限于两个点。这给优化能量节省提供了较高性能。下面是增强 i n t e ls p e e d s t e p 技术的主要特点【2 0 】： ( 1 ) 提供多种电压频率操作点以实现最低能量情况下性能优化。 ( 2 ) 通过写入处理器m s r ( 寄存器) 来实现对电压频率的软件控制，而不 依靠芯片来实现。 a ) 如果目标频率高于当前频率，v c c 跳变通过在v i d 引脚上配置一 个新的值，并且p l l 将锁定新的频率值。 b ) 如果目标频率低于当前频率，p l l 将锁定新的频率，v c c 通过v i d 引脚结构来改变。 c ) 软件切换可以在任何时刻被接受。如果已有一个传输过程在进行 中，那么新的传输过程将等到前一过程结束再执行。 ( 3 ) 处理器在内部控制电压跳变率以保证无故障切换。 ( 4 ) 每秒可能产生较低切换反应时间和较大数据量的切换。 a ) 处理器内核难以支持超过l o u s 在频率切换过程中。 b ) 总线协议是用来阻碍探测。 与以前的一代i n t e ls p e e d s t e p 技术的两个不同点【2 1 】： ( 1 ) 用寄存器( m s r ) 集中控制处理器的结构和软件借口。 ( 2 ) 减少硬件过载。这一点允许更多频率性能状态间的切换。 上海大学硕士学位论文 表1 1 电压和频率特征 s y m b o l p ar a m e t e rm 帆 t y p m a xu n i tn o t e s f n t e ip e n b u mmp r o c e s s o r17 0 g h zc o r ev r rf o re n h a n c e di n t e l s p e e d s t e pt e c h n o l o g yo p e m f i n g p o i n t s ： v c c l ? 1 7 0 g h z 1 4 8 4 1 4 0 g h z1 3 0 8 v1 2 1 2 0 g h z 1 2 2 8 10 0g h z1 1 1 6 8 0 0 m h 21 0 0 4 6 0 0 m h 20 9 5 6 i n t e ip e n t i u mmp r o c e s s o r1 6 0 g h zc o r ev p rf o re n h a n c e di n t e i s p e e d s t e pt e c h n o ( o g yo p e 绝t i n g p o i n t s ： v c c i s 1 g h z 1 4 8 4 1 4 0 g h z 1 4 2 0 v1 2 1 2 0 g h 2 1 2 7 6 1 0 0 g h z 1 1 6 4 b 0 0 m h z 1 0 3 6 6 0 0m h z 0 9 5 6 i n t e lp e n t i u mm p r o c e s s o r15 0 g h zc o r ev r f o re n h a n c e di n t e i s p e e d s t e pt e c h n o l o g yo p e m f i n g p o i n t s ： v c c l 5 15 0g h z1 4 8 4 14 0g h zi 4 5 2v1 2 1 2 0 g h z1 3 5 6 1 0 0 g h z1 2 2 8 8 0 0m h z1 ”6 6 0 0 m h z09 5 6 i n t e ip e n t i u mm p r o c e s s o r14 0 g h zc o r ev p 产f o re n h a n c e di r i t e i s p e e d s t e pt e c h n o t o g yo p e r a t i n g p o i n t s ： v c c 1 4 1 4 0 g h z1 4 8 4 v1 。2 1 2 0 g h z1 4 3 8 10 0g h z1 3 0 8 8 0 0m h z1 1 8 0 6 0 0m h z0 9 5 6 表1 1 中列出了i n t c l 奔腾m 处理器的频率、电压等参数。其中h f m ( 最 高频率) 和l f m ( 最低频率) 分别微处理器支持的最高和最低的内核操作频率。 v c c ，b o o t 是为了设置v i d 值提升能量所达到的电压值。除了特殊情况，所有的 i n t e l 奔腾m 处理器运行在1 0 0 。c 。 1 3 3 2l i n u x 操作平台 l i n u x 是一种开放源代码的操作系统，其自1 9 9 1 年以自由和开放源代码的 形式问世以来，不管是从功能上，还是从流传的广度上，都得到了稳步的增长， 4 上海大学硕士学位论文 这对集中规划和控制的产权操作系统是一个挑战，在历史上还没有其他的操作 系统像l i n u x 这样如此快速而广泛的成长，它的广泛使用，很自然的改变了应 用开发和应用部署经济的性质。 作为一个操作系统，l i n u x 业已成为u n i x 家族中发展最快的一员，目前因 特网( i n t e r n e t ) 上运行的服务器有相当一部分采用的就是l i n u x 操作系统。中 国已把l i n u x 操作系统作为政府上网年的指定网络操作系统。种种迹象表明 l i n u x 正在走向成熟，至今已经得到了前所未有的发展和广泛应用。 l i n u x 的主要特点： 开源性 l i n u x 的一个重要的特点就是其源代码的公开性，所有的内核源程序都 可以在u s r s r c l i n u x 下找到，大部分应用软件也都是遵循g p l 而设计的， 你都可以获取相应的源程序代码。全世界任何一个软件工程师都可以将自 己认为优秀的代码加入到其中，由此引发的一个明显的好处就是l i n u x 修 补漏洞的快速以及对最新软件技术的利用。 多任务 所谓的多任务，就是指l i n u x 的k e m e l 具有分时工作的能力。在一个 分时操作系统中，计算机系统的资料会被平均的分配给系统内所有的工作。 可扩展性 标准的l i n u x 实用程序有着大量的功能，开发人员可以通过修改源代 码来进行功能的扩展。l i n u x 可以在广泛的硬件平台上运行且有类似的接 口，用户可以把应用程序从一个l i n u x 系统很方便的移植到另外一个l i n u x 系统。 可维护性 由于l i n u x 的用户界面与各个商业版本的u n i x 非常相近，几乎所有 的i t 技术人员都对其操作界面有相当的了解。此外，由于l i n u x 可以在各 种硬件平台上运行，熟悉l i n u x 的技术人员可以很容易地管理多种硬件平 台上的应用。目前很多版本的l i n u x 比如红旗l i n u x 的用户界面都在模仿 w i n d o w 进行开发，因此可以方便非i t 技术人员实用。 上海大学硕士学位论文 1 3 4 现有主要技术分析 目前关于d p m 的研究主要集中在嵌入式系统，下面简单介绍一下已有的研 究成果。 在6 1 中介绍了基于模式切换的调频d p m 的设计方法。通过在i n t e l d b p x a 2 5 0 开发板上构造嵌入式l i n u x 系统，并在系统内核中加入基于模式切换 的调频d p m 模块，可以实现嵌入式系统的动态电源管理功能。其结果如下： j a nl0 0 ：0 7 ：16l u b b o c k s y s l o g i n f os y s l o g ds t a r t e d ：b u s y - b o xv 0 6 0 1 j a n10 0 ：0 7 - 2 7l u b b o c ka u t h i i l f 0l o g i n - r o o tl o g i no n t t y l j a nl0 0 ：0 7 ：5 2l u b b o c kd a e m o n w a r nk l o g d ：1 9 9 0 7 m h zt 0 3 9 8 1 5 m h z j a n10 0 ：0 8 ：5 4l u b b o c kd a e m o n w a r nk l o g d ：3 9 8 1 5 m h zt 0 1 9 9 0 7 m h z j a n10 0 ：0 8 - 5 5l u b b o c kd a e m o n w a r nk l o g d ：1 9 9 0 7 m h zt 0 3 9 8 1 5 m h z j a n1o o ：0 8 5 8l u b b o c kd a e m o n w a r nk l o g d ：3 9 8 1 5 m h zt 0 1 9 9 0 7 m h z j a n10 0 ：0 8 5 9l u b b o c kd a e m o n w a r nk l o g d 1 9 9 0 7 m h zt 0 3 9 8 1 5 m h z j a n10 0 - 0 9 - 0 0l u b b o c kd a e m o n w a l t ik l o g d 3 9 8 1 5 m h zt 0 1 9 9 0 7 m h z 结果表明，当系统的负载增加时，可以将c p u 切换到高频模式，从而提高c p u 的工作频率，缩短用户的响应时间；当系统负载减少时，则将c p u 切换到低频模 式，降低c p u 的工作频率，从而减少系统的功耗，延长电池的使用时间，因此基 于模式切换的调频d p m 可以在缩短用户响应时间和延长电池使用时间之间取得 最佳平衡。 在【1 1 中提出了基于o m a p l 6 1 2 倾u 重于d v s 和d f s 的多策略电源管理方案，如 表1 2 所示。 6 上海大学硕士学位论文 表1 - 2 侧重d v s 和d f s 的多策略电源管理 睡眠空闲任务任务任务+ o o2 6 0 *3 9 3 95 2 5 26 5 6 5 l o wp o w e r 1 1 v 1 1 v 1 1 v 1 1 v 1 1 v 2 6 03 9 05 2 5 26 5 6 51 3 0 1 3 0 m e d i u mp o w e r 1 1 v 1 1 v 1 1 v 1 1 v 1 5 v 3 9 06 5 01 3 0 1 3 01 5 6 1 5 61 9 5 1 9 5 h i g hp o w e r 1 5 v 1 5 v 1 5 v 1 5 v 1 5 v 表1 2 q b 2 6 0 1 1 v 表示a r m 工作频率是2 6 m h z ，d s p 工作频率是0 m h z ，二 者的内核电压都是1 1 v 。在操作点o o 1 1 v 下，o m a p l 6 1 2 还会维持一个3 2 k h z 的时钟，提供基本的计时功能。根据此管理方案实验结果表明，整合d p m 的 t d s c d m a 无线终端平均能耗下降了5 0 。其中在任务+ 时，电流为4 0 0 m a 左右， 而在睡眠时降到了2 0 0 m a 左右；如果关闭a r m 、d s p 和所有设备，维持一个3 2 k h z 的时钟，电流甚至可以降到1 0 2 0 m a ，完全满足长时间待机。 另外，在【2 2 】中介绍了一个实验，试验中使用示波表测量系统在三种状态( ( 1 ) 无d p m 、最高性能为1 4 g h z ；( 2 ) 有d p m 、在6 0 0 m h z 空闲，在1 4 g h z 下运 行；( 3 ) 无d p m 、在6 0 0 m h z 下运行) 下的功耗情况，表1 3 、表1 4 给出了3 种 状态下，系统运行编译l i n u x 内核的性能。 表1 3 不同状态下系统耗电量的比较 耗电量a 系统活动 状态( 1 )状态( 2 )状态( 3 ) 空闲 1 4 20 9 l0 9 l 执行f i n d 命令1 9 2 1 8 51 0 3 播放m p 3 1 4 6o 9 50 9 3 7 上海大学硕士学位论文 表l - 4 不同状态下系统性能的比较 状态 耗时s 最大电流a 最小电流a 状态( 1 ) 3 6 42 0 81 9 8 状态( 2 ) 3 6 52 0 61 9 6 状态( 3 ) 7 5 2 1 0 8 1 0 4 从表1 3 可以看到，当系统空闲或运行低负荷的程序( 如播放r a p 3 ) 时，d p m 使系统工作在6 0 0m h z 下；系统运行高负荷程序( 如执行f i n d 命令) 时，系统会 转换到1 4g h z 下工作以保持性能。显然d p m 可以明显地降低系统功耗。可见， 如果是在相同的时间内执行同一件事情，采用d p m 进行电源控制，能有效地 节省能量。 然而对于设备来说，重新启动所需要的能量比一直在运行所需的能量要大， 同时也会产生一定的延时，因此可以考虑以全速缓速解码相结合代替已有的方 法。也就是说，只需要一个较小尺寸的缓存，当缓存较空的时候，提高c p u 的 频率，使其处于全速解码，缓存较满的时候，降低c p u 的频率，使其处于缓速 解码。可以对缓存设一个域值，高于该值时，降低电压，低于该值时，提高电 压。这样做可以避免由于唤醒解码器时产生的延时和能量突变带来的负面效应。 即在不间断解码器运行的前提下根据程序运行的需要调节电压和频率，以此来 节省能量消耗，延长移动终端电池的使用寿命。 1 4 论文的主要研究内容 本论文是以作者攻读硕士学位期间承担课题的工作为基础，对基于 h 2 6 4 a v c 的视频实时传输动态能量管理系统及其相关算法进行了研究，提出 了动态时间预测方法，采用多线程的编程技术实现了在移动l i n u x 平台上，构 建了一个h 2 6 4 视频传输平台，在保证视频播放速度的条件下，实时地调节c p u 的工作频率，减少移动设备的能耗。 本文在第一章中阐述了课题研究的来源、目的、意义以及国内外研究的现 状。第二章阐述了多线程平台的原理和实现。动态能量管理的方法在第三中详 细介绍。第四章是功能实现和实验结果。最后第五章总结全文。 上海大学硕士学位论文 第二章多线程视频传输平台 2 1 平台特点 该实验平台与其它普通实验平台的不同之处在于：首先，它是建立在 l i n u x 操作系统之上，便于技术细节的深入研究；其次，该视频传输平台包含 传输、解码及显示播放三大模块，而不是像现有的大多数文献那样只考虑解码 器。考虑到上述平台的复杂性及实时性的要求，设计以多线程形式实现上述三 大模块的同步以保证响应的速度。下面详细阐述三个模块的原理和构架。 2 2 传输模块 视频传输模块主要包括服务器和客户端两个部分。采用r t s p 实时流协议。 服务器负责将已编码的h 2 6 4 视频码流进行r t p 打包并发送上网，客户端则首 先负责接收及解析r t p 解包，而后将h 2 6 4 码流放入缓存中等待解码，如图2 1 所示。 服务器 移 网络 客户端 图2 1 系统整体结构设计 与以往视频标准传输不同之处主要体现在：本模块充分考虑并利用h 2 6 4 标准利于传输的n a l 单元封装特性，实现适合h 2 6 4 码流传输的r t p 分组封 装方式，并对重要信息( 如参数集) 采取保护措施，以保证视频流的传输质量。 客户端主要用于接收视频流，包括接收r t p 分组、整理乱序的数据包、解 析r t p 分组。 下面详细阐述r t s p 和r t p 网络协议，以及服务器和客户端系统结构。 9 上海大学硕士学位论文 2 2 1 r t p 实时传输协议( r e a lt i m et r a n s p o r tp r o t o c 0 1 ) 通常，与应用相关的视频音频分别使用特定的多媒体数字信号编解码器进 行数字化。另外，当位流通过像因特网那样的分组网络进行传输时，每个二进 制数据流必须以分组流的形式发送，例如使用u d p 协议。类似地，在接受方， 必须把接收到的分组流重新构成二进制数据流。但是，在他们通过因特网传输 时，一些( 不定数量的) 分组可能会丢失或产生不同的延迟。还有，因为分组 在因特网上可能经过不同的路径，他们可能以不同的次序到达目标方。因此， 在新构成的二进制数据流能传输到解码器之前，必须检测出丢失的分组并加以 弥补。类似地，也必须考虑分组到达时间的延迟变化。这些是由r t p 所实现的 功能，图2 2 所示的图为r t p 的功能示意图。 音频和，或视频 音频和或视频 输入输出 输入输出 数字化二进制数据流 数据块i 敝据块2i r 头t 部pl i 数据块lir 分t 流p 燃i 瓣障据块l l 裟袅 品i 蒜 。六郁。，l 磊头部i 头部l 六郁l1 分组 图2 - 2功能示意图 实时传输协议() 为数据提供了具有实时特征的端对端传送服务，如 在组播或单播网络服务下的交互式视频音频等。应用程序通常在上运行 为应用的实时性提供基础。 r 1 p 本身并没有提供按时发送机制或其它服务质量保证，该功能 主要在客户空间实现。i 盯p 中的序列号允许接收方重组发送方的包序列，同时 序列号也能用于决定适当的包位置，因此在流视频解码中，就无需顺序解码， 上海大学硕士学位论文 可提高解码效率 在实际应用中主要用到以下两个协议： ( 1 ) r t p 协议一将多个实时数据流复用成一个u d p 分组数据流； ( 2 ) r t c p 协议一监控服务质量并传送当前会话参与者的相关信息，提供 r t p 流的带外控制信息协议结构。 。 r t p 使用的报文格式如图2 3 所示。版本( v ) 字段说明使用的r t p 的版 本，p 是填充位，而x 是扩展标记用于以后定义和增加基本头部。 l2345891 0 1 6 1 7 3 2 叫肴癜交裔奚垂 序列号 vpx c c 时间戳 同步源( s s r c ) 标识符 贡献源( c s r c ) 标识符( 1 ) 贡献源( c s r c ) 标识符( n ) j 数据 ( i n 音频和或视频帧) r t p 分组报头 有效 载衙 v = 版本p = - 填充x _ - 扩展标记c c = c s r c - t 数( n = 兰1 5 ) m _ - 标记位 图2 3r t p 报文格式 在多播呼叫会话中，每个对会话起作用( 而不是被动接收) 的参与者称为 贡献源( c o n t r i b u t i n gs o u r c e ，c s r c ) ，通常是由源口地址的3 2 位标示符唯一定 义的。在多播会话中，来自多个源的分组流可能通过成为混频器( m i x e r ) 的设 备多路复用后进行传输。因此，由此产生的r t p 分组可能包含来自多个源的数 字化信息块帧，并且为了使接收方能把每个块帧同正确的参与者并联起来，在 新分组头部就必须设置一个c s r c 标识符，而分组中存在的c s r c 标识符的个 数由c s r c 计数( c c ) 字段给出。因为这是4 位字段，所以在r t p 分组头部 最多可包含1 5 个贡献源( 即c s r c 标识符) 。 通常，不同类型音视频编解码器生成的二进制数据流由数据块或帧序列组 成，每个块或帧都有唯一的开始和结束定界符。与标记( m ) 相关的是一个轮 廓( p r o f i l e ) 文件，这个文件使得接收方能在正确块帧边界解释分组数据。还 上海大学硕士学位论文 有，因为有许多不同的音视频编解码器，有效载荷类型字段用来说明在分组中 对数据进行编码的编解码器的类型。而且，因为每个分组都包含这个字段，所 以如果所使用的网络的q o s 改变，那么在一次呼叫中使用的编解码器的类型可 以改变。 每个分组都包含用于检测丢失或失序分组的序列号。在检测到丢失分组的 情况下，通常在丢失分组的位置上使用最近一个正确接收的分组内容。在接收 到失序分组的情况下，则采取缓存先到分组这种方法。 时间戳字段的值说明所生成分组的时间参考。它用来确定当前平均传输延 迟以及延迟抖动。这个信息连同丢失分组的个数共同组成因特网上路径的当前 q o s 。可以看到，这个信息由相关的实时传输控制协议定期地返回给发送方 r t p 。然后，如果q o s 改变，那么发送方r t p 可能修改所使用的压缩算法的分 辨率。 同步源( s s r c ) 标识符指明了所生成分组内容的源设备。例如，在视频会 议呼叫中，每个贡献源产生的数据可能来自多个不同的设备( 许多麦克风、照 相机、计算机等) ，这时s s r c 说明源信息来自于哪个设备。然后接收让r t p 使用s s r c 将重建的二进制数据流转发给相关的输出设备接口。 2 2 2 r t s p 实时流协议( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 2 2 2 1 基本概念 r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) ，实时流传输协议，是t c p i p 协议体 系中的一个应用层协议，由哥伦比亚大学、网景和r e a l n e t w o r k s 公司提交的 i e t fr f c 标准。该协议定义了一对多应用程序如何有效地通过口网络传送多 媒体数据。r t s p 在体系结构上位于r t p 和r t c p 之上，它使用t c p 或r t p 完 成数据传输。 该协议用于c s 模型，是一个基于文本的协议，用于在客户端和服务器端 建立和协商实时流会话。r t s p 是应用级协议，建立并控制一个或几个时间同步 的连续流媒体，如音频和视频。尽管连续媒体流与控制流交叉是可能的，r t s p 1 2 上海大学硕士学位论文 本身并不发送连续流。换言之，r t s p 充当多媒体服务器的网络远程控制。 r t s p 提供了一个可扩展框架，使实时数据，如音频与视频的受控、点播成 为可能。数据源包括现场数据与存储在剪辑中数据。该协议目的在于控制多个 数据发送连接，为选择发送通道，如u d p 、组播u d p 与t c p ，提供途径，并 为选择基于r t p 上发送机制提供方法。 目前还没有r t s p 连接的概念；服务器维护由识别符标识的会话。r t s p 会 话不会绑定到传输层连接，如t c p 。在r t s p 会话期间，r t s p 客户端可打开或 关闭多个对服务器的可靠传输连接以发出r t s p 请求。它也可选择使用无连接 传输协议，如u d p 。 2 2 2 2r t s p 与h t t p 比较 r t s p 控制的流可能用到r t p ，但r t s p 操作并不依赖用于传输连续媒体的 传输机制。r t s p 在语法和操作上与h t t p 1 1 类似，因此h t r p 的扩展机制在 多数情况下可加入r t s p 。然而，在很多重要方面r t s p 仍不同于h t l p ： ( 1 ) 在大多数情况下，r t s p 服务器需要保持缺省状态，与h t t p 的无状态 相对； ( 2 ) r t s p 中客户端和服务器都可以发出请求； ( 3 ) 在多数情况下，数据有不同的协议传输； ( 4 ) r t s p 使用i s o1 0 6 4 6 ( u t f 8 ) 而并非i s o8 8 5 9 1 ，与当前的国际标准 h t m l 相一致； ( 5 ) u r i 请求总是包含绝对u r i 。为了与过去的错误相互兼容，h t t p 1 1 只在请求过程中传送绝对路径并将主机名置于另外的头字段。 2 2 2 3r t s p 特性 r t s p 协议支持如下操作： ( 1 ) 从媒体服务器上检索媒体：用户可通过h 1 v r p 或其它方法提交一个演示 描述请求； ( 2 ) 媒体服务器邀请进入会议：媒体服务器可被邀请参加正进行的会议，或 上海大学硕士学位论文 回放媒体，或记录部分或全部演示； ( 3 ) 将新媒体加到现有演示中：如服务器能告诉客户端接下来可用的媒体内 容，对现场直播显得尤其有用。 r t s p 特性如下： ( 1 ) 可扩展性：新方法和参数很容易加入r t s p 。 ( 2 ) 易解析：r t s p 可由标准h t t p 或m i m e 解吸器解析。 ( 3 ) 安全：r t s p 使用网页安全机制。 ( 4 ) 独立于传输：r t s p 可使用不可靠数据报协议( u d p ) 、可靠数据报协议 ( i m p ) ，如要实现应用级可靠，可使用可靠流协议。 ( 5 ) 多服务器支持：每个流可放在不同服务器上，用户端自动同不同服务器 建立几个并发控制连接，媒体同步在传输层执行。 ( 6 ) 记录设备控制：协议可控制记录和回放设备。 ( 7 ) 流控与会议开始分离：仅要求会议初始化协议提供，或可用来创建唯一 会议标识号。特殊情况下，s i p 或h 3 2 3 可用来邀请服务器入会。 ( 8 ) 适合专业应用：通过s m p t e 时标，r t s p 支持帧级精度，允许远程数 字编辑。 2 2 3 服务器 如图2 - 4 所示，服务器主要包括r t s p 服务器和流服务器两部分。 1 4 上海大学硕士学位论文 图2 - 4 服务器系统结