（通信与信息系统专业论文）基于bsp16的h264流媒体服务器的优化与实现.pdf

摘要 摘要 随着互联网的发展，3 g 时代的来临，多媒体技术的应用得到了飞速的发展， 而相应的视频编解码标准和传输规范也相继得到研究和制定。h 2 6 4 作为新一代 的视频压缩标准，能在较低的带宽下传输高质量的图像，有着良好的网络适应性。 而第三代合作伙伴计划3 g p p 也将h 2 6 4 标准纳入其规范之中，以更好的支持视 频业务。冈此，研究h 2 6 4 的压缩编码及其在网络上的传输是一项很有意义的工 作。同时由于h 2 6 4 编码的复杂性，实现实时的视频编码并在无线网络上进行传 输也相当具有挑战性。 本课题使用p i x e l w o r k s 公司提供的以b s p 1 6d s p 处理器为核心的 b a b e l f i s h l i 开发平台，进行了h 2 6 4 视频编码器和3 g p p 流媒体服务器的研究。 通过采用优化编码流程，改进数据传输，研究快速算法等方法，提高了编码器的 效率，优化了无线网络中实时视频流传输和播放质量。 在设计过程中，本文针对开发平台提供的主处理器和专用协处理的并行特性 以及f i r t r e e 指令集的单指令多数据处理特点，对编码流程进行了并行设计，对 大量数据使用d m a 读取，对主要耗时计算使用多媒体指令，显著提高了编码速 度。针对无线网络传输中低带宽，高误码率，高延迟的特点，分析了h 2 6 4 的码 率控制算法和抗误码技术，并将其应用到流媒体服务器中，提高了丢包条件下的 流媒体播放质量。此外，论文还特别研究了n a t 穿透技术，增强了系统的实用 性。 实验结果表明，本文完成的采用h 2 6 4 编码的3 g p p 流媒体服务器充分发挥 了b s p 1 6 处理器的性能，实现了h 2 6 4 基本档次的c i f 格式视频实时编码，在 无线网络中实时视频传输和播放达到了较好的质量。 关键词：h 2 6 4 ；3 g p p ； b s p 1 6 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n t e r n e ta n da r r i v a lo ft h e3 g ，m u l t i m e d i a t e c h n o l o g y h a sd e v e l o p e dr a p i d l y , t h ev i d e oc o d i n gs t a n d a r d sa n dt r a n s m i s s i o n p r o t o c o lh a v e b e e nw i d e l yr e s e a r c h e d a st h el a t e s t i n t e r n a t i o n a lv i d e oc o d i n g s t a n d a r d ，h 2 6 4i sa b l et ot r a n s m i th i g h q u a l i t yi m a g e so nt h el o w e rb a n d w i d t h c h a n n e l t h et h i r dg e n e r a t i o np a r t n e r s h i pp r o j e c t ( 3 g p p ) t a k e sh 2 6 4a so n eo fi t s v i d e oc o d e cs t a n d a r dt os u p p o r tm o b i l em u l t i m e d i aa p p l i c a t i o n s t h e r e f o r e ，t h es t u d y o ft h eh 2 6 4c o d i n ga n dt r a n s m i s s i o no nt h en e t w o r ki ss i g n i f i c a n t m e a n w h i l e ，i t sa c h a ll e n g i n gt a s kt oa c h i e v er e a l t i m ev i d e oe n c o d i n ga n dt r a n s m i t t i n go v e rw i r e l e s s n e t w o r kd u et ot h ec o m p u t a t i o n a lc o m p l e x i t yo ft h eh 2 6 4s t a n d a r d i n t h i st h e s i s ，w ep r e s e n tt h ed e s i g no fh 2 6 4e n c o d e ra n d3 g p ps t r e a m i n g s e r v e r ，b a s e do nt h eb s p - 16d e v e l o p m e n t p l a t f o r m b a b e i f i s hi id e v e l o p m e n t b o a r d ，a n di m p l e m e n tam o n i t o r s y s t e m a c c o r d i n gt ot h et r a i t so ft h ep l a t f o r m ，as e r i e so fo p t i m i z m i o nm e t h o d sa r ep u t f o r w a r dt oi m p r o v et h ee f f i c i e n c yo fe n c o d e r ，s u c ha sr e d e s i g n i n ge n c o d e rf l o wb y t h et h i n k i n go fm o d u l e sp a r a l l e l i s mm a x i m i z i n g ；u s i n gc o - p r o c e s s o rs u c ha sv l x ， d m a ；o p t i m i z i n gt i m e c o n s u m i n gm o d u l e sb yf i r t r e ei n s t r u c t i o n s p e c i f i c a l l yf o r t h et r a i t sw h i c ha r el o wb a n d w i d t h ，h i g hb i tm i s t a k er a t e ，h i g hd e l a yi nw i r e l e s s n e t w o r k ，h 2 6 4 sr a t ec o n t r o la l g o r i t h ma n de r r o rc o n c e a l m e n tt e c h n o l o g ya r es t u d i e d ， a n da r ea p p l i e dt ot h e3 g p ps t r e a m i n gs e r v e r i to p t i m i z e sp l a y b a c kq u a l i t yi nh i g h l o s sp a c k e te n v i r o n m e n t m e a n w h i l ew eh a v er e s e a r c h e dn a tt e c h n o l o g yf o rt h e s h o r to fi pa d d r e s s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a ta v a r i e t yo fo p t i m i z a t i o ns t r a t e g i e sm a k ef u l l u s eo ft h eb s p - 1 6p r o c e s s o r , r e a l i z i n gar e a l t i m ev i d e oe n c o d i n go fh 2 6 4b a s e l i n e p r o f i l e ( f o rc i f ) t h ec o m p a t i b i l i t yo fs t r e a m i n gs e r v e rw i t hp ca n dm o b i l ep l a t f o r m s i sp r o v e dp e r f e c t k e yw o r d s ：h 2 6 4 ；3 g p p ；b s p 一16 u 一 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成 果。本人在论文写作中参考的其他个人或集体的研究成果，均在 文中以明确方式标明。本人依法享有和承担由此论文产生的权利 和责任。 声明人( 签名) 倦 姗驴年r 月刃日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大 学有权保留并向国家主管部门或其指定机构送交论文的纸质版和电 子版，有权将学位论文用于非赢利目的的少量复制并允许论文进入学 校图书馆被查阅，有权将学位论文的内容编入有关数据库进行检索， 有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适 用本规定。 本学位论文属于 1 保密() ，在年解密后适用本授权书。 2 不保密( ( 请在以上相应括号内打“4 ”) 作者虢偿譬嗍如多年f 月) 甚日 刷磴每：砂认醐： 年月日 第l 章绪论 第1 章绪论 近年来，伴随着i n t e m e t 的发展，以及人们对互联网内容的多样化需求，尤 其是对多媒体数据的需求日益增长，可视电话，远程监控，移动电视，远程教育， 电视会议，视频播客，网络游戏等新兴应用的火爆更是让多媒体数据业务大有超 越传统话音业务的趋势。 多媒体数据在通信网络上传输或者是存储在d v d 等存储介质上，数据量的 人小就成为了关注的焦点。然而尽管网络建设飞速发展，存储设备容量不断升级， 但是由于原始模拟视频信号所携带的信息量非常大，对于未压缩的原始视频数据 而言，对于任何通信平台和存储技术来说都是不可能完成的任务。i 大i 为即便是对 于一个q c i f ( 1 7 6 x 1 4 4 ) 格式的视频序列，采用y u v 4 2 0 的存储格式，亮度分 量和色度分量使用8 b i t 的精度，那么如果不经压缩以2 5 f p s 的帧速度传输，需要 的通信带宽约为7 6 m b p s ，存储一分钟视频的数据量达5 7 m b ，而同样条件下的 c i f ( 3 5 2 x 2 8 8 ) 格式视频序列，更是需要占用高达3 0 m b p s 的带宽和每分钟2 2 5 m b 的存储空间。因此，数字视频必须经过压缩以适应传输和存储的需要。 此外，为了提高视频数据在网络上的传输效率，实现视频的实时播放，各个 厂商争相开发流式传输技术，并相继指定了网络实时传输与服务质量保证协议， 如r t s p ，r t p r t c p 等协议，确保高质量，流畅的播放视频流。而随着移动通 信的发展和3 g 时代的到来，移动网络中数据业务迅猛发展，带宽不断提高。使 得视频传输在移动网络巾也变的切实可行起来。 因此，对于视频压缩编码最新标准的研究及其在有线无线网络中传输技术 的研究，有着重要的意义。 1 1 视频压缩技术发展现状 在过去的几十年时间里，国际上各大标准化组织一直致力于视频压缩技术的 研究，并且制定了一系列的视频压缩标准，以提高压缩效率，1 9 9 1 年1 1 月，i s o 发布了视频编码标准草案m p e g l ，以1 5 - 2 m b p s 的速率实现了c d 介质上的音 视频存储。1 9 9 4 年发布的i t u - th 2 6 2 ，也就是m p e g 一2 ，则是适用于4 - 9 m b p s 传输速率的数字视频广播( d v b ) ，家用d v d 的视频压缩和高清晰度电视 基于b s p - 16 的h 2 6 4 流媒体服务器的优化与实现 ( h d t v ) 编码标准。1 9 9 5 年i t u t 推出i t u th 2 6 3 ，之后进行了多次补充， 推出了后续的h 2 6 3 + 和h 2 6 3 + + ，适用于6 4 k b p s 下的低速率通信。1 9 9 9 年 i s o i e c 通过了采用基于对象分层结构的m p e g 4 ，其强调了多媒体通信的交互 性和灵活性。2 0 0 3 年3 月i t u t 和i s o i e c 正式公布h 2 6 4 视频压缩编码标准。 h 2 6 4 作为新一代的视频编码标准，其着重于解决压缩的高效率和传输的 高可靠性。其开发目标是实现多媒体业务在各个领域的应用，针对不同的应用， 采用不同的编码档次提供相应的编码质量。 h 2 6 4 仍基于经典混合编码算法的基本结构，在变换编码，熵编码和运动估 计等方面采用了一系列先进技术，是视频编码技术和图像工程的最新研究成果， 其压缩性能超越了以往所有的视频编码标准。标准中参数集、条带的使用、f m o 、 冗余片等关键技术的使用可以大大提高系统的抗丢包和抗误码性能。并月支持不 i j 网络资源下的分级编码传输，在所有码率下都能持续提供较高的视频质量。此 外，h 2 6 4 为了适应于不同的网络环境，h 2 6 4 分别定义了视频编码层( v c l ) 和网络提取层( n a l ) ，其中v c l 功能是进行视频编解码，而n a l 则采用适当 的格式对v c l 视频数据进行封装打包。提高了其网络亲和力。 此外，在与其他新兴的编码标准a v s 托1 ，v c 1 的比较中，h 2 6 4 在编码效率 和低码率下的性能上也取得领先b 1 。因而，h 2 6 4 必将成为未来视频应用发展中 的主流方向。 1 2 流媒体技术发展现状 以前，多媒体文件需要从服务器上下载之后才能收看，限制了用户使用网络 多媒体数据进行交流。流媒体则可以实现边下载边观看，以流的形式进行数字媒 体的传送，使人们可以在线欣赏多媒体节目。典型的流媒体应用系统包括v o d 系统，视频会议系统，远程教育系统，网络监控系统等。分析表明，今后i n t e m e t 服务器5 0 的存储内容都将是流媒体数据1 。囚而流媒体的应用系统，国际标准 正成为当今科研机构和公司关注的焦点。 i n t e r n e t 中通用的流媒体系统包括r e a l 的h e l i xs t r e a m i n gs e r v e r ，a p p l e 的 d a r w i ns t r e a m i n gs e r v e r 等，其客户端软件r e a l p l a y ，q u i c k t i m e 等已经成为p c 的标准配置，它们基本都采用i e t f 互联网专家任务组制定的实时传输协议实时 第l 章绪论 传输控制协议r t p r t c p 进行多媒体文件流式传输，同时使用实时流协议r t s p 进行播放控制。 随着3 g 网络的兴起，制订于1 9 9 8 年的“第三代合作伙伴计划”3 g p p 协议 中，针对移动网络上的流媒体业务，定义了p s s ( p a c k e ts w i t c h e ds t r e a m i n gs e r v i c e ) 端到端的包交换流媒体服务，以保证在复杂的无线信道上流媒体业务的展开。 p s s 是一种应用层的服务，它定义了3 g p p 移动网络交互流媒体服务框架， 规定了传输使用的协议和其支持的媒体文件类型，提出了一系列针对不同移动网 络( 如w c d m a ，e d g e ，g p r s 等) 的传输质量要求。而在p s s 最新的版本中， 加入了h 2 6 4 作为其视频编解码规范。 目前主流厂商推出的支持3 g p p 协议的流媒体服务器主要有苹果的 q t s ss t r e a m i n gs e r v e r ，r e a l 的h e l i xm o b i l es t r e a m i n gs e r v e r ，p a c k e t v i d e o 的 p vs t r e a m i n gs e r v e r ，以及国内星谷科技的v s e r v e r 。由于支持3 g p p 流媒体视频 点播的服务器授权费用过高，而且具体实现上对标准的理解有分歧，通信协议会 略有差异，另外由于于机平台众多，存在终端兼容性的问题，使得移动网络流媒 体业务发展缓慢。 1 3 课题的研究意义及论文主要工作 当前，国内的第三代移动网络即将投入运营，相应的移动数字媒体服务将成 为3 g 网络的热点应用，而h 2 6 4 凭借其性能上的优势，势必在其中获得很大的 市场。国内外各大高校和研究机构都对h 2 6 4 标准和3 g p p 协议进行研究和改进， 并且在不同的软，硬件平台上进行优化和实现。各大公司也推出了采用h 2 6 4 编 码标准的产品和支持3 g p p 协议的流媒体服务器。南京大学的王建等人采用 a r m 9 2 0 t + d m 6 4 2 完成的流媒体监控系统陆1 ，将流媒体服务器与h 2 6 4 编码分别 在a r m 和d s p 上实现。电子科技大学的陈丽在p c 上完成的3 g p p 实时移动流 媒体系统口1 ，采用a v s m 编码，但仅仅进行了仿真验证而未能在实际移动网络 中实现。浙江大学的陈光法在b s p 1 5 平台上实现了a v s 全i 帧编码器1 ，编码 效率为1 5 f p s c i f 。可见h 2 6 4 编码的复杂性对于d s p 平台的性能提出了新的要求， 而移动网络的复杂性也大大增加了系统的实现难度。 本文的应用背景正是基于3 g p p 移动流媒体监控系统，采用h 2 6 4 作为视频 基丁b s p - 1 6 的h 2 6 4 流媒体服务器的优化与实现 编码标准，遵循3 g p pp s s 规范，借助p i x e l w o r k s 公司生产的b s p 1 6 芯片的强 大处理能力，实现低码率下高效实时编码和手机收看监控视频的目标。 本文的主要- 丁作，是通过对h 2 6 4 编码标准原理的分析，对h 2 6 4 编码器中 若干关键技术展开研究，借鉴开源编码器，在b s p 1 6 处理器平台上进行h 2 6 4 编码器相关算法的移植和优化。此外，论文还分析和研究了3 g p pp s s 规范，并 针对国内移动网络的实际情况和通用手机终端播放器的要求进行修改，实现流媒 体服务器。 根据工作内容，论文分为如下章节： 第1 章，绪论，简要阐述视频编码技术和流媒体技术的研究和应用现状，指 明本文的工作意义。 第2 章，h 2 6 4 编码标准和3 g p pp s s 协议，简要介绍了h 2 6 4 标准的结构， 关键模块，3 g p p 中p s s 协议的构成。 第3 章，b s p 1 6 处理器及其开发平台，简要介绍本文采用的开发平台的软 硬件资源及开发模式。 第4 章，h 2 6 4 编码器设计与码率控制算法研究，详细介绍h 2 6 4 编码器 设计和优化的方法，重点研究了码率控制算法，并给出最终实现的编码器测试指 标。 第5 章，流媒体服务器设计，分析了无线网络传输中的n a t 技术和抗误码 技术，介绍符合3 g p p 协议的流媒体服务器的实现方法，并给出服务器的测试结 果。 第6 章，总结与展望，总结主要工作内容及本文的研究成果，并提出进一步 的研究工作。 1 4 本章小结 本章对目前视频编码标准以及流媒体服务器的研究与应用现状进行了简要 介绍，从而引出论文的研究背景及主要内容，最后阐述了论文的组成结构和框架。 第2 章h 2 6 4 编码标准和3 g p pp s s 协议 第2 章h 2 6 4 编码标准和3 g p pp s s 协议 h 2 6 4 是i t u t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组 ( m p e g ) 推出的最新视频编码标准，具有出色的编码效率和压缩性能，其基本 框架与之前的视频编码标准类似，但它包含许多不同于以往标准中使用的先进技 术，具有更多的优越性阳1 。 l 、码率低：与h 2 6 3 + + 或m p e g 4 的简单档次相比，在近似的图像质量上， h 2 6 4 的比特率降低了5 0 以上。 2 、图像质量高：h 2 6 4 保证了高质量的视频图像，特别在低比特率的情况 下，也能保持较高的视频质量。 3 、容错能力强：h 2 6 4 在设计时，针对分组交换网如i n t e r n e t 中的分组丢失 和无线网络中比特误码都提出了相应的工具，使得h 2 6 4 在这些网络中传播时具 有更强的抗误码性能。 4 、网络适应性强：h 2 6 4 采用分层设计，并提供合适的头信息以便适应不 同的传输层和储存媒介，使得h 2 6 4 的比特流可以方便的在不| 一的网络上传输。 而制订于1 9 9 8 年的”第三代合作伙伴计划”3 g p p 是一份由几个电信标准化组 织共同起草的合作协议。原先，其适用范同是利用w c d m a 无线通信技术，制 定全球适用的基于g s m 网络的第三代移动系统技术规格说明和报告，现在这个 范围还包括了g s m 系统的维护和进一步的发展。其p s s 协议规定了3 g 网络中 流媒体业务实现的相关规范。 本文的研究工作就是基于h 2 6 4 编码标准和3 g p pp s s 协议展开。 2 1 h 2 6 4 编码标准介绍 2 1 1h 2 6 4 的分层设计 h 2 6 4 标准采用了分层设计，如图2 1 所示。 其中视频编码层v c l 的主要任务是高效的表示视频数据，进行视频数据的 压缩，它根据控制参数信息把输入的视频图像分成1 6 x 1 6 的宏块，然后根据约定 的分类规则把宏块组成一个或几个片带。片带是可以独专解码的最小单位，宏块 是最小的编码单位。图像编码要经过帧内或帧间预测、变换、量化和熵编码。 基r 丁_ b s p - 1 6 的h 2 6 4 流媒体服务器的优化与实现 匦蓦t n e t w o r ka d a p t a t i o nl a y e r 回回回匝亘田固 图2 1h 2 6 4 分层结构嘲 网络抽象层n a l 则根据网络的特性对数据进行封装，包括组帧、逻辑信道 的信令、定时信息的利用或序列结束信号等。n a l 支持视频在电路交换信道上 的传输格式，支持视频在i n t e m e t 上利用r t p u d p i p 传输的格式。n a l 包括自 己的头部信息、段结构信息和实际载荷信息，即上层的v c l 数据。 在v c l 和n a l 之问定义了一个基于分组方式的接口，打包和相应的信令属 于n a l 的一部分。这样，视频编码和网络接口任务分别由v c l 和n a l 来完成。 2 1 2h 2 6 4 编码器的结构 图2 2 给出了h 2 6 4 编码器的原理图。从图上可以看到编码器包括一个前向 的编码通路和一个反向的重构通路。前向的编码通路包括帧内预测，帧问预测， 残差计算，整数变换，量化以及最后的熵编码；反向的重构通路包括反量化，整 数反变化，帧重建以及去块滤波。 f n + 。，、旦r _ 了翮广1 爵一x 。厂五 当前帧 一 ，r j( _ 1 尘，兰竺一苎兰i 7 l = 协“一。 隔 i 一 习鳖燮忸 1 b 颅测卜_ 广j 帧内 r 一厂i i 习 u r ，弋u jc m l c 孑，ph 一 n 重建帧 。、 i 竺竺= ：= = 竺r 。、+ l 竺竺= i7 l 竺三竺r 图2 2h 2 6 4 编码器 第2 章h 2 6 4 编码标准和3 g p pp s s 协议 2 1 3h 2 6 4 编码算法优点 h 2 6 4 编码器的结构除去块滤波外，同早期的视频编码器中大部分基本功能 模块( 预测、变换、量化、熵编码) 在以前的标准中( m p e g l 2 4 ，h 2 6 1 3 ) 均 采用相同的原理，但在一些局部的编码策略上，h 2 6 4 引入了一些新的算法与特 性，从而增强了压缩能力，也提高了对传输错误的抵抗力，更加适合于无线多媒 体的应用。其中预测算法的改进包括n 引： 可变块大小运动补偿：支持使用最小到4 x 4 的宏块进行运动补偿计算， 从而使得算法更加的灵活。 1 4 采样精度运动补偿：采用1 4 采样精度运动补偿，大大提高了补偿精 度。 运动矢量可跨越图像边界：在以前的标准巾，运动矢量限制在已编码参 考图像的内部。 多参考图像运动补偿：在m p e g 2 及以前的标准中，p 帧只使用一帧，b 帧只使用两帧图像进行预测。h 2 6 4 则可以用以前已编码过且保留在缓冲区的大 量的图像进行预测。 消除参考图像顺序和显示图像顺序的相关性：在以前的标准中，参考图 像顺序依赖显示图像顺序，h 2 6 4 消除了该限制，可以任意选择。 消除参考图像与图像表示方法的限制：在以前的标准中，b 帧图像不能 作为预测图像，h 2 6 4 在很多情况下可以利用b 帧图像作为参考。 加权预测：h 2 6 4 采用新技术，允许加权运动补偿预测和偏移一定量。 在淡入淡出场景中该技术极大提高编码效率，该技术还可用于其他多种用途。 改善“跳过”和“直接”运动推测：在以前的标准中，预测编码图像的 “跳过”区不能有运动。当编码有全局运动的图像时，该限制非常有害。h 2 6 4 对“跳过”区的运动采用推测方法。对双预测的b 帧图像，采用高级运动预测 方法，称为“直接”运动补偿。 帧内编码直接空间预测：将编码图像边沿进行外推应用到当前帧内编码 图像的预测。 环路去块效应滤波器：基于块的视频编码在图像中存在块效应，主要来 源于基于宏块的预测和残差编码。能有效消除块效应，改善视频的主观和客观质 基于b s p - 1 6 的h 2 6 4 流媒体服务器的优化与实现 量。 除改善预测方法外，其他改善编码效率的特性如下： 小块变换：以前的标准变换的块都是8 8 ，h 2 6 4 a v c 主要使用4 4 块变换，使编码器表示信号局部适应性更好。 分级块变换：h 2 6 4 通常使用小块变换，但有些信号包含足够的相关性， 可以使用大块表示。 短字长变换：以前标准使用的变换要求3 2 位运算，h 2 6 4 只使用1 6 位 运算。 完全匹配反变换：以前标准反变换和变换之间存在一定容限的误差，因 此，每个解码器输出视频信号都不相同，产生小的漂移，最终影响图像的质量， h 2 6 4 实现了完全匹配。 基于上下文的熵编码：h 2 6 4 a v c 使用两种熵编码方法，c a v l c ( 上下 文自适应的可变长编码) 和c a b a c ( i - 下文自适应二进制算术编码) ，两种都 是基于上下文的熵编码技术。 2 1 4h 2 6 4 的应用范围 h 2 6 4 a v c 标准中针对不同的应用定义了一套一致性规则，即档次( p r o f i l e ) 和级( l e v e l ) 。每种档次和级侧重于不同的应用场合，如图2 3 所示。 基本档次( b a s e l i n ep r o f i l e ) ：主要面向一般交互式视频应用以及复杂度 低、传输延时小的应用对象，如视频会议和视频电话等。 主要档次( m a i np r o f i l e ) ：基本涵盖了b a s e l i n e 档次的全部内容，另外 增加了视频广播服务所要求的高编码率及多种预测帧技术，如在预测模 式中支持双向预测的b 帧图像、加权预测以及自适应帧场编码和 c a b a c 熵编码算法，该档次可用于s d t v ，h d t v 和d v d 等方面。 扩展档次( e x t e n d e dp r o f i l e ) ：主要针对如无线视频流服务和移动流媒体， 在这些应用中，由于无线信道带宽有限，存在多径干涉和各种干扰，误 码率，丢包率高。该档次将把为基本档次设计的错误恢复功能提高到一 个新的水平，提供更完善、更有针对性的错误隐藏方法。 第2 章h 2 6 4 编码标准和3 g p pp s s 协议 l 。 、 高精度档次( h i g hp r o f i l e ) 扩展了视频源的采样格式与比特深度，加 ， l ， 、 入了一些提高编码效率的工具。针对专业级的视频应用、高分辨率高保 真的视频压缩等。 图2 3h 2 6 4 a v c 各档次之间的关系n 们 2 23 g p pp s s 协议 针对3 g 中的多媒体业务，3 g p p 提出了端到端的包交换流媒体服务 p s s n 邮引：p a c k e ts w i t c h e ds t r e a m i n gs e r v i c e ，作为定义在3 g p p 移动网络交互流 媒体服务框架的规范。图2 4 为p s s 服务网络结构图。p s s 是一个应用层协议， 首先出现在3 g p pr e l e a s e4 版本中，主要规定了流媒体客户端和服务器的通信过 程。 3 g p p 的媒体文件格式是根据i s o 的基础媒体文件格式( i s os t a n d a r d 1 4 4 9 6 1 2 ) 所定义的，实际上是参考了m p 4 文件格式。 3 g p p 针对交换能力的定义，要求在流媒体会话初始化的时候，客户端向服 务器提供一个功能简介。利用p s s 的功能简介，客户端可以发送类似播放器类 型、处理能力，支持的媒体类型、屏幕尺寸大小等信息给服务器，服务器可根据 这些信息去为用户匹配合适的内容。 基于b s p - 1 6 的h 2 6 4 流媒体服务器的优化与实现 图2 43 gp s s 网络结构1 g e r a n ：g s me d g er a d i oa c c e s sn e t w o r k u t r a n ：u m t st e r r e s t r i a lr a d i oa c c e s sn e t w c i r k s g s n ；g s ms e r v i n gg p r ss u p p o an o d e g g s n ：g a t e w a yg p r ss u p p o r tn o d e 为了使p s s 能够应用于具有不同容错能力的网络( 如w c d m a 、e d g e 、 g p r s 等) ，3 g p p 提出了端到端码率自适应。在目前提出的机制中，流服务器主 要负责适应数据流和传输码率，而客户端则向服务器提供必要的反馈。其目的是 保持客户端的解码缓冲区空间足够大，以避免在音视频播放中出现中断。 此外3 g p p 中还提出了包括质量度量，可靠的流媒体，数字版权管理等一些 列新的特性。以适应今后各种不同应用的需求。 2 3 本章小结 本章介绍了h 2 6 4 a v c 先进视频编码标准和3 g p pp s s 协议规范，h 2 6 4 代 表了当今视频压缩的最先进水平，它以其优秀的编码效果、网络的亲和性以及广 泛的应用领域，成为当今视频编码研究和产业领域的焦点。而3 g p p 协议作为移 动通信领域的下一代标准，针对移动流媒体的实现，在p s s 中定义和规范了流 媒体服务器的实现方法。 第3 章b s p 1 6 处理器及其开发平台 第3 章b s p - 1 6 处理器及其开发平台 基于嵌入式d s p 系统进行的流媒体服务器开发，只有熟悉开发平台的内部 结构和工作原理，才能针对平台的软硬件特点进行针对性的优化工作，取得最佳 的优化性能。接下来本文将介绍设计中使用的b s p 1 6 处理器和b a b e l f i s h l l 开发 平台的特点。 3 1b s p - 16 处理器 b s p 1 6 是e q u a t o r ( 2 0 0 5 年被p i x e l w o r k s 收购) 在2 0 0 5 年底发布的第五代 视频处理器。主要针对要求低成本的i p t v 机顶盒以及数字媒体适配器等新兴市 场。b s p 1 6 具有超越其前一代b s p 1 5 的性能。其在制造工艺上转向了台积电的 13 0 n m 工艺，工作频率从4 0 0 m h z 提升至5 0 0 m h z ，每秒可执行8 0 亿次乘加运 算，平均功耗从3 w 降为1 7 w ，芯片面积也从8 8 m m 2 减小为6 0 m m 2 。除此外， b s p 1 6 还是e q u a t o r 首款支持d d rs d r a m 存储器的芯片。 相比其他d s p 芯片，b s p 1 6 的优势体现在n 胡： 1 针对视频处理进行了结构优化，提供了更高的内存带宽，带来更好的视频 处理性能。 2 包括了丰富的音视频接口，可以减少系统设计的复杂度，降低系统开销。 3 由于是可编程的，因此b s p 1 6 可以适应于最新的音视频编解码标准并且 可以进行软件升级而支持未来推出的标准。 4 提供的i m m d i a t o o l ss d k 是1 0 0 支持c c + + ，为开发工作降低门槛。 3 1 1b s p 1 6 的体系结构 b s p 1 6 处理器的内部框图如图3 1 。它包括一个超长指令字处理器内核 ( v l i wc o r e ) 、可编程位流协处理器( v l x ) 、数字安伞管理协处理器( d e s ) 、数据 流直接内存寻址控制器( d s ) 、视频滤波协处理器( v f ) 、片内存储器、显示刷新 控制器( d r c ) 和大量的数字i o 接口组成。 犟jr s p16 f j t 2 6 4 “i 躁体服务器的优化实抛 31 2 v l i w 处理核心 b s p1 6 处理器内收采川的是v l i w ( v e r yl o n gi n s t r u c t i o nw o r d ) 架 j j ，。 v ii w 内棱 i 两个功能拦块( c l u s t e r ) 构成，如【冬| 3 2 所不。每个模块由一个整 数算术逻辑单元( i - a l u ) 、个整数蹦形算术逻辑中兀( i g - a l u ) 和系，寄 存器组成，ia 1 ，u 和i g a l u 彼此拙立f u 义仂调工作，共享寄存器资源和程序计 数器，右，指令。由特琳的操作码控制。 p w b s p - 16 图3 1b s p 一1 6 的体系结构” 一 ! ， jj 一= ) 一 _ 一 =一m =；i 一i l = 第3 章b s p - 1 6 处理器及其开发平台 b s p 16 处理器内核对高速运算的支持主要表现在以下几方面n 钔： 1 采用指令流水线操作，每个执行单元在单周期内能完成一条指令。且一条 指令可以包含四个不同类型的操作数，装载存储操作支持l i t t l e e n d i a n 和 b i g - e n d i a n 的字节放置顺序，同时提供支持动态地址翻译、虚拟内存保护和部分 预测估计的指令m 1 。 c l u s t e r0 l o a d s t o r eu n i t p l ca n d p l v r e g i s t e r s p r e d i c a l e r e g i s t e r f i l e 2 8b i t 1 1 6 lb i t e a c h ) 图3 2b s p - 1 6 处理器内核v l i wc o r e n 4 1 2 v l i w 内核可以并行执行四个操作，支持8 、1 6 、3 2 、6 4 、1 2 8 比特等多种 数据格式的单指令多数据( s i m d ) 操作。 3 v l i w 内核包含有四个功能单元：两个整数算术逻辑单元( i a l u ) 和两 个整数图形算术逻辑单元( i g a l u ) 。每个1 a l u 可以进行装载存储操作，完 成3 2 比特整形运算、逻辑操作( 逻辑操作的结果被送到通用寄存器或预测寄存 器中) 和地址索引、跳转等操作；i g - a l u 运算单元可以进行3 2 比特整形运算 ( 同i - a l u ) 、逻辑操作( 同i - a l u ) ，6 4 比特整形运算、移位操作和6 4 比特的 s i m d 操作( 数据形式包括8 、1 6 、3 2 、6 4 比特，操作可以实现选择、比较、乘 加、混合相乘等) 、1 2 8 比特的s i m d 操作( 数据形式包括8 、1 6 、3 2 、6 4 比特， 可以实现如f i r 、s a d 等一系列图形运算操作) 。多个功能单元支持了编译器并 一胁一掀一鼢 g r 6 6 e i “咖淞c 仆锄蚓r 阶r 晒 d 心v阱-童耵 ，i s，v讲缈勰| p 陀 一一一=砉甜一鲰 g r 6 6 基于b s p - 1 6 的h 2 6 4 流媒体服务器的优化与实现 行调度运算操作数，从而实现多单元并行工作，大大提高了运算速度。 4 处理器有3 2 k b 的指令缓存和3 2 k b 的数据缓存，两者是独立且物理可寻 址的。指令缓存采用压缩格式存放指令，采用最少最近替换( l r u ) 算法更新指 令。数据缓存为非阻塞型，也采用l r u 算法更新数据，单指令周期最高可同时 访问4 个6 4 位的数据。 5 b s p 1 6 内核提供了丰富的寄存器资源。它共有1 2 8 个3 2 位的寄存器( - j - 组对联结用作6 4 位寄存器) ，3 2 个l 位的预测寄存器和8 个专用1 2 8 位寄存器。 1 2 8 位寄存器是专门用来配合i g a l u 单元实现多媒体信号处理中常用的f i r 滤 波、s a d 、f f t 、a d d 、d c t 以及其他的专用整形操作。3 2 个1 位的预测寄存 器主要用于逻辑操作及循环跳转，为目的操作提供判定条件。这些寄存器在功能 上又可分为系统寄存器、全局寄存器、通用寄存器、断电寄存器、预测寄存器和 分区常变量寄存器( p l c p l v ) 。 6 b s p 1 6 内核灵活的支持多个优先级的中断和异常处理。来自v l i w 核心 内部的中断或异常将直接反映到相对应的系统寄存器中，而来自其他的片上资源 ( 如v l x 、d m a 等) 和p c i 总线的中断和异常由中断控制器管理，也包括一些 软件中断。中断的编程设计、屏蔽及优先级安排都是软件可编程的。 3 1 3v l x 协处理器 可变长编解码协处理器v l x 副是一个可编程的1 6 位r i s c 处理器，它针对 可变长编码巾大量使用的位操作和查表操作做了专门的优化，它的出现，大大缓 解了进行位操作给v l i w 主处理器的带来的负担，进一步提高了b s p 1 6d s p 的 v l i w 内核的性能，可编程的特性允许用户可以灵活更改编解码程序以适合新应 用的要求，因此尤其适合于处理m p e g 、j p e g 等多媒体比特流的应用场合。 1 、内部结构 v l x 的内部结构如图3 3 所示，包括1 个1 6 - b i t 的c p u ，3 2 个1 6 b i t 寄存器、 1 个进行比特流处理的g b ( g e t b i t s ) 引擎、以及8 k b 片上存储空间v l m e m ，其 中4 k 用于指令存储，4 k 用于数据缓存。 第3 章b s p 1 6 处理器及其开发平台 图3 3v l x 协处理器结构n 5 1 s 2 、存储单元v i m e m v l x 自带有8 k b 的v i m e m ，其中的指令存储区被分为2 个2 k b 的b a n k ： t e x t 0 和t e x t l ，编译时，程序从t e x t 0 开始存放，当数据量超过2 k b 时，自动编 译到t e x t l 中，并产生一个跳转表( j u m pt a b l e ) 用来指示程序的跳转；数据存储 区也被分成2 个2 k b 的b a n k ：d a t a 0 ( 0 x 0 - 0 x 3 i f ) 和d a t a l ( 0 x 4 0 0 - - 0 x 7 f f ) 。这 样既有利于进行双b u f f e r 数据传送，同时也对v l x 与其它外设对该数据存储区的 同时访问提供支持，以保证满足不会访问到同一数据区。 3 、g b 引擎 g b 引擎在v l x 中既是一个特殊的比特移位器，也作为v l x 的i o 接口。编 码时主要用于变长码流的生成，解码时则完成变长码的“截取 。g b 引擎在v l x 的不同配置下可以工作于不同模式。g b 引擎中置有1 个1 1 2 - b i t 的输入缓冲区和 1 个9 6 - b i t 的输出缓冲区，并有相应机制对缓冲区的状态进行监控处理，以确保 g b 在执行下次操作前有足够的比特数据供g b 读入处理或足够的空间用于g b 产生的数据的临时存储，从而保证码流处理时的连续性。 4 、工作机制 v l i w 与v l x 的协同工作方式如图3 4 ，首先由v l i w 调用程序进行v l x 初始化，将程序代码载入v l x 中，并设置v l x 进入等待缓存输入状态。当v l x c p u 开始工作时，它会不断的扫描两者协同通信的指令缓冲区，如果有指令就 读出并执行。当v l x 收到v l i w 的命令字，以及得到数据缓存区的同步标志后， v l x 将数据从缓存区读出进行处理，完成后继续等待命