（通信与信息系统专业论文）基于嵌入式linux的evo平台的iptv机顶盒系统的研究与设计.pdf

华东师范大学硕士学位论文 摘要 i p t v 是利用宽带网基础设施 以家用电视机 或计算机 作为显示设备 集 互联网 多媒体 通讯等多种技术于一体 通过互联网络协议 i p 向家庭提供包 括数字电视在内多种交互式数字媒体服务的新技术 它以口机顶盒为终端 以 电视机为显示设备 以宽带为主要传输网络 提供多媒体信息服务 随着宽频网 络和数字电视的普及和发展 i p t v 市场将越来越开放 i p t v 机顶盒将在功能上 进一步扩展和完善 得到更加广泛的应用 本论文研究的内容是在l i n u x 开发环境下 利用s g m ad e s g n 公司生产的 e m 8 6 2 0 l 多媒体处理器组成i p t v 机项盒硬件系统 用e s p i a l 公司开发的e v o 平台来开发软件系统 该系统可以满足视频点播的需求 本文首先对多种数据压缩编码标准和网络传输协议进行了比较 选择了 m p e g 4 的t s 流作为r t p 协议包的负载 然后对i p t v 机顶盒系统的总体结构 进行了阐述和设计 详细地分析和讨论了所研究的系统硬件平台和软件平台 然 后介绍了机顶盒客户端软件的模块化结构和应用程序的具体设计 应用程序包括 遥控器和面板模块 r 口接收发送模块 录制和播放模块 最后介绍了如何在 l i n u x 宿主机上裁减 配置u c l i l l u x 内核及编译 移植e v o 平台 并打包成可 以烧录到目标板上的镜像文件的过程 本论文在压缩编码格式 r 曙包的负载格式 软件设计平台及模块化设计等 方面有特色和创新 关键词 i p t v 视频点播 m p e g 一4 r 1 p 协议 e v o 平台 u c l h u x 内核 华东师范大学硕士学位论文 a b s t r a c t t h ei p t vi san e wt e c l l l l o i o g yw h i c hu s e st h em o n i t o ra st b cd i s p l a yd e v i c ea n di si n t e 嘲t e d 州t l li t l t e m e t m u l t i m e d i a a n dc o m m u n i c a t i o n i p t vc a n o f f e rm a n y 砌1 t i m e d i as e r v i c e si n c l u d i n gd i g h a lt v w 汕t h ep 叩u l a r i z a t i o no f t h ew i d e b 8 n da n dd i g i 协lt vt h em a r k e to fi p t vi sb e c o m i n gb i g g e ra i l db i g g e r i n 也i sp a p e r 虹幢s y s t c mw i l lu s et h ee m 8 6 2 0 lw h i c hi sd e s i g n e db ys i g m ad e s i g n st ob u i l dt h eh a r d w a r es y s t e ma 1 1 du s em ef v op 1 a t f o 肌t 0d e v e l 叩t l es o f h a r es y 咖m i nm i sp a p e rt h ec o m p a r i s o no ft h ed a t ac o m p r e s s i o na n de n c o d e df 0 啪a t w i l lb ed i s c u s s e d f m t l l e n o r et h ec o m p a r i s o no f 廿l e 订 m s m i s s i o np r o t o c 0 1o f l en e t w o r kw mb ea l s od i s c u s s e d a sac o n c l u s b nm en 口e g 一4w mb ec h o s e na st h ep a y i o a df 0 咖a to fr t pp a c k e t t h es t r u c t u r eo fi p t vs y s t e mi s d i s c u s s e di nt h ep 印e ri n c l u d i n gt h eh a r c h 8 r ea n ds o f a r es y s t e m t h e n 也es p e c i f i cd e s i 印i n go fm es y s t e mi sp r e s e n t e d m c l u d i n g 恤r e m o t ec o h 拄o l l e r r t p m o d u l e r e c o r d e ra n dp l a y b a c km o d u l e f i n a l l y t h el i n u xc o m p m n ga n dm e p o n i n go ft h ee v op l a t f o mi sp r e s e n t e d i nt h ee n d t h ec o n c l u s i a ni sm a d e a n dt h ef 酞u r ea p p l i c a t i o ni sp r o s p e c t e d k e y w o r d s i p t v o d m p e g 4 r re v o u c l i n u x 华东师范大学硕士学位论文 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取 得的研究成果 据我所知 除文中已经注明引用的内容外 本论文不 包含其他个人已经发表或撰写过的研究成果 对本文的研究做出重要 贡献的个人和集体 均已在文中作了明确说明并表示谢意 储张虹魄 盛吖 学位论文授权使用声明 本人完全了解华东师范大学有关保留 使用学位论文的规定 学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版 有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆被查阅 有权将学位论文的内容编入有关数据库进 行检索 有权将学位论文的标题和摘要汇编出版 保密的学位论文在 解密后适用本规 定 学位论文作者签名 崔夕难 日期 o l 锄龇御确 日期 酗 旦 华东师范大学硕士学位论文 1 1 引言 第一章绪论 随着宽带在中国的普及 目前我国上网人数己超过一亿 宽带用户超过三千 万 伴随而来的是互联网社会化时代的到来 人们对互联网的需求不再是单一地 网上冲浪 查看新闻 而是提出了多样化的应用需求 现在存在的各种形式如网 络游戏 在线影视 电子邮件等都极大的丰富了人们的生活 而网络电视概念的 提出及应用 给互连网的带宽 稳定性 连续性等提出了更加高端的要求 i p t v 随之而来 随着宽带用户的迅猛增长 任何一项基于宽带的新技术 在中国都具 有广泛的市场 据业界预测 到2 0 0 8 年中国的网络电视用户总数将达到1 亿 如 果按照用户人均消费1 0 0 0 元计算 未来四年时间 中国的网络电视市场将达到 1 0 0 0 亿元 所以i p t v 在中国的发展潜力巨大 i p t v 国内也称之为网络电视 是一种基于i n t e 鼢咂t 新兴技术 是一种个性 化 交互式服务的崭新的媒体形态 它通过电信通道 利用a d s l 或以太网或者 有限电视网络等接入宽带网 通过互联网协议 i p 协议 来传送电视信号 以家 用电视机或电脑作为主要终端电器 提供包括电视节目在内的多种数字媒体服 务 其关键技术是利用 机顶盒 电视 完成信号接收 还原成原始数据以便在p c 软件或电视中播放 口t v 系统又叫交互电视 它的系统结构主要包括流媒体服 务 节目采编 存储及认证计费等子系统 主要存储及传送的内容是以m p e g 4 为编码核心的流媒体文件 由于基于i p 网络传输 通常要在边缘设置内容分配服 务节点 配置流媒体服务及存储设备 实现信号的转发 i p r v 的主要特点在于它的交互性和实时性 它主要有以下功能 点播功能 即用户可以在任何时候点播收看节目库中喜欢的节目内容 广播时移功能 即广 播时 用户可以实现 暂停 再继续 等播放功能 双向互动功能 用户可以参 与感兴趣节目的互动讨论 可以主动选择节目 i p 电视不仅是传播工具 它还具 备网络固有的互动性和反馈性 如果你正在收看一场直播球赛时 突然有急事要 出去一下 不妨让电视暂停 出去办完事情回来后可以继续播放 球赛的每一个 精彩片断都不会漏看 又如电视剧时 前面有个细节没看清楚 你可以后退到想 看的部分 若对正在播放的部分不感兴趣 你可以快进绕过它 而想在下午先睹 场当晚才会在电视上播出的电影 也并非难事 此外 你还可参与节目互动 享受信息速递 时尚游戏 电子商务等各种形式的服务 所有这一切的实现 只 需用电脑鼠标或电视遥控器轻轻一点 华东师范大学硕士学位论文 1 2 论文的研究意义 本课题研究的内容是在l i n u x 开发环境下 利用s i g n l ad e s i g n 公司生产的 e m 8 6 2 0 l 多媒体处理芯片组成i p t v 机顶盒硬件系统 用e s p i a l 公司开发的 e v o 平台来开发软件系统 该系统可以满足人们交互式视频点播的需求 数字机顶盒集中反映了多媒体 计算机 数据压缩编码 加解密算法 通 信技术和网络技术发展水平 因此技术含量非常高 其关键技术主要有 复用技术 随着大规模集成电路技术及嵌入式系统技术的广泛应用 数字 机顶盒硬件实现多采用专用芯片或数字信号处理芯片 将c p u 内核与 m p e g 一2 m p e g 一4 传输流解复用器 m p e g 音频视频解码器和n t s c 胍l 编 码器集成 形成s t b 的核心芯片 以实现实时解复用和实时数据信息处理 本 系统就是采用的集成了r a m 处理器的数字多媒体处理芯片e m 8 6 2 0 l 作为核心 芯片 解压缩技术 模拟信号数字化后 信息量剧增 数据压缩必不可少 m p e g 2 i s o i e c1 3 8 1 8 视频压缩标准在交互式电视中广泛采用 适用于多种 清晰度图像质量 m p e g 一4 i s 叫e c1 4 4 9 6 则采用基于对象的压缩编码方法 它 把图像和视频分割成不同的对象分别处理 不仅提高了数据压缩比 还能实现许 多基于内容的交互功能 为多媒体数据压缩编码提供了更为广阔的平台 本系 统采用m p e g 一4 压缩格式 流媒体技术 为保证用户能实时地收看电视节目 方便地进行视频对话 或及时地接收股市行情 票务信息 电子报纸 热门网站等各种信息 必须采 用流媒体技术 本系统采用r 曙实时传输协议对多媒体数据进行打包传送 保 证了传输的效率 并采用差错恢复技术为传输提供了可靠的保证 实时操作系统 数字机顶盒中的操作系统采用实时操作系统 r t o s r e a l t i r n eo p e r a t i n gs y s t c m 如目前流行的v x w o r k s w i n d o w sc e u c l i n 等 r 1 r o s 可在实时环境中工作 并占用较小的内存空间 它负责管理本地资源 和网络资源 提供基本的操作功能以及设备的访问控制 本系统采用开放源码 的嵌入式l i n 操作系统 根据实际功能需求对其内核进行裁减和配置 移植 编译e v o 平台和驱动程序模块 在操作系统上开发g u i 图形用户接口 完成 系统功能 1 3 论文的特色和创新之处 本文的特色和创新之处主要有以下几点 1 本文采用基于对象的压缩编码格式m p e g 4 以较高的编码效率达到高质量 华东师范大学硕士学位论文 的画质效果 适合网络传输 其基于内容的交互性和通用的访问性能满足交 互式的应用场合 且技术相对比较成熟 实现成本比较低廉 2 本文采用i h p 协议作为网络传输协议 保证了传输的效率 先用t s 流封装 m p e g 4 码流 再映射到r 1 曙负载中 3 本文采用e s p i a l 公司开发的e v o 平台 e v o 平台属于一种中间件技术 中间 件是指位于机顶盒的实时操作系统和应用程序之间 连接两部分的软件 中 间件使机顶盒中的应用程序和低层的硬件和网络部件分离 使应用程序的开 发与硬件低层和平台无关 提供通用的应用程序接口 a p i 能使应用程序 的开发难度降低 提高效率 4 本文采用u c l i n u x 操作系统作为软件平台来开发i p t v 机顶盒系统 并采用 模块化的设计方法设计客户端软件系统 1 4 论文的内容和安排 本论文主要用多媒体处理芯片e m 8 6 2 0 l 来搭建硬件平台 同时采用 u c l m u x 操作系统作为软件平台 根据需要对其内核进行裁减和配置 并在其 上编译 移植驱动程序模块 e v o 模块和用户 完成对i p t v 客户端软件的设 计 论文的结构和安排如下 第一章主要介绍了本论文的研究背景 意义 主要内容和创新之处 第二章主要介绍了常用的多媒体数据的压缩编码标准 并把m p e g 4 标准 和m p e g 一1 2 标准 h 2 6 4 标准作了比较 得出了采用m p e g 4 标准的结论 最后详细介绍了m p e g 一4 标准的视频结构 编码图像分类和差错回避技术 第三章介绍了流媒体技术原理 并分析了t c p 协议不适合传输实时数据 然后详细介绍了实时传输协议r t p 协议的帧结构 并提出了两种r t p 的负载格 式 分别是m p e g 4 码流直接映射到r t p 负载和m p e g 4 的t s 流映射到r 1 p 负载 通过分析比较 得出了采用m p e g 一4 的t s 流作为r r p 负载的结论 第四章主要介绍了机顶盒系统的硬件平台和软件平台 硬件系统主处理芯 片采用s i g m ad e s i g n 公司生产的多媒体处理芯片e m 8 6 2 0 l 并详细介绍了 e m 8 6 2 0 l 的特性 软件平台建立在嵌入式u c l 抽u x 操作系统的基础上 比较了 多种嵌入式操作系统的特点 详细介绍了u c l i n u x 操作系统的特点和优点 第五章主要介绍了机顶盒客户端软件系统的模块化设计 客户端软件建立 在机顶盒中间件e v o 平台的基础之上 应用程序采用了模块化的设计方法 详 细介绍了应用程序的各个模块的设计和实现 第六章介绍了u c l m u x 操作系统的内核裁减 配置及e v 0 模块的编译 移 华东师范大学硕士学位论文 植 并打包成可以烧录到目标板上的镜像文件的过程 第七章对机顶盒系统进行总结 提出了值得进一步研究和优化的方面 并 展望了其应用前景 华东师范大学硕士学位论文 第二章编码技术比较及m p e g 4 标准 2 1 编码技术的比较与分析 随着数字化 网络化 全球一体化信息时代的来临 多媒体技术成为信息 技术的重要组成部分 它包括声音 图形 数据以及图像在内的多种媒体信息 的传送和处理 其关键在于压缩技术 运动图像专家组m p e g 于1 9 9 9 年2 月正式公布了m p e g 4 i s o i e c l 4 4 9 6 标准第一版本 同年年底m p e g 4 第二版亦告底定 且于2 0 0 0 年年初正式成为 国际标准 m p e g 4 与m p e g 一1 和m p e g 一2 有很大的不同 m p e g 4 不只是具体压缩 7 算法 它是针对数字电视 交互式绘图应用 影音合成内容 交互式多媒体 w w w 资料撷取与分散 等整合及压缩技术的需求而制定的国际标准 m p e g 4 标准将众多的多媒体应用集成于一一个完整的框架内 旨在为多媒体通 信及应用环境提供标准的算法及工具 从而建立起一种能被多媒体传输 存储 检索等应用领域普遍采用的统一数据格式 m p e 0 4 的编码理念是 m p e g 一4 标准同以前标准的最显著的差别在于它是 采用基于对象的编码理念 即在编码时将一幅景物分成若干在时间和空间上相 互联系的视频音频对象 分别编码后 再经过复用传输到接收端 然后再对不 同的对象分别解码 从而组合成所需要的视频和音频 这样既方便我们对不同 的对象采用不同的编码方法和表示方法 又有利于不同数据类型间的融合 并 且这样也可以方便的实现对于各种对象的操作及编辑 例如 我们可以将 个 卡通人物放在真实的场景中 或者将真人置于一个虚拟的演播室里 还可以在 互联网上方便的实现交互 根据自己的需要有选择的组合各种视频音频以及图 形文本对象 m p e g 4 系统的一般框架是 对自然或合成的视听内容的表示 对视听内容 数据流的管理 如多点 同步 缓冲管理等 对灵活性的支持和对系统不同部 分的配置 与m p e g 1 m p e g 2 相比 m p e g 4 具有如下独特的优点 啪嘟 1 基于内容的交互性 e g 一4 提供了基于内容的多媒体数据访问工具 如索引 超级链接 上下 载 删除等 利用这些工具 用户可以方便地从多媒体数据库中有选择地获取 自己所需的与对象有关的内容 并提供了内容的操作和位流编辑功能 可应用 华东师范大学硕士学位论文 于交互式家庭购物 淡入淡出的数字化效果等 m p e g 4 提供了高效的自然或 合成的多媒体数据编码方法 它可以把自然场景或对象组合起来成为合成的多 媒体数据 2 高效的压缩性 m p e g 4 基于更高的编码效率 同已有的或即将形成的其它标准相比 在相 同的比特率下 它基于更高的视觉听觉质量 这就使得在低带宽的信道上传送 视频 音频成为可能 同时m p e g 4 还能对同时发生的数据流进行编码 一个 场景的多视角或多声道数据流可以高效 同步地合成为最终数据流 这可用于 虚拟三维游戏 三维电影 飞行仿真练习等 3 通用的访问性 m p e g 4 提供了易出错环境的鲁棒性 来保证其在许多无线和有线网络以及 存储介质中的应用 此外 m p e g 4 还支持基于内容的的可分级性 即把内容 质量 复杂性分成许多小块来满足不同用户的不同需求 支持具有不同带宽 不同存储容量的传输信道和接收端 这些特点无疑会加速多媒体应用的发展 从中受益的应用领域有 因特网 多媒体应用 广播电视 交互式视频游戏 实时可视通信 交互式存储媒体应 用 演播室技术及电视后期制作 采用面部动画技术的虚拟会议 多媒体邮件 移动通信条件下的多媒体应用 远程视频监控 通过a 1 m 网络等进行的远程数 据库业务等 m p e g 4 主要应用如下 l 应用于因特网视音频广播 2 应用于无线通信 3 应用于静止图像压缩 4 应用于电视电话 5 应用于计算机图形 动画与仿真 6 应用于电子游戏 m p e g 一4 与h 2 6 4 的比较 4 1 6 1 根据目前编码技术的发展和已公布的编码标准来看 能够适合码流在1 m 到 2 m 同时又能保证准d v d 以上的图像质量 比较好的标准有m p e g 一4 a s p h 2 6 4 h 2 6 4 是i t u t 的v c e g 视频编码专家组 和i s o i e c 的m p e g 活动 图像编码专家组 的联合视频组 t i o i n t i d e o t e 啪 开发的一个新的数字 视频编码标准 它既是i t u t 的h 2 6 4 又是i s o i e c 的m p e g 一4 的第1 0 部分 h 2 6 4 和以前的标准一样 也是d p c m 加变换编码的混合编码模式 但 华东师范大学硕士学位论文 它采用 回归基本 的简洁设计 不用众多的选项 获得比h 2 6 3 好得多 的压缩性能 增强了对各种信道的适应能力 采用 网络友好 的结构和语法 有利于对误码和丢包的处理 应用目标范围较宽 以满足不同速率 不同解析 度以及不同传输 存储 场合的需求 m p e g 4 编码技术及产业链成熟 先于h 2 6 4 超过1 年时间 设备厂家在 m p e g 洱和h 2 6 4 等编码技术走向上一般采用双提供策略 只在提供时间上 e g 4 先于h 2 6 4 h 2 6 4 是2 0 0 3 年才制订的标准 还没有走过产业化的过程 这表现在目前 还没有芯片厂家的解决方案经过规模的使用 技术上是否成熟有待时间检验 解决方案的成本非常高 按照现有的一些方案 机顶盒的成本将在2 0 0 0 3 0 0 0 元 芯片厂家在产能方面不能满足要求 因此 批量供货等都会存在问题 m p e g 4 的系统性能可以基本满足业务需求 在1 5 m 2 m 的码流流速下 m p e g 4 可以达到接近d v d 的画质效果 根据对m p e g 4 和h 2 6 4 的对比测试 表明 h 2 6 4 的编解码效率比m p e g 4 的效率高5 1 5 可以使用的流速 1 5 m 左右 大约只比m p e g 4 高5 在2 m 以上 两种技术的效果差别不 大 m p e g 4 的技术相对来说比较成熟 产业链也比较成熟 目前主要的i p t v 设备基本都支持m p e g 4 的方式 同时 在国内和国际上也有大规模商用的案例 对于下一步系统的建设有一定的参考意义 也规避了一定的技术风险 综上所述 m p e g 4 压缩标准以其更高的编码效率达到高质量的画质效果 适合网络传输 其基于内容的交互性和通用的访问性能满足交互式的应用场合 且其技术相对比较成熟 实现成本比较低廉 所以本课题中选用m p e g 4 作为 编码压缩格式 2 2m p e g 4 标准的视频结构m 脚 下图显示了m p e g 4 视频的基本结构 m p e g 一4 的语义流中有几个主要概 念分别描述如下 华东师范大学硕士学位论文 一 企 弋一一一 d e o o b j e c t p l a n e ipb v o p ov o p lv o p 2 图3 lm p e g 4 视额数据结构 f i g l i r e 3 1d a i as n t u c t u r eo f 口e g 4v i d e o 视频对象序列 d e oo b j e c ts e q u e n c e 一个视频对象序列处于层次结构中的最高层 它是一个或多个视频对象 流的集合 一个完整的视频包括多个v s 视频对象 d e oo b i e c t 视频对象v o 是可视场景中景物的抽象描述 从用户的角度看 它代表 画面中的任何有意义的物理实体 如人 物体 甚至可能是背景 视频对 象是m p e g 4 编码中的基本单位 m p e g 4 可视场景由一个或多个视频对 象组成 每个视频对象的形状 运动和纹理用其相关的时间和空问信息给 出 视频对象层 d e oo b j e c tl a y e r 为了实现可伸缩性 视频对象采用了分层的结构 即空间要分级性 这 种可伸缩性使我们能从一个单独的基础层开始 用增加一些增强层的方法 以分层的方式重建视频 这样对于不同的带宽和计算复杂性需求 不必针 对每种情况分别编码 可以使用同一个视频比特流 而采用不同的参数以 选择不同的层 以获得灵活性 视频对象平面v o p v i d e o0 b l e c tp 1 a i l e 与v o 有关的另一重要概念是视频对象平面 如果把输入视频序列的每 一 帧分割为若干任意形状的图形区域 每一个区域对应于一个特定的物理对 象 这个区域就是视频对象平面v o p v 0 p 既有空间的概念 也有时问的 概念 从另一个角度看 v o p 是视频对象v 0 在某一时刻的采样 因此 属于场景中同一个物理对象的连续的v o p 就代表了一个视频对象v o 从 华东师范大学硕士学位论文 编码的角度看 v o 实际上是由一组同一实体的任意形状和位置的v o p 序 列组成的 v o p 是m p e g 4 中编码的基本单位 每个v o p 可以独立的编码 也可以使用运动补偿技术相互依赖的编码 传统的视频帧可以用矩形v o p 表示 v o p 包含了视频对象的即时视频数据 包括运动参数 形状信息和 纹理 m p e g 一4 的编码图像被分为三类 分别称为i 帧 p 帧和b 帧 i 帧图像采用帧内编码方式 即只利用了单帧图像内的空间相关性 而没有 利用时问相关性 i 帧使用帧内压缩 不使用运动补偿 由于i 帧不依赖其它帧 所以是随机存取的入点 同时是解码的基准帧 i 帧主要用于接收机的初始化和 信道的获取 以及节目的切换和插入 i 帧图像的压缩倍数相对较低 i 帧图像 是周期性出现在图像序列中的 出现频率可由编码器选择 p 帧和b 帧图像采用帧问编码方式 即同时利用了空间和时间上的相关性 p 帧图像只采用前向时间预测 可以提高压缩效率和图像质量 p 帧图像中可以 包含帧内编码的部分 即p 帧中的每一个宏块可以是前向预测 也可以是帧内 编码 b 帧图像采用双向时间预测 可以大大提高压缩倍数 值得注意的是 由于b 帧图像采用了未来帧作为参考 因此m p e g 4 编码码流中图像帧的传输 顺序和显示顺序是不同的 2 3m p e g 4 的差错回避技术 m p e g 一4 的差错回避有三个方面 重同步 r e s y n c l l r o n i z a t i o n 数据恢复 d a t a r e c o v e r y 和错误隐匿 e r r o rc o n c e a l m e m 重同步指的是在差错被检测后 使解码器和码流之间重新同步的技术 m p e g 一4 是基于码流长度进行打包 v p 的 一个v p 的码流首先是一个重同 步头 r e s y n u n a r k e r 然后是一个信息头 船c 信息头里包括能重新开始 解码所必须的信息 本v p 的宏块数 m b 第一个m b 的量化步长等 数据恢复不是简单的容错码恢复 而是用一种差错回避手段 用可逆 c 码字 r 亿c 进行v l c 编码 这种可逆码字正反两面的结果 样 如 1 l 叭 0 1 0 诸如1 0 0 这样的码不能用 错误隐匿的效果很大程度上依赖于对错误的定位能力 对于低码率 延时 短的应用 采用重同步技术后就可以用诸如拷贝前面一帧的简单方法提供一一个 能接受的错误隐匿结果 数据分块可以用来提高错误定位能力 对于i v o p v p 内所有的m b 的直流系数 d c 可以集中放在一起用直流标志与交流系数 分开传送 这样如果交流系数出现错误 整个m b 可以用d c 覆盖 对于p 一 华东师范大学硕士学位论文 v o p v p 内所有m b 的运动矢量 m v 可以集中放在一起用运动矢量标志 m v m a r k e r 与残差图像的d c t 系数分开传送 这样如果d c t 系数出现错误 整个m b 可以抛弃这些系数而用m v 所指的参考图像补上 当码流中发现一个错误 解码器必须在下一个适当的同步点 v o ps t a r tc o d eo rr e s v n om a r k e r 进行重同步 然后它检测冗余比特的 s t u 蕊n 曲妇 的个数以确定错误是否发生在v p 内 如果v 0 p 的s 诅r tc o d e 被传输错误所染并且帧同步信息丢失 解码器可以用 皿c 信息重建同步 解码器可以比较v o p 头信息和皿c 里的 v o pt i m ei 1 1 e m e n t 参数 如果它们不同 解码器可以断定本v o p 的头信息被 错误所染 v o pt i m ei n c r c l n e n t 应该是源视频格式 n t s c 队l 等 的整数 倍 如果没有进行数据分块 丢失的图像子块可用前一帧的相同块补上 否则 用数据分块的错误隐匿方法进行补偿 2 4 本章小结 本章首先介绍了多媒体数据的压缩编码格式m p e g 4 的由来 接着用 m p e g 4 与m p e g 1 2 h 2 6 4 格式作了比较 凸现了m p e g 4 在编码效率 图 像质量和技术实现上的优势 得出了采用m p e g 4 格式的结论 然后详细介绍 了m p e g 4 格式的视频结构 解释了基本的语义流和图像分类的概念 最后介 绍了m p e g 4 的差错回避技术 华东师范大学硕士学位论文 3 1 流媒体概述 第三章流媒体传输协议 3 1 1 流媒体的基本概念 流媒体就是指在网络上使用流式传输技术的连续时基媒体 如音频 视频或 多媒体文件 流式传输主要指通过网络传送媒体技术的总称 流式传输包括两种 实时流式传输和顺序流式传输 顺序流传输就是顺序下载文件 同时用户可观看在线媒体 然而给定的时刻 用户只能观看已下载的部分 未下载的部分不能提前观看 而且在文件传输期间 不可根据用户连接的速度做调整 顺序流式允许是放在标准的h t p 或f i p 服务器 上的几乎不需要其它协议就可发送 易于管理 适合于短片段 不适合长片段和 有随机访问要求的视频 实时流式传输是指确保媒体带宽与网络连接匹配 使媒体可被实时观看到 实时流式传输需要专用的流媒体服务器与传输协议 实时流式传输总是实时传 送 特剐适合现场事件 也支持随机访问 3 1 2 流媒体技术原理 1 2 1 3 目前的网络带宽对多媒体巨大的数据流量来说还显得远远不够 所以多媒体 数据进行预处理才能适合流式传输 预处理主要包括两方面 一是降低质量 二是 采用先进高效的压缩算法 其次 流式传输的实现需要缓存 这是因为i n t e n e t 以包传输为基础进行连 续的异步传输 对一个实对a 厂v 源或存储的a 文件 在传输中它们要被分解为 许多包 由于网络是动态变化的 每个包选择的路由可能不尽相同 故到达客户 端的时间延迟也就不等 甚至先发的数据包还有可能后到 为此 使用缓存系统 来弥补延迟和抖动的影响 并保证数据包的顺序正确 从而使媒体数据能连续输 出 而不会因为网络暂时阻塞使播放出现停顿 通常高速缓存所需容量并不大 这是因为高速缓存使用环行链表结构来存储数据 通过丢弃己经播放的内容 流 可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容 再次 流式传输的实现需要合适的传输协议 目前支持流式传输的协议主 要包括 实时传输协议r t p 限e a l t i m et r a n s p o np r o t o c 0 1 和实时传输控制协 议r t c p r e a l t i m ec o n t r o lp r o t o c 0 1 实时流化协议r t s p r e a l t i m es 订e a m i n g 华东师范大学硕士学位论文 p r o t o c 0 1 和资源预留协议r s v p r e s o u r c er e s e r a t i o np r o t o c 0 1 3 2t c p 协议不适台传输实时数据 t c p 协议最初是为了解决i p 数据报只提供 尽力而为 的数据传输 不对数 据进行检查和纠错 经常发生数据丢失或乱序现象而采取的一种保证措旌 它主 要采用了重传机制和拥塞控制机制来保证数据得到可靠的传输 但是正是因为它 的这些特性限制了t c p 协议对于实时数据的传输 t c p 的重传机制使发送方发现有数据丢失时 它将重传丢失的数据包 这将 要需要一个甚至更多的周期 这种重传对于实时性要求很高的多媒体数据传输来 说是灾难性的 因为接收方不得不等待重传数据的到来 从而造成了数据回放的 延迟和断点 t c p 的拥塞控制机制在探测到有数据包丢失时就会减小它的拥塞窗口 另一 方面 视频在特定的编码方式下 产生的编码数量是不可能突然改变的 例如 标准的p c m 音频编码需要6 4 k b s 加上一些额外的控制信息 它不能在低于这个 带宽要求的网络上传输 正确的拥塞控制机制应该是变换音频 视频信息的编码 方式 调节视频信息的帧数 或图像的尺寸 即使是在网络状况运行良好的情况下 没有发生丢包 由于t c p 的启动需要 建立连接 因此在初始化的工作中 需要较多的时间 这样就增加了传输的延迟 由此可见 t c p 协议是不适合进行多媒体信息传输的 目前大多数系统采用用户 数据报协议u d p 来进行多媒体流网络实时传输取得了比较好的效果 这是根据实 时多媒体流自身的特点所决定的 不同的通讯业务对传输网络的要求是不同的 数据文件 静止图像等非实时信息传输 对时延无严格要求 但是对误码率要求 很高 而语音和视频业务则要求实时传输 对时延十分敏感 但可以容忍一定程 度的误码 只要在不影响人的视频感受的情况下 甚至在网络状况恶劣的情况下 可以容许传输方进行丢弃图像帧的情况下来满足实时性 所以如果使用u d p 协议 来传输实时数据 不对数据报进行校验 重组 可以使传输延迟时间大大减小 虽然会出现乱序现象 但是可以通过一些处理 最简单的处理就是丢帧1 比如在 接收端可以利用图像信息具有相关性的特点通过接收到的一些数据将原来的信 息全部或部分恢复的方法来使信息的获取不受影响 使解码回放的质量得以保 障 但是 因为u p 协议毕竟是一个不可靠的传输层协议来提供应用程序进程间 的通讯 它缺乏流量控制和足够的差错控制能力使程序有可能出现问题 比如不 使用流量控制 接收端如果接收的报文过多的话有可能出现溢出 所以 u d p 协议可靠性问题 需要由应用层协议提供相应的差错控制机制给予解决 实时传 华东师范大学硕士学位论文 输协议r r r p 瓜t c p 协议就是为了辅助u d p 协议进行实时数据的传输而制定出来 的 3 3 实时传输协议r t m c p 协议 由于因特网不是为了提供传输实时数据而设定的 所以它的很多特性不适合 于多媒体数据流的实时传输 虽然l p 协议能够满足传输的一些要求 但是u d p 协议在传输实时数据的时候也有它不适合的特性 所以需要设立一种新的协议来 辅助传输层传输实时数据 r t p 肛 c p r e a l t i m et r a n s p o r t p r o t o c 0 1 r e a l t i m e t r a l l s p o r tc o n n d lp r o t o c 0 1 协议就是为了这种需求而产生的 r t p 瓜t c p 协议 i e t f i n t c m e te n g i n e e r i n gt a s kf o r c e 的音频 视频传输工作小组确立 并被写入了 r f c l 8 8 9 r t p 协议与t c p 协议十分相似 只是当差错造成分组丢失时 不要求重发 同时r t p 规范中还定义了实时传输控制协议r t c p 用于提供q o s 监视机制 r 开协议位 于传输层之上 它没有连接的概念 虽然它既可以建立在面向连接的协议上 也 可以建立在面向无连接的协议上 但是一般来说 r t p 是作为实时数据传输而设 计的 建立在u d p 协议之上 r t 腿t c p u d p 协议一起用于视频音频流的实时传 输 r t p 协议对于实时多媒体数据的传输的特点有如下 1 彤r p 是 种轻型的传输协议 其提供端到端的实时媒体传输功能 但并不 提供机制来确保实时传输和服务质量 协议本身相对轻型 快捷 常常与具体应 用结合在一起 2 灵活性 r 皿协议将数据实时传输与控制策略分开 协议本身只提供实时传 输机制 不具体规定控制策略 开发者可以根据不同的应用环境 选择实现效率 较高的算法及控制策略 3 触立性 r t p 协议与下层协议无关 可以在u d p i p 口x a t m 的a a l 层上实 现 4 良好的扩展性 不仅支持单播 还支持组播 i u p 为音频 视频等实时数据提供了端对端的网络传输服务 这些服务包括 负载类型识别 顺序号 时间戳及传输控制等等r m 不能提供资源预留服务 也不保证实时服务的q o s 而依赖于下层服务来实现 r t p 不保证传输的及时性 和顺序性 也不假定下层网络是可靠和按序传输的 但是具体的应用可以根据 r t p 提供的信息自行设定符合应用的特定算法和控制策略 r 开协议 般有两个 部分组成 数据报文部分 r t p 报文 和控制报文部分限t c p 报文 华东师范大学硕士学位论文 3 4r t p 和r t c p 数据包的格式 3 4 1 r t p 报文 曙报文包含一个固定长度的r t p 报文头 和可能为空的有效源列表和有效 载荷数据 r t p 有效载荷 也就是媒体数据 直接跟在r r p 报头之后 具体格式 由不同领域 不同媒体类型定义 r t p 的报文头格式如图3 l 所示 这个报文头定义了一般应用所常用的一些数 据 表3 1 简要介绍各个字段的含义 o3 1 v 2pxc cmp t s e q u e n c en u m b e r t i m es t a m p s y n c l l r o n i z a t i o ns o u r c e s s r c i d e n t i f i e r c o n 台i b u t m gs o l l r e e c s r c i d e n t i 6 盯 表3 1r t p 包头格式 t a b l e 3 1f o n l l a t0 f r t pp a c k 吐h e a d e r 下面是各个字段的意义 1 v c r s i o n v 2 比特 版本 这个域标识r r p 的版本 r f c l 8 8 9 定义的版本 是2 2 p a d d i n g p 1 比特 填充 表明有一个或多个不是载荷数据的填充字节在 包尾 最后一个填充字节包含了填充字节的个数 填充位用于某些固定块大小的 加密算法 或者表示在一个下层协议包中包含的i m 包的数目 3 e x t c n s i o n x 1 比特 扩展位 在固定头后面接着一个扩展头 扩展机制 能够应用于传递控制信息 而不需要中间节点的解释 r r i p 扩展报头是两个字 节 包含一个右对齐的1 6 比特长度的域 指示扩展的长度 它必须在标准r t p 报 头 以后我们会看到 要么是s s r c 项 要么是c s r c 项1 的最后一个有效域之后插 入 4 c s r cc o l l t l t c c 4 比特 c s r c 源记数 c s r c 是在固定报头后c s r c 标识 符的数目 这个数值用来支持混合器的 混合 功能 混合器从多个信源收集多 媒体流 把它们合并成为一个包 然后转发到目的地 5 m a r k e t m l 比特 标记位 标记的解释是由配置来定义的 它可以用来 在包流中标记重要事件 比如帧边界 配置可以定义另外的标记位 或者通过改 华东师范大学硕士学位论文 变有效载荷类型域中的比特数来代替使用标记位 m 比特位意味着谈话的突然开 始或者图像帧的结束 6 p a y l o a dt y p e 口t 7 比特 有效载荷类型 这个域标志r t p 有效载荷类型 的格式 并且决定应用程序对它的解释 发送者在一个r t p 包只能包含一个有效 载荷类型的数据 不允许多元复用 配置定义了载荷类型编码到载荷格式的静态 映射 附加的载荷类型编码可以通过非r 四方法动态定义 即使用信令协议 7 s e q u e n c e n u m b e r s n 1 6 比特 序列编号 序列编号起始为 个随初数 每发送一个r r r p 包 序列编号加一 它可被接收者用于检测包丢失和恢复包顺 序 8 t i m es t 锄p 3 2 比特 时间戳 时间戳是在r t p 数据包的第一个字节采样时 刻 采样时刻必须随时间单调线形增加 以允许同步和抖动计算 时钟分辨率必 须满足要求的同步精确度 以及对包到达抖动的测量 并且可以分接成端到端延 迟的分辨率 时钟频率与作为载荷携带的数据格式无关 对于周期性发送i 包 而言 采样时刻是由采样时钟确定的 如果一个应用每读入一个数据块要占据n 个采样周期 则无论数据块被发送或丢弃 每个时间戳标记都增加n 9 s s r c 3 2 比特 同步源s s r c 标志同步信源 数值是随机选取的 且在同 一个r r p 会话中没有两个发送者的s s r c 标识相同 当呼叫建立起来时 可能会 出现冲突 也就是发送者具有相同标识 当检测到冲突时 i m 中的一个简单的 机制被指定用来解决它 当只有一个s s r c 时 c s r c 数值域被设置为o 1 0 c s r c 源列表 o 1 5 项 每项3 2 比特 c s r c 列表标识提供这个包中包含的 所有有效载荷的信源 标识符的数量是由c c 域确定的 c s r c 标识符仅在通过混 合器时插入 当端点发出有效载荷时 c s r c 域用来对信源标识进行更正 3 4 2r t c p 报文 r t c p 协议主要是完成简单的会晤控制 r t c p 报文和r t p 报文不同 砌r p 报文仅仅具有一种 可通过扩展头信息等 方法来实现灵活的数据报内部结构 但是r t c p 报文有几种类型 发送端报告 s r 接收端报告 r r 源描述报文 s d e s 应用自定义报文 a p p 它们的具体内容如下 1 发送端报告和接收端报告 程序利用这些信息可以采取一些措旋 调整媒 体数据发送的具体环节 比如采用更高效的压缩方法以减少带宽的使用 或是采用不同的编码方式以提高媒体质量 2 源描述报文 用来标识不同的参与者 r t p 协议使用s s r c 来区别不同的 参与者 源描述报文则携带参与者的一些信息 如名字 电子邮件地址 电话等 华东师范大学硕士学位论文 3 发送b y e 报文 b y e 报文是退出r r r p 会晤的控制报文 通过发送b y e 报文 可以通知其它成员自己退出r t p 会晤了 对方可以相应地释放资源 4 应用自定义控制报文 r t c p 提供了应用自定义报文的方法 应用程序可以 自己定义新的功能的控制报文 r t c p 报文的头格式如下图 v p l r c l 负载类型 p t 报文长度 1 e n g t l l 用户数据 p a y l o a d 表3 2r t c p 报文头格式 t a b i e 3 2f o r m a t0 f r t c pp a c k e th e a d e r 下面是各个字段的意义 1 v e r s i o n v 版本信息 标识协议版本信息 2 p a d d i n g p 填充 如果设置了填充位 表示在该r 口包的末尾含有并非 有效负载数据的填充位 3 r e c e p t i o nr 印o r