（计算机应用技术专业论文）ipcam实时高清视频流传输的研究与实现.pdf

j 1 7 一 一嬲螋煳 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果 据我所知 除了文中特别加以标注和致谢的地 方外 论文中不包含其他人已经发表或撰写过的研究成果 也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意 签名 盛皇造日期 瑚年多月乙 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留 使用学位论文 的规定 有权保留并向国家有关部门或机构送交论文的复印件和磁 盘 允许论文被查阅和借阅 本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或 扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后应遵守此规定 日期 鳓年6 月纠日 y l p 摘要 摘要 随着网络摄像机市场的逐步普及以及社会对安全监控设备图像质量要求的提 高 新的高清网络摄像机应运而生 高清网络摄相机能够拍摄7 2 0 p 甚至是1 0 8 0 p 的高清画质的视频 然而 如何快速无误地将高清网络摄像机拍摄到的实时画面 传输到远程网络摄像机的客户端上 是一个重点需要解决的问题 高清网络摄像机一般使用h 2 视频编码对视频信息进行编码压缩 因为 h 2 6 4 视频编码低码率 高图像质量 有良好网络支持 所以被广泛应用在通过网 络传输的视频流的编码上 因此 h 2 6 4 编码的实时高清视频流的网络传输这一问 题 影响高清网络摄像机是否能够成为新一代安全监控设备的主要因素 此问题 也是本论文所研究的重点和讨论的核心问题 实时传输协议 r t p 是一个应用层的网络协议 主要用来传输实时的视频或 音频信息 在音视频会议 多播音频会议等场合有着广泛的应用 l 江c 3 9 8 4 文档 也描述了h 2 视频编码的r 1 呼负载协议 利用r t p 协议 传输h 2 6 4 的础呼负 载包 是一个传输实时高清视频流的解决办法 严格按照r f c 3 9 8 4 文档的描述 设计并实现h 2 6 4 视频编码的i c i p 负载包的构造方法 是本文的最大特点 本论文基于安霸公司a 2 口c a m 研究了基于口c 蝴的实时高清视频流的传 输 主要研究并实现了r f c 3 9 8 4 文档所描述的h 2 视频编码的r t p 负载协议 具体实现了r f c 3 9 8 4 文档中所描述的各种不同的h 2 6 4 视频编码的i 江p 负载包 包括s i n g l en a lu 1 1 i tp k e t s 1 a p a s t a p b m t a p l 6 m r a p 2 4 f u a f u b 在实现h 2 6 4 视频编码打包协议的基础上 还利用实现的协议 基于a 2 c a m 实现并测试了局域网有线与无线网络环境下的7 2 0 p 高清视频流的传输 证实了 基于h 2 视频编码的实时高清视频流 利用r t p 传输协议 在局域网络环境下 可以流畅地播放 这一结果 对于利用在安全监控领域使用高清p c 蝴 有着巨大的实用意义 关键字 i 江c 3 9 8 4 h 2 6 4 砌r p p c a m 网络摄像机 童 q w v 矗r r 每 a b s tr a c t a s 虹屺n e t 眺c a m e m 0 rc a l l c dm c 舢旧m 幽t 争a d l l a j l ys p r e a da n d 也e r e q l l i 陀m 即船o ft h ei m a 萨删t 0 f 辄r v e i l l 弛c ee q u i p m e n th 勰i m p r o v c d 也e h i 出d e 觚t i o nn e t w o r kc 锄啪锄哪e 硒恤痂呲s 嘲妇 m 皿 c a m h 鹪也e a b i l i 蚵t 0s h 0 0 t7 2 0 ee v 1 0 8 0 ph dv i d e o h o w e v h o wt 0t r a n s m i tt h eh d i d c 0t o t h ec l i 钮t 谢t 1 1 伽t f a u l t s 蛆d d e l a 弘i s a k e y i s 瓣t o b e r e s o l v e d h 2 6 4v i d e oe n c o d i n gi sc o l m n o n l yl 塔e dt 0 胁c o d e 也ev i d e ol i r o mn 或w o r kc 缸n e 耽 锄dh 嬲b e e nw i d e l vu s e di nv i d e 0s 红煳仃跹s m i s s i o ni i l 埘鳕w o l i k b e c a 吣eo fi 妇l o w b i t m t e g o o di m a g cq 砌i 锣a n dg o o d 玳舸阳r i 鲫研删向唱f e a t u 懈 t h e 托f 1 0 r e 也e 位m s m i s s i o no fh 2 6 4 i d e 0i sak e p o i n to fw h e 也盯也eh dn e t o 呔 m 锨c 弛 b e c o m et l l en e x tg e n 锨石 s u r v c i l l 黜e 够咖e 毗b u t 出s om e 触o f t 1 1 i s 也e s i s r e 石m e1 h n s p o r tp r 砷d c o l 础r p i s 矩印p h c a l i l a y 贸n e t 0 出p m 妣0 l 础血睁璐c d 屯 蛔n s m i tr e a l t i m ev i d e 00 r 踟d i oi n o n 孤d 诵d e l y u s e di n 觚d i o 锄dv i d e oc 妇 饥c ea n d 彻l l t i c a s ta u d i oc 向 n c e n er f c 3 9 8 4d o c u 倒疵 d e s 嘶b e s 血er 限p a y l o a df o l m a tf o rh 2 6 4 柏e 0 t 0 胁s 血th 2 6 4 d e 00 v e rr t pi s a9 0 0 ds o l 砸 f 0 rt h et r a n s i n i s s i o np r o b l e mo fh 2 6 4v i d e 0a n di sm ek c yf e a t u 他0 f t h i st h e s i s t h i s 恤e s i st a i k sa b 伽tt h e 他s e a r c 血o fr e a l 七m e 仃缸i s m i s s i o no fh i g h d e f i n i t i v i d e o 蛐a me n c o d e di nh 2 6 4 b 勰e d0 nn l ea 2p c 蝴0 f 加n b a r e n ac 伽叩a n y 1 1 1 e 喇0 r w o r ki n 也i s 也e s i si st 0i m p l 锄咖也c r t pp a y l o a df o 删f o rh 2 6 4 d e o 觞 d e s c 曲e di nr f c 3 9 8 4d o c l l m e 峨i n c h l d i n g 也es i n g l en a lu n i tp a c k e t s 1 a p 一 s 圆 b m 1 16 m 1 衄2 4 f u aa n dn j b b 勰e d0 n 也i s 呻l 锄即觚o n 也e 咖s m i s s i o fh 2 6 4h dv i d e oo fa 2 口c a m 瑚i n gr 四咖s p o r tp r o t o c o li n j l i r e d 锄dw i r e l e s s 一ann e t w o 出e n 叫函舳e n t sh a sb e e nt e s t e d i ti sc o n f 蚰e dn l a 乞也e r e a l t i m e7 2 0 ph 2 6 4h dv i d e os 仃e a mi nr t pp 砌溉c 髓b ep l a y e ds m 0 0 廿蚵i n 也e l ane n v i r o n m 姐t n l i sr e s u i th a s 髓斌p r a 确c a lv a l u cf 0 r 也el l s e0 f 皿 c 蝴i ns u r v e i l l 锄c e k e y w o r d s r f c 3 9 8 4 h 2 肿 p c 铷 n 咖o r l c a m e r a 毒 0 目录 目录 第一章引言 1 1 1 口c a m 概述 1 1 1 1 口c m 的基本概念 一1 1 1 2 刀p c a m 的发展历史 2 1 1 3 口c 削 的特点 一2 1 1 4 口c j 蝴与一般网络摄像头的区别 一3 1 2 课题来源及意义 3 1 2 1 口c a m 的市场趋势 3 1 2 2 课题的现实意义 4 1 2 3 主要解决的问题 4 1 3 论文结构及内容安排 一5 第二章实时传输协议与h 2 6 4 视频编码的基本概念 6 2 1 高清视频定义 6 2 2 时实传输协议 6 2 2 1r t p 的应用场景 7 2 2 1 1 简单多播音频会议 7 2 2 1 2 音频和视频会议 8 2 2 1 3 混频器和转换器 8 2 2 1 4 分层编码 9 2 3r 1 p 的数据传输协议 9 2 3 1r t p 数据包头格式 9 2 3 2r t p 数据包头扩展 1 1 2 4h 2 6 4 视频编码标准 1 2 2 4 1h 2 6 4 的由来和发展 1 2 2 4 2h 2 6 4 视频压缩系统构成 1 3 2 4 3h 2 6 4 的主要特点 1 3 2 5 本章小结 1 4 第三章h 2 6 4 视频编码的r 皿负载协议分析 1 5 3 1h 2 6 4 视频编码的n a l u 头部 一1 5 3 2 缩写及定义 1 6 3 2 1 主要缩写 1 6 3 2 2 主要定义 一 l7 m 目录 3 3r t p 数据包头部与n a i j j 头部的具体设置 1 7 3 3 1 础呼数据包头部在h 2 6 4 的r t p 负载协议中的具体设置 1 7 3 3 2n a i i 头部在h 2 6 4 的砌瞪负载协议中的具体设置 1 8 3 4 打包模式及解码顺序号 1 9 3 4 1 打包模式 1 9 3 4 2 解码顺序号 d e c o d i n go r d 盱n u m b e r 2 1 3 4 2 1 解码顺序号 d o n 的使用范围 2 1 3 4 2 2 解码顺序号 d o n 的设置 2 1 3 5h 2 6 4 视频编码的不同负载包结构 2 2 3 5 1s i n g l en a lu n i tp k e t 2 2 3 5 2 聚合包 2 3 3 5 2 1 单时间聚合包 一2 4 3 5 2 2 多时间聚合包 2 7 3 5 3 分片单元包 3 2 3 5 3 1f u a 型分片包的结构 3 3 3 5 3 2f u b 型分片包的结构 3 4 3 5 3 3f u 标识结构及字段含义 3 4 3 5 3 4f u 头部结构及字段含义 3 5 3 6 本章小结 3 5 第四章口c a m 实时高清视频流传输的实现 3 6 4 1 安霸公司a 2 疋c 舢涯开发平台s d k 分析 3 6 4 1 1a 2 口c 剐 硬件组成图 3 6 4 1 2a 2 口c m 硬件视频编码流程 3 7 4 1 3a 2 口c a m 开发平台概览 一3 8 4 1 4a 2p c 气m 系统软件结构 3 9 4 1 5i a v 的状态机 一4 0 4 1 6i a v 应用程序接口分析 4 1 4 2 开发环境的搭建 4 2 4 2 1 工具链的安装 4 3 4 2 2 系统环境变量的设置 4 4 4 2 3 应用程序图形化开发环境的搭建 4 5 4 3h 2 6 4 视频编码的础田负载协议的实现 一5 0 4 3 1 主要数据结构 5 0 4 3 1 1 n a l u 头部结构定义 一5 0 4 3 1 2f u 头部结构定义 5 2 4 3 1 3n a u j 结构体定义 5 2 4 3 2h 2 6 4 视频编码的i 盯p 负载包的构造 5 3 目录 4 3 2 1s i n g l en a lu m tp a c k e t 的构造 5 4 4 3 2 2s t a p a 与s t a p b 包的构造 5 6 4 3 2 3m t a p l 6 与m t 灿 2 4 包的构造 5 8 4 3 2 4f u a 与丌j b 包的构造 6 l 4 4 口c a m 视频流传输的实现 6 4 4 4 1n a i i7 的获取 4 4 2r t p 数据包的构造与传输 6 5 4 5 本章小节 6 6 第五章口c a m 实时高清视频流传输的测试 6 8 5 1 单元测试 6 8 5 1 1g o o 西ec 测试框架介绍 6 8 5 1 1 1 基本概念 6 8 5 1 1 2 断言 6 9 5 1 1 3 基本断言 6 9 5 1 1 4 二进制比较 6 9 5 1 1 5 字符串比较 7 0 5 1 2 测试环境的搭建 7 l 5 1 3 测试过程 7 4 5 1 3 1 测试目标 7 5 5 1 3 2 测试结果 7 5 5 2 黑盒测试 7 9 5 2 1s d p 协议 8 0 5 2 2 测试程序的设计 8 2 5 2 3 测试结果 8 3 5 3 本章小节 8 4 第六章结论 8 6 6 1 全文总结 8 6 6 2 下一步工作建议 8 7 致谢 8 8 参考文献 8 9 v 第一章引言 第一章引言 本章主要介绍本论文所涉级到的一些背景概念 课题的来源以及论文中所要 解决的主要问题 并介绍本论文的主要章节安排 1 1l p c a m 概述 1 1 1i p c a m 的基本概念 m c w 是口c 锄e m 的缩写 即h l t e m c tp r o t o c o lc 锄e m 互联网协议摄像机 口c a m 是一种基于宽带网络的使用互联网协议进行图像数据和控制数据传输的闭 路电视摄像机 c l o s e d c i r c l l i tt e l 嘶s i o n 口c 蝴一般也被称为网络摄像机 像目前广泛使用的模拟信号闭路电视摄像 机一样 网络摄像机也一般用于安全监控领域 通常情况下 网络摄像机会与数 码录影机 d i 西t a lv i d e 0 融o r d c r 缩写为d 1 恨 或网络录影机 n e 钾o l l v i d e o r e c o r d e r 缩写为n 己 一起使用 来构建一个视频监控系统 由于网络摄像机通过互联网使用数据包进行数据传输 大大降低了布置监控 系统的成本和门槛 因此 网络摄像机使得家庭用户和普通公司用户都可以使用 个人计算机或者一部3 g 手机通过网络来查看网络摄像机所拍摄到的影像 l 下图为a x i s 公司生产的2 l l a 型网络摄像机 图1 1 脑s 公司2 1 1 a 型口c 锄e m l 电子科技大学硕士学位论文 1 1 2l p c a m 的发展历史 第一部网络摄像机是由崩s 公司于1 9 9 6 年发布的 这部网络摄像机运行着一 个自定义的w e b 服务器 来提供用户的访问 从1 9 9 9 开始 a x i s 公司开始使用 嵌入式i 油l x 系统来管理他们的网络摄像机 a x i s 公司同时也发布了他们网络摄 像机的底层a p i 文档 这套底层a p i 称为 心 是基于开放标准m i 甲协议和 r t s p 协议设计的 这一套开放的构架是为了鼓励更多的第三方软件厂商来开发与 a x i s 公司的网络摄像机相兼容的记录软件 随着时间的发展 网络摄像机所能支持的分辨率也在不停增长 目前 网络 摄像机可以支持一百万到一千万像素的图像 到目前为止 全世界已经有很多家生产网络摄像机的厂商 其中不光包括网 络安监的设备厂商 也包括了许多消费电子领域和广播领域的大生产制造商 2 1 1 1 3i p c a m 的特点 c 舢讧不仅能够拍摄视频 还能提供更好的视频质量 如7 2 0 p 甚至是1 0 8 0 p 的全高清画质 而且还有一定的图像处理能力 3 不仅如此 口c a m 还可以提供 更多更丰富的功能 比如移动追踪 人脸识别等 口c a m 的部署相对于传统模拟闭路电视设备要更简单 网络摄像机只需要一 根以太网线和电源线就可以正常地工作 不需要额外的专有线路 如果使用了p o e p o w e r e t l l 锄e t 以太网供电技术 就只需要一根以太网线就可以同时实现供 电以及视频的传输这两种功能 p c 创 的部署成本相对于传统的模拟安全监控设备要低 网络摄像机不需要 专有的视频传输线路 而且还支持多种网络传输协议 只需要一台个人计算机 就可以完成实时视频的监控 不需要专有的闭路电视系统来查看视频 p c 蝴不光可以应用于安全监控领域 还可以应用于视频直播和广播等方面 使得多路用户直接打开视频播放器就可以观看视频 m c 蝴是一个智能设备 可以运行更多的应用程序 例如啪服务器 视 频 图处理程序等等 4 j 2 第一章引言 1 1 4l p c a m 与一般网络摄像头的区别 疋c a m 能够摄制视频 并拥有一定的计算能力 可以对视频和图像数据进行 编码压缩及一些更高级的处理 而网络摄像头只能够抽摄制图像 并不能对图像 或视频进行处理 口c a m 拥有自己的p 地址 能够支持多种互联网传输协议 将数据传送至远 程的设备上 而网络摄像头需要依靠计算机才能够工作 由计算机将其摄制的图 像通过应用软件进行传输 用户可以通过互联网登录到口c a m 的w e b 服务器上 对p c a m 的相关参 数进行设置 而网络摄像头需要通过安装在计算机上的驱动程序进行其参数的设 置和调校 综上所述 p c a m 的功能是网络摄像头的超集 包含了网络摄像头的所有功 能 并提供了更多更丰富的应用 1 2 课题来源及意义 1 2 1i p c a m 的市场趋势 随着网络摄像机的逐渐普及 新的监控技术将带动企业更新已经建置好的模 拟闭路电视监控系统 这样的需求将会大大拉动网络摄像机的市场增长 同时 家庭安全监控市场也逐渐增长起来 未来网络摄像机的企业用户将以防盗与避免 入侵为普遍的需求 并会要求网络摄像机具有高品质的影像 便于集中管理以及 可以进行数字化分析这些功能 这样便于企业用户利用网络摄像机进行物体的移 动侦测 环境温湿度的感知 人脸识别及车牌识别操作 这些需求当中 高品质 的影像成为一个最基本的需求 相比原来的模拟闭路电视监控系统 新的网络摄像机的最大优势就在于 它 可以提供更高质量的视频影像 目前 在高清和标清网络摄像机应用中 m p e g 4 h 2 6 4 压缩格式成为主流 以h 2 压缩格式来说 与传统的视频编解码格式h 2 6 3 和m 腰e g 相对比 使用h 2 6 4 视频压缩格式能减少所需带宽 还可为有效的数据 块传输提供卓有成效的网络提取层 5 因此 基于h 2 6 4 压缩格式的视频流传输便 成为一个需要解决的重要课题 3 电子科技大学硕士学位论文 1 2 2 课题的现实意义 目前 实时传输协议 r e a l t i m et r 狃s p 矾p r o t o c o l 缩写为i 盯p 是应用较为 广泛的事实上的标准传输协议 这一协议被绝大多数视频播放器所支持 基于砌呼 协议的h 2 视频压缩格式的负载包格式也在i 江c 3 9 8 4 这一互联网标准文档中进 行了详细的描述 现今为止 i 唧协议在互联网上已经有多个开源项目对其进行了实现 然而 l 心c 3 9 8 4 所描述的h 2 6 4 视频编码的砌曙负载格式却没有相应的具体标准实现 本论文在这里就着重讨论了根据黜 c 3 9 8 4 文档的描述 如何设计和实现h 2 6 4 视 频编码的r t p 负载包的构造这一工作 实现r f c 3 9 8 4 文档中所描述的h 2 视频编码的r t p 负载打包工作 对于增 强网络摄像机的功能 普及网络摄像机的应用有着重要的意义 不同技术水平的 网络摄像机厂商可以使用这样一个现成的实现 来完善其生产的网络摄像机的功 能 可以降低很多技术能力不强的小厂商的开发门槛 为网络摄像机的市场推广 起到更好的作用 1 2 3 主要解决的问题 本论文主要解决以下问题 1 严格按照r f c 3 9 8 4 文档的描述 实现h 2 6 4 视频编码格式的不同r t p 负 载包的打包工作 包括 单一n a i i 包 s i n g l en a i i p a c k e t 单一时间戳聚合包 s i n 百en 呲a g g r c g 撕o np a c k e t 多时间戳聚合包 m 枷i t i m ea g 舯g 撕0 np a c k e t 分片单元包 脚删0 n u 1 1 i tp a c k e t 2 设计实现的时候要考虑到各种网络环境的数据包的最大传输单元 m a 岫t r 枷s s i o nu 1 1 i t 缩写为姗 做到根据不同的网络环境的m n 值的大小进r 曙的h 2 负载数据包大小的调整 并要考虑到软件运行在嵌入式 环境这一因素和实时性的要求 尽量减少内存的复制等操作 以提高软件运行性 能 3 测试负载包的完整性和正确性 4 第一章引言 1 3 论文结构及内容安排 此项目中 本人负责整个h 2 视频编码的r t p 负载协议的研究与实现 包 括协议实现的具体架构设计 编码调试及测试 论文主要结构如下 第一章着重介绍了m c 舢垤的基本概念 主要阐明了m c w 的特点 发展历 史以及p c a m 与一般网络摄像头的区别 并根据p c a m 的市场发展趋势说明了 本研究课题的项目来源 研究此课题的现实意义和本论文主要需要解决的问题 第二章着重介绍与本课题相关的几个重要概念 包括r p 的数据传输协议 高清视频的定义 h 2 6 4 视频编码的基本定义和相关特点 第三章详细分析h 2 视频编码的r t p 负载协议中所描述的不同负载包的格 式 将各种不同的负载包的结构特点进行归纳 第四章主要对安霸公司的a 2 口c 蝴s d k 进行具体分析 包括其p c 舢 硬 件组成 系统软件结构及其s d k 的应用编程接口的分析 并介绍如何基于a 2 p c a m 的s d k 搭建开发环境 并提出基于a 2m c a m 的应用程序的图形化界面 的开发环境搭建方法 第四章的后半部分主要叙述了基于a 2p c 蝴实现口c j 蝴 的实时高清视频流的传输 首先实现h 2 6 4 视频编码的r 四负载协议 第二步 基于安霸公司的a 2m c 触 开发板设计实现一个简单的视频传输测试程序 将 p c a m 实时拍摄到的高清视频通过网络发送到指定的p 地址 第五章对口c a m 实时高清视频流传输的测试 首先进行各个类的单元测试 再进行黑盒测试 在黑盒测试中 第一步 设计实现一个简单的传输程序 在 c a m 端将h 2 6 4 的r t p 数据包发送到指定口地址 在接收端 使用视频播放器对所接 收到的r 1 四h 2 6 4 视频流进行播放 测试前面对协议的实现的正确性 进而对前 面所实现的协议进行稳定性测试 并通过设置不同的姗值 测试在m n 的值 被设置为边界值的情况下 h 2 6 4 视频编码的r t p 负载包的构造情况 第六章结束语 总结口删实时高清视频流传输的研究工作 指出优化方案 以及下一步工作的研究方向 此次研究工作 开发平台为运行f e d o r a1 2l i n l l 操作系统的个人计算机 目 标平台为运行删l i n l l 的a 2p c a m 5 电子科技大学硕士学位论文 第二章实时传输协议与h 2 6 4 视频编码的基本概念 本章将从高清视频的定义入手 介绍r t p 协议的相关概念 并介绍h 2 视 频编码的基本定义 发展来源以及其特点 2 1 高清视频定义 高清是新一代的视频标准 它是一个系统 一种视频格式 而不是具体的一 台电视机或者摄像机 所以决不能把它与高清电视混为一谈 对于 高清 标准 的定义 目前还没有完全统一的标准 各国的发展进度也不一致 按照信息产业 部已确定上报的 数字高清显示器 草案 规定数字电视机的显示屏幕长与宽的 比例一定要为1 6 9 并且图像屏幕清晰度要达到7 2 0 线以上 低于这个分辨率的 视频 一般称为标清 高清 的英文缩写为 皿 全称为h i 曲d e 缸i t i 我们现在所称的高清 一般有三种显示格式 分别是 7 2 0 p 逐行扫描 分辨率1 2 8 0 x 7 2 0 1 0 8 0 i 隔 行扫描 分辨率为1 9 2 0 x 1 0 8 0 1 0 8 0 p 逐行扫描 分辨率为1 9 2 0 x 1 0 8 0 6 由于h 2 6 4 视频编码与以往的视频编码标准相比 在相同的图像质量情况下 h 2 6 4 视频编码有着更低的码率 因此 h 2 视频编码标准被普遍应用于高清视 频的编码当中 本论文所要讨论的p c a m 的高清视频流 就是基于h 2 6 4 视频编 码标准的视频流 2 2 时实传输协议 时实传输协议 r e a l t i i t r 粕s p o r tp r 咖c o l 缩写为i h p 是一个应用层的网 络传输协议 它是由匝t f 的多媒体传输工作小组于1 9 9 6 年在r f c l 8 8 9 中公布 国际电信联盟1 1 r u t 也发布了自己的r t p 文档 作为h 2 2 5 0 但后来当 吓发 布了关于它的稳定标准r f c 3 5 5 0 后 h 2 2 5 0 就被取消了 与r f c 3 5 5 0 同时发布 的还有l 江c 3 5 5 1 此文档描述的是时实传输控制协议 r 鼢l 越m e 脚o nc 伽加 l p r o t 0 c o l 缩写为r t c p 阴 6 第二章实时传输协议与h 2 6 4 视频编码的基本概念 r 啤在多点传送 多播 或单点传送 单播 的网络服务上 提供端对端的 网络传输功能 适合应用程序传输实时数据 如 音频 视频或者仿真数据 r t p 没有为实时服务提供资源预留的功能 也不能保证q o s 服务质量 数据传输功 能由一个控制协议 r t c p 来扩展 通过扩展 可以用一种方式对数据传输进行 监测控制 该协议 r t c p 可以升级到大型的多点传送 多播 网络 并提供最 小限度的控制和鉴别功能 i 唧和i p 被设计成和下面的传输层和网络层无关 在本篇文章中 只重点关注i 唧协议的相关内容 2 2 1r t p 的应用场景 以下章节描述了用到l 唧的一些方面 所举例子用来说明r t p 应用的基本操 作 但础呻的用途不限于此 在这些例子中 r t p 运行于p 和i j l 卯之上 并且 遵循i 己f c 3 5 5 l 所描述的音频和视频的配置文件中的约定 2 2 1 1 简单多播音频会议 肼的一个工作组开会讨论最新协议草案时 使用i i l t i 闭1 e t 的p 多播服务来 进行语音通讯 工作组中心分配到一个多播的组地址和一对端口 一个端口用于 音频数据 另一个端口用于控制 r t c p 数据包 该地址和端口信息发布给预定 的参与者 如果有私密性要求 则可用i 江c 3 5 5 0 文档章节9 1 中说明的方法 对 数据和控制包进行加密 这时就需要生成和发布加密密钥 分配和发布机制的精 确细节不在i 唧的讨论范围之内 每个与会者所使用的音频会议应用程序 都以小块形式 比方说持续2 0 毫秒 时间 来发送音频数据 每个音频数据块都前导i 唧报头 r 1 p 报头和数据依次 包含在切d p 包里 r 瞪报头指明了各个包里音频编码的类型 如p c m a d p c m l p c 这样发送方可以在会议过程中改变编码方式 以适应状况的变化 例如 要加进一个低带宽接入的参与者 或是要应付网络拥塞 h l t e m e t 像其他的报文分组网络一样 偶尔会丢失和重排包 造成时长不等的 延迟 为弥补这个不足 i m 报头里包含计时信息和一个序列号 允许接收方重 建来自源的计时信息 比如前文例子中音频块以2 0 s 的间隔在扬声器中连续播放 会议中 对每个r i p 包的源 单独地实施计时重建 序列号还被接收方用来评估丢 失包数目 7 电子科技大学硕士学位论文 由于会议期间不断有工作组成员加入或离开 因此有必要知道任意一个时刻 的实际参与者及他们接收音频数据的状况好坏 出于这个目的 会议中每个音频 应用程序的实例 都在r t c p 控制端口上周期性地多播一个附加用户名的接收报 告 接收报告指明了当前说话者被收听到的状况 可用于控制自适应性编码 除 了用户名外 通过控制带宽限度 可以包含其他标识信息 一个站点在离开会议 时发送i c p b 包 2 2 1 2 音频和视频会议 一个会议如果同时使用音频和视频媒体 则音频和视频传输时会使用不同的 础 p 会话 也就是说 两种媒体中r t p 包和l c p 包的传输 是使用两个不同的 i j l p 端口对和 或 多播地址 在r t p 层次 音频和视频会话没有直接的耦合 下面这种情况除外 一个同时参加两个会话的参与者 在两个会话的i 盯c p 包中 使用了相同的规范名 这样两个会话就发生关联 耦合 了 这样区隔开来的目的之一 是允许一些会议参与者只接受自己选择的单一媒 体 或者音频 或者视频 尽管两种媒体区分开来了 但通过两个会话i 盯c p 包 内载有的计时信息 同源的音频与视频还是能够同步回放 2 2 1 3 混频器和转换器 到目前为止 我们皆假设所有站点都收到相同格式的媒体数据 然而这并不 总是行得通 考虑一下这种情况 一个地方的参与者只能低速接入会议 而其他 大部分参与者都能享受高速连接 与其让强迫大家都忍受低速带宽 不如在只能 低速接入的地方 放置一个减低音频编码质量的r t p 层次的中继 称作混频器 混频器将重新同步输入的音频包 重建发送方产生的2 0 m s 固定间隔 混频已重建 过的音频流为单一的流 转换音频编码为低带宽格式 最后通过低带宽连接转发 数据包流 p a c l a g es 廿e 锄 这些包可能被单播到一个接收方 也可能多播到另一 个的地址而发给多个接收方 r r p 报头为混频器提供了一种方法 使其能辨识出 对混频后的包有用的源 从而保证提供给接收方正确的说话者指示 在音频会议中 一些预定参与者尽管有高带宽连接 但不能通过p 多播直接 接入会议 例如 他们可能位于一个不允许任何p 包通过的应用层防火墙后面 对这些站点 可能就不需要混频 而需要另一种称为转换器的r 1 四层次中继 可 8 第二章实时传输协议与h 2 6 4 视频编码的基本概念 以在防火墙两侧分别安装一个转换器 外侧转换器将所有多播包通过安全连接转 入内侧转换器 内侧转换器再转发给内部网的一个多播组 m u l t i c a s t 蛳 混频器和转换器可以设计成用于各种目的 比如 一个视频混频器在测量多 个不同视频流中各人的单独影像后 将它们组合成一个单一视频流来模拟群组场 景 又如 在只用p 舢d p 和只用s t 的两个主机群之间通过转换建立连接 再 如 在没有重新同步或混频时 用p a c k e t b y pa c k e t 编码转换来自各个独产的源的 视频流 2 2 1 4 分层编码 为了匹配接收方的接收能力以及适应网络拥塞 多媒体应用程序应当能够调 整其传输速率 许多应用实现把调适传输速率的责任放在源端 这种做法在多播 传输中并不好 因为不同接收方对带宽存在着冲突性需求 这经常导致最小公分 母的场景 网格中最小的管道支配了全部实况多媒体 广播 的质量和保真度 相反地 可以把分层编码和分层传输系统组合起来 从而把调适速率的责任 放在接收端 在口多播之上的r 1 噜上下文中 对一个横跨多个r t p 会话 每个 会话在独自多播组上开展 的分级表示信号 ah i 锄r c h i c a l l yr 印f e 溯l t e ds i 印a 1 数据源能够把它的分层 岫 分割成条 接收方仅需合并适当的多播组子集 就 能适应异种网络和控制接收带宽 从r r p 协议的应用场景中 我们可以了解到 i m 协议能很好地支持实时的 数据传输 而且考虑到了多种不同的应用情景 2 3r t p 的数据传输协议 本节将具体描述r t p 的数据传输协议 包括具体的r t p 数据包包头的描述以 及包头中个个字段的含义 2 3 1r t p 数据包头格式 r t p 数据包头是每一个r r p 数据包必须包含的部分 它标明了此r 1 p 数据包 所携带的数据类型 数据包顺序号 时间戳等重要信息 接收端 需要根据此包 头所描述的信息对被传输的数据进行重组 9 电子科技大学硕士学位论文 r t p 数据包头字段以下列格式组成 f d j j 誓曩 誓 0 二 f o o o o 曩j 善一譬 二翟 o j 驺 一i o 1 2 3 4 t5 6 7 8 9 0 1 2 3 4 一当 6 7 8 9 0 1 2 3 哇一5 6 7 8 9 o 一1 一 i 一 叶 叶 叶叶一 呻叶叶 叶一 叶叶寸 一 p j j l 忙2l pl x 卜 e j 一 i p t 卜j 一 一i s e 删零 粥心嚣 i ij l 州一 卜斗州 i 卜 一 卜 叶 卜 卜 卜 斗 卜一卜 i 卜 卜 一 l 一一j j 二 二i j f 二 一 j t i 砸e 暑t 锄咿 一j 一 i 一 j i 一二i 一 0 i 一 l p0 卜 卜 卜 卜 i 卜 卜十斗叶 卜h 卜 卜 卜 0 斗二卜 卜 卜斗 卜斗 卜斗 h 多 l 一j 二 i jj s y n d z o n i z a t i 叽 s o 啦c e s s r c j i d 耐i f i e r 二二0 二 jj 一 l 一 j 啦斗 刽斟斟爿 i 爿斟一 爿刮斟斟翻 i 一 爿 剐 i l c o n t r i b u t i n g g o u r c e 一1 s r c i d e n t i f i e r g ji it 一 j 1 0i j f j j i j j r 一 一 一 一i 一一 一 i 一 二一j ri i 一t r ji 一二 j 一一一一 l 一 舞 叶叶 o o o 叶0 4 叶 o o 一 o o 毒 图2 1r t p 数据包头格式 前1 2 个字节出现在每个r t p 包中 仅仅在被混合器插入时 才出现c s i 配识 别符列表 这些域有以下意义 版本 2 比特 此数据域定义了础曙的版本 此协议定义的版本是2 值 l 被r m 草案版本使用 值0 用在最初 v a t 语音工具使用的协议中 填充 p l 比特 若此填充比特被设置 则此数据包包含一到多个附加在末 端的填充字节 填充字节不算作负载的一部分 填充的最后一个字节指明可以忽 略多少个填充字节 填充可能用于某些具有固定长度的加密算法 或者用于在底 层数据单元中传输多个r t p 包 扩展 1 比特 若设置此扩展比特 此r t p 固定数据包头后面 必需且只 能跟随一个头扩展 c s r c 计数 c c 4 比特 c s r c 计数包含了跟在i 唧固定数据包头后面c s r c 识别符的数目 标志 m 1 比特 标志的解释由具体协议规定 它用来允许在比特流中标记 重要的事件 例如帧的边界 负载类型 p r 协议可以规定负载类型码和负载格式之间一个默认的匹配 其 他的负载类型码可以通过非i 唧方法动态定义 r t p 发送端在任意给定时间发出 一个单独的础叩负载类型 1 0 第二章实时传输协议与h 2 6 4 视频编码的基本概念 序列号 s e q 唧c en l 皿b e r 1 6 比特 每发送一个r t p 数据包 序列号加1 接收端可以据此检测丢包和重建包序列 序列号的初始值是不可预测的随机数值 以使即便在源本身不加密时 对加密算法的普通文本攻击 k w n p l a i n t i e x t 舭 蚰 哪t 也会更加困难 时间戳 t i m e s t a i n p 4 字节时间戳 反映了r 限数据包中第一个字节的采样 时间 时钟频率依赖于负载数据格式 并在描述文件 p m f i l e 中进行描述 也可 以通过i 唧方法对负载格式动态描述 如果r 皿包是周期性产生的 那么将使用 由采样时钟决定的名义上的采样时刻 而不是读取系统时间 例如 对一个固定 速率的音频 采样时钟将在每个周期内增加l 如果一个音频从输入设备中读取含 有1 6 0 个采样周期的块 那么对每个块 时间戳的值增加1 6 0 时间戳的初始值应 当是随机的 就像序号一样 如果几个连续的r 1 p 包是同时产生的 例如 属于 同一个视频帧的r i p 包 则这几个r t p 包将有相同的时间戳 如果传输的数据是 存贮好的 而不是实时采样等到的 那么会使用从参考时钟得到的虚拟的表示时 间线 以确定存贮数据中的每个媒体下一帧或下一个单元应该呈现的时间 s s r c 4 字节 用来识别同步源 标识符被随机生成 以使在同一个r t p 会 话期中没有任何两个同步源有相同的s s r c 识别符 尽管不同的源选择同一个 s s r c 识别符的概率很低 但所有r t p 实现工具都必须准备检测和解决冲突 若 一个数据源要改变本身的源传输地址 则必须选择新的s s r c 识别符 以避免被 当作一个环路源 c s r c 列表 o 到1 5 项 每项4 字节 c s r c 列表识别包含在此i 唧包中所 有负载的所有贡献源 识别符的数目在c c 域中给定 如果贡献源多于1 5 个 则 仅识别1 5 个 c s r c 标识由混合器插入 并列出所有贡献源的s s l 配识别符 例 如语音包 混合产生新包的所有源的s s r c 标识符都被列出 以便在接收端正确 指示参与者 2 3 2r t p 数据包头扩展 i m 提供扩展机制以允许实现个性化操作 某些新的与负载格式独立的功能 附加信息会要求在础曙数据包头中传输 此方法可以使其它没有扩展的交互忽略 此头的扩展 r 1 r p 数据包头扩展的格式如下图所示 1 1 电子科技大学硕士学位论文 o 二 一 tl j o 二 二j 一2 二 j 一 二 二二二 3 0 0 1 2 3 4 5 6 7 8 9 0 l 2 3 4 5 6 7 8 9 0 12 3 4 u5 6 7 8 9 01 j 一 斗 一 叶 一 一 一 j 卜 c l e f i m d b y p r o f i l e 一 一 一i 1 e n g t h i 一 一 一 一 o 叶 叶叶 一 一j 一 i i l l c a d e r e 盖t e 璐i o n i l 一 l jj j j j j 一i i 7 j 一 j l 一 图2 2r t p 数据包头扩展的格式 若r 1 限头部中的扩展比特位 x 被置l 则一个长度可变的头扩展部分被加 到r t p 数据包头之后 头扩展包含1 6 比特的长度域 指示扩展项中3 2 比特字的 个数 不包括4 个字节扩展头 r t p 数据包头之后只允许有一个头扩展 为允许 多个互操作实现独立生成不同的头扩展 或允许某种特定的实现有多种不同的头 扩展 扩展项的前1 6 比特被用来识别标识符或参数 这1 6 比特的格式由具体实 现的上层协议定义 基本的砌瞪说明并不定义任何头扩展本身 从这一节的内容可以看出 l 淝协议为实时传输做过专门的设计 能很好的 解决实时音频和视频的传输问题 而且r t p 协议能够支持多种不同的负载 h 2 6 4 视频编码就能很好地应用r t p 协议进行传输 8 j 2 4h 2 6 4 视频编码标准 2 4 1h 2 6 4 的由来和发展 视频联合工作组 j o 硫 d e ot e 锄缩写为n 叮 于2 0 0 1 年1 2 月在泰国p 蝴 成产 它由r r u t 和i s o 两个国际标准化组织的有关视频编码专家联合组成 n 呵的工作目标是制定一个新的视频编码标准 以实现视频的高压缩比 高 图像质量和良好的网络适应性等目标 目前j 呵的工作已被 u t 接纳 称为h 2 标准 该标准也被i s o 接纳 作为m p e g 4 的第1 0 部分 称为a v c a d v 锄c e d d e o c o d e c 标准 h 2 6 4 可分为三个档次 基本档次 是其简单版本 应用面广 1 2 第二章实时传输协议与h 2 6 4 视频编码的基本概念 主要档次 采用了多项提高图像质量和增加压缩比的技术措施 可用于s d t v 皿t v 和d v d 等 扩展档次 可用于各种网络的视频流传输 9 2 4 2h 2 6 4 视频压缩系统构成 h 2 6 4 视频编码标准压缩系统由视频编码层 v i d e 0c 0 d i n g 蛳缩写为v c l 和网络提取层 舭a b 删 脚缩写为 也 两部分组成 v c l 中包括 v c l 编码器与v c l 解码器 主要功能是视频数据压缩编码和解码 它包括运动补 偿 变换编码和熵编码等压缩单元 n a l 则用于为v c l 提供一个与网络无关的统 一接口 它负责对视频数据进行封装打包后使其在网络中传送 n a j l 采用统一的数据格式 包括单个字节的包头信息 多个字节的视频数据 组帧 逻辑信道信令 定时信息及序列结束信号等 包头中包含存储标志和类型 标志 存储标志用于指示当前数据不属于被参考的帧 类型标志用于指示图像数 据的类型 v c l 可以传输按当前的网络情况调整的编码参数 2 4 3h 2 6 4 的主要特点 h 2 主要有以下特点 h 2 没有烦琐的选项 而是力求简洁的 回归基本 它具有比h 2 6 3 更 好的压缩性能 又具有适应多种信道的能力 h 2 的应用目标广泛 可满足各种不同速率 不同场合的视频应用 具有较 好的抗误码和抗丢包的处理能力 h 2 6 4 的基本系统无须使用版权 具有开放的性质 能很好地适应p 和无线 网络的使用 这对目前互联网传输多媒体信息和移动网中传输宽带信息都具有重 要的意义 1 0 结合2 3 节与2 4 节的内容来看 h 2 6 4 视频编码可以