（通信与信息系统专业论文）码流综合测试仪的软件设计与实现.pdf

重庆邮电大学硕士论文 摘要 摘要 随着网络技术的发展，语音、数据和视频业务日益丰富，运营商推出多种多 样的视频业务；与此同时，用户对信息内容的多样化、个性化、画面的质量等方 面提出更高的要求，因此，对视频业务质量的检测十分重要。传统的测试仪通常 基于p c 机，不仅体积大、价格昂贵、而且只能用于单一环境，无法实现多测试点 长时间的实时监测分析、信息采集和报警管理工作。本课题研发的码流综合测试 仪可以帮助运营商在不同网络结点有效地对各项指标进行测量，迅速定位排查故 障源，实现高效的管理和维护工作，具有重要的研究意义和实际应用价值。 论文主要对码流综合测试仪的软件部分进行了设计和实现。论文首先分析了 码流测试仪研究的背景、现状和市场需求，阐述了流媒体相关技术、m p e g - 2t s 码流以及视频质量评估方法等基础理论知识。然后，论文根据码流综合测试仪的 功能需求，给出了一种基于a r m + f p g a 平台，w i n c e 嵌入式操作系统的总体设 计方案。最后，为了使软件结构具有良好的健壮性、可移植性以及可扩展性，论 文采用面向对象的软件开发方法和模块化的设计思想对软件总体架构进行了设 计，对软件各功能模块进行了划分，并对软件部分四个重要模块：界面显示模块、 参数配置模块、传输流t s 模块和媒体传输质量指标模块进行了详细的研究设计和 实现。 为验证论文设计方案的正确性，文章通过对现网中采集到的数据进行了分析。 测试结果表明：软件部分各功能模块工作稳定，能够正确的解析码流信息，清楚 的显示传输流中的内容，能检测传输流中出现的错误和异常，显示和记录错误事 件信息。最后，论文总结了研究工作并提出下一步展望。 关键词：码流测试仪，m p e g 一2 ，传送流，媒体传输指标 重庆邮电大学硕士论文 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e m e tt e c h n o l o g y , v o i c e ，d a t aa n dv i d e os e r v i c e sg r o w r a p i d l ya n do p e r a t o r sl a u n c hav a r i e t yo f v i d e os e r v i c e s ，a tt h es a l t l et i m e ，a tt h es a m e t i m e ，u s e r sp r o p o s eh i g h e rr e q u i r e m e n t sf o rd i v e r s i t ya n dp e r s o n a l i z e dc o n t e n ta n d p i c t u r eq u a l i t y , t h e r e f o r e ，t h ed e t e c t i o no f t h ev i d e os e r v i c eq u a l i t yi sv e r yi m p o r t a n t m o s to ft h et r a d i t i o n a lt e s t e ra r eb a s e do np c ，b u l k y , e x p e n s i v e ，a n dc a no n l yb eu s e di n as i n g l ee n v i r o n m e n t i tc a n tm e e tt h er e q u i r e m e n t so fl o n gr e a l t i m em o n i t o r i n g ， g a t h e r i n gi n f o r m a t i o na n dm a n a g i n ga l a r mi nd i f f e r e n tt e s tp o i n t s t h e r e f o r e ，t h es t r e a m a n a l y z e rt h a tw ed e v e l o p e dc a nh e l po p e r a t o r se f f e c t i v e l ym e a s u r ed i f f e r e n ti n d i c a t o r s i nd i f f e r e n tn o d e s ，q u i c k l yl o c a t ea l a r ma n de f f i c i e n t l ym a n a g ea n dm a i n t a i nn e t w o r k t h es t u d yi so f g r e a ts i g n i f i c a n c ea n dp r a c t i c a lv a l u e t h i st h e s i sm a i n l yd i s c u s s e st h ed e s i g na n di m p l e m e n t a t i o no fs t r e a ma n a l y z e r s s o f t w a r e f i r s t l y ，i ta n a l y z e st h es t a t u s ，b a c k g r o u n da n dm a r k e td e m a n do ft h es t r e a m a n a l y z e r , d e s c r i b e st h eb a s i ct h e o r yo fs t r e a m i n gm e d i at e c h n o l o g y ，m p e g 一2t r a n s p o r t s t r e a ma n dv i d e oq u a l i t ya s s e s s m e n tm e t h o d sa n ds u m su pf u n c t i o n a lr e q u i r e m e n t s u n d e rt h i st h e o r e t i c a lk n o w l e d g e ，t h ep a p e rp r o p o s e sa no v e r a l ld e s i g nw h i c hb a s e do n a r m + f p g ah a r d w a r ep l a t f o r ma n de m b e d d e dw i n c es o f t w a r es y s t e m t h e n , t a k i n g s t r u c t u r a lr o b u s t n e s s ，p o r t a b i l i t ya n de x t e n s i b i l i t yi n t oc o n s i d e r a t i o n ，t h ea u t h o ra d o p t s t h eo b j e c t - o r i e n t e dm e t h o da n ds t r u c t u r a lm e t h o dt od e s i g nt h eo v e r a l la r c h i t e c t u r eo f t h es o f t w a r ea n dd i v i d et h ei m p l e m e n t a t i o nm o d u l e ，a n db r i e f l yd e s c r i b e st h eo p e r a t i n g p l a t f o r ma n dd e v e l o p m e n te n v i r o n m e n t f i n a l l y , t h ed e s i g na n di m p l e m e n t a t i o no f s e v e r a li m p o r t a n tm o d u l e s ，s u c ha s d i s p l a ym o d u l e ，c o n f i g u r a t i o nm o d u l e ，t r a n s p o r t s t r e a mm o d u l ea n dm d ii n d e xm o d u l ea r ed e s c r i b e d i no r d e rt ov e r i 匆t h ea c c u r a c yo fp r o p o s a l ，t h ea c t u a ld a t ac o l l e c t e df r o mn e t w o r k a r ea n a l y z e d t h er e s u l t ss h o wt h a t ，t h em o d u l ed e s i g n e di nt h ep a p e ro p e r a t e ss m o o t h l y , p a r s e st h es t r e a mc o r r e c t l ya n dd i s p l a y st h ec o n t e n t so f s t r e a me x p l i c i t l y ；i ti sa l s oa b l e t od e t e c te x c e p t i o n si nt h et r a n s p o r ts t r e a ma n dd i s p l a yt h ee r r o re v e n ti n f o r m a t i o n k e yw o r d s ：s t r e a ma n a l y z e r ，m p e g 一2 ，t s ，m d i i i 重庆邮电大学硕士论文 缩略语 英文缩写 a d s l b a t b s p c a t c d n d r m d v b e i t e m m f p g a ) e i p i p t v i s m a 1 m d i m l r m p e g n i t n m s p a t p c r p e g p d p m t p s i p t s q o e q o s r s t 缩略语 中文译文 非对称数字用户环路 业务群关联表 板级支持包 条件接收表 内容分发网络 数字版权管理 数字音频广播 事件信息表 授权管理信息 可编程门阵列 电子集成驱动器 互联网协议 互联网协议电视 互联网流媒体联盟 视频联合工作组 媒体传输质量指标 媒体丢包率 运动图像专家组 网络信息表 网络管理系统 节目关联表 节目时钟参考 电子节目指南 包标识符 节目映射表 节目特定信息 时间同步信息 用户体验 服务质量 运行状态表 英文全称 a s y m m e t r i cd i g i t a ls u b s c r i b e rl i n e b o u q u e ta s s o c i a t i o nt a b l e b o a r ds u p p o r tp a c k a g e c o n d i t i o n a la c c e s sr 出1 e c o n t e n td e l i v e r yn e t w o r k d i 西m lm # tm a n a g e m e n t d 蟛t a la u d i ob r o a d c a s t i n g e v e n ti n f o r m a t i o nt a b l e e n t i t l em a n a g em e s s a g e f i e l d - p r o g r a m m a b l eg a t ea r r a y i n t e g r a t e dd r i v ee l e c t r o n i c s i n t e m e tp r o t o c o l i n t e m e tp r o t o c o lt e l e v i s i o n i n t e r a c ts t r e a m i n gm e d i aa l l i a n c e j o i n tv i d e ot e a m m e d i ad e l i v e r yi n d e x m e d i al o s sr a t e m o v i n gp i c t u r ee x p e r tg r o u p n e r w o r ki n f o r m a t i o n 仉l b l e n e t w o r km a n a g e m e n ts y s t e m p r o g r a m a s s o c i a t i o nt a b l e p r o g r a mc l o c kr e f e r e n c e p a r s i n ge x p r e s s i o ng r a m m a r p a c k e ti d e n t i f i e r p r o g r a mm a p p i n gt a b l e p r o g r a ms p e c i f i ci n f o r m a t i o n p r e s e n t a t i o nt i m es t a m p q u a l i t yo fe x p e r i e n c e q u a l i t yo fs e r v i c e r u n n i n gs t a t u st a b l e v 重庆邮电大学硕士论文缩略语 r t p r t c p i 玎s p s d k s d t s i s t s t b t d t t s t o t u d p v s p q v s t q 实时传输协议 实时控制协议 实时流式协议 软件开发工具包 业务描述表 业务信息 填充表 机顶盒 时间和日期表 传输流 时间偏移表 用户数据报协议 视频服务画面质量 视频服务传输质量 r e a l t i m et r a n s p o r tp r o t o c o l r e a lt i m ec o n t r o lp r o t o c o l r e a l t i m es t r e a m i n gp r o t o c o l s o f t w a r ed e v e l o p m e n tk i t s e r v i c ed e s c r i p t i o n 疋山l e s e r v i c ei n f o r m a t i o n s m i t i n gt l b l e s e t t o pb o x t i m ea n dd a t et a b l e t r a n s p o r ts t r e a m t i m eo f f s e tt a b l e u s e rd a t a g r a mp r o t o c o l v i d e os e r v i c ep i c t u r eq u a l i t y v i d e os e r v i c et r a n s m i s s i o nq u a l i t y v i 重庆邮电大学硕士论文 插图清单 插图清单 第二章 图2 1 流媒体系统架构图4 图2 2 运动处理原理图6 图2 3 图像组原理图6 图2 4 交互式音频视频服务所需的应用层协议。7 图2 5m p e g 2t so v e ri p 方式的流传输协议栈9 图2 6m p e g 2 系统简化框图1 0 图2 7m p e g 2t s 语法结构简图1 1 图2 8p s i 表与传送流对应关系1 3 图2 9 程序关联表语法结构1 4 图2 1 0 程序映射表语法结构1 5 第三章 图3 1 码流综合测试仪方案2 2 图3 2 系统硬件系统结构框图2 3 图3 3 码流综合测试仪的软件系统架构框架图2 4 图3 4 系统软件处理流程图2 6 图3 5w i n d o w sc e 应用程序的开发流程2 7 图3 6v i s u a ls t u d i 0 2 0 0 5 应用程序的开发环境2 8 第四章 图4 1 码流检测分析界面原始设计图3 0 图4 2 系统参数配置模块流程图3 3 图4 3t s 模块处理流程3 6 图4 4 数据包预处理流程示意图3 6 图4 5 同步字节错误、同步丢失错误检测流程图3 8 图4 6 数据传输错误检测流程图3 9 图4 7p i d 管理流程图4 0 图4 8 连续计数错误检测流程图4 4 图4 9p s i s i 解析模块框架图。4 6 图4 1 0p a t 表解析流程图4 7 图4 11p a t 相关错误检测流程图4 8 图4 1 2p m t 表解析流程图4 9 v 重庆邮电大学硕士论文插图清单 图4 13 计算抖动5 3 图4 1 4d f 计算原理一5 4 图4 1 5 有效负载s j 处理流程5 5 图4 16 获取到达时间处理流程图5 6 图4 1 7m l r 算法原理5 7 图4 1 8m l r 算法实现处理流程图k 5 8 第五章 图5 。l 现网测试环境数据采集示意图6 0 图5 2 基本信息6 1 图5 3t r1 0 12 9 0 测试结果6 2 图5 4p s i s i 语法分析结果6 2 图5 5p m t 表详细解析结果6 3 图5 6p m t 表中描述子结构和单元流结构6 3 图5 7s d t 表语法结构和业务描述子结构6 4 图5 8 模拟空闲网络下m d i 测试结果6 5 图5 9 模拟繁忙网络下m d i 测试结果6 5 v 重庆邮电大学硕士论文插表清单 插表清单 第二章 表2 1 两种流传输技术的区别1 0 表2 2t s 包头各字段语法1 1 表2 3 程序专用信息p s i 12 表2 4p a t 表中相关字段含义。1 4 表2 5p m t 表中相关字段含义l5 表2 6d v b s i 信息表16 表2 7 第一等级告警错误。1 6 表2 8 第二等级告警错误1 7 表2 9 第三等级告警错误。1 7 第三章 表3 1 码流综合测试仪功能需求2 0 表3 2 硬件方案优缺点比较2 1 表3 3 操作系统优缺点比较2 1 第四章 表4 1 计数器定义4 3 i x 重庆邮电大学硕士论文 第一章绪论 1 1 研究背景 第一章绪论 随着信息技术的飞速发展，社会信息化的不断推进以及新业务的不断涌现， 促使人们建立一个统一的信息通信网络把各种信息业务统一起来，以满足用户对 多样信息和服务的需求。2 0 1 0 年1 月1 3 日国务院总理温家宝主持召开国务院常务 会议，决定加速推进电信网、广播电视网和互联网三网融合【l j 。经过电信业重组和 推进移动互联网进程，我国已进行经历了单网、两网融合，进入当前的以广电网 为重点的三网融合的阶段，网络新纪元即将到来1 2 j 。三网融合将给通讯行业以及数 字内容产业带来巨大的变化，随着网络的融合，话音、数据和视频业务更加丰富， 信息服务业务向数据、话音、图像、视频等多媒体综合业务转变，人们对信息内 容的多样化、个性化，画面的质量，用户体验等方面提出了更高的要求p j 。 流媒体技术作为交互式系统中的关键技术之一，它将连续的影像和声音信息 经过压缩处理后放到网络服务器，用户可一边下载一边观看收听【4 j 。不管是正在推 进网络数字化和双向化升级改造的有线电视网，还是以交互式音视频数据服务为 主流的电信网口t v 业务，流媒体技术的应用，很大程度上将使网络传输音视频难 的局面得到改善，充分满足了人们对交互式音视频数据业务的需求。 随着数字媒体业务的不断推广，运营商必须有一套完整的终端用户体验质量 保证体系【5 1 ，对网络和设备进行有效的用户体验性能验证、监测和故障诊断。在多 媒体数据流的传输过程中，对码流的监测和分析尤为重要，基于以上背景，本文 提出一种有效的码流检测方案，通过码流综合测试仪监测了解码流信号和服务的 状况，从而及时采取相应的措施保证系统的正常工作。码流综合测试仪的开发既 希望能对广电网数字电视系统的各个环节进行分析、检测和故障定位，又能应用 于互联网协议电视业务运营全过程中，在不同网络结点有效地对各项指标进行测 量，迅速定位排查故障源，帮助运营商高效地实现对网络的管理和维护工作。 1 2 国内外研究现状 数字电视技术的成熟促使电视网络数字化进程飞速加快，与此同时，三网融 合推进了有线电视网络数字化和双向化的升级改造【2 】，也使得不同网络平台趋向于 承载实质相似的业务，如广电网数字有线电视业务和电信网互联网协议电视业务。 重庆邮电大学硕士论文第一章绪论 运营商纷纷推出多种视频业务，因此，对视频业务质量的监测显得尤为重要。目 前市场上，对视频业务监测的仪器主要有：码流分析仪和i p t v 测试仪。 国内外码流分析仪的研究工作展开的比较早，在m p e g 一2 标准颁布不久，码 流分析仪就相继问世，惠普、w w g 、r & s 和t e k t r o n i x 等公司都推出了各自的码 流分析仪。这几家的产品都各有特点，其核心都是基于p c 机的硬件平台，性能比 较稳定，但是产品的价格比较昂贵，同时不便携带，给作业带来了极大的不便【6 】。 随着应用规模的不断扩大，在一个场合下，要求对较多的测试点进行长时间的实 时码流监测分析、系统信息采集和报警管理工作，显然，昂贵的基于p c 的测试设 备无法满足这种需求1 7 。 目前国内也有一些公司开发p t v 测试仪，这些测试仪基本上都可检测视频流 的网络传输质量、码流质量和网络配置等。国内p t v 测试仪市场，进口仪表占据 大部分市场份额，这些测试仪均为英文界面，按键操作、显示界面小，人机接口 非人性化，且价格昂贵，难以满足国内日益增长的要求量【8 】。因此，研发一款应用 于不同网络的多功能码流综合测试仪具有十分重大的意义。 随着电子技术、集成电路工艺技术、软件等技术的发展，国内外生产厂商逐 步转向便携式测试仪的开发，普遍采用以d s p 、f p g a 或a r m 基于嵌入硬件平台 的设计方法。测试设备具有稳定性高、功耗低、处理速度快、产品升级方便等特 点，能满足实时检测、动态记录和离线分析等方面的需求；同时又能让设计人员 提高开发效率，缩短产品设计周期，实现最快的上市。 本文提出的码流综合测试仪设计方案正是紧跟通信测试设备的发展趋势，有 效地对网络中传输视频的q o s ( q u a l i t yo fs e r v i c e ，服务质量) 和q o e ( q u a l i t yo f e x p e r i e n c e ，体验质量) 的各项指标进行测量，迅速定位排查故障源，优化网络性能， 提高用户体验质量，帮助运营商高效地实现对网络的管理和维护工作。 1 3 主要研究内容 本文的主要任务是设计及实现码流综合测试仪的软件部分，主要包括软件的 总体设计，软件工作流程和主要模块的设计与实现。本论文选择界面模块、参数 配置模块、传输流模块和媒体流模块四个模块进行详细阐述，实现对码流基本信 息的统计( 节目相关信息和p i d 相关信息) 、t r1 0 12 9 0 三级告警事件的监测、p s i s i 信息表的详细解析以及对视频传输质量指标m d i 的算法研究；并分析、统计测试 结果，自动生成分析报告，处理后的结果可以保存到数据后台存储模块，也可以 交由界面模块显示。 2 重庆邮电大学硕士论文 第一章绪论 在码流综合测试仪的软件开发过程中，本人主要参与完成了以下几项工作： 码流综合测试仪的市场调研工作： 媒体流技术、m p e g 2t s 码流基础理论的研究； 码流综合测试仪的需求分析 在实验室老师指导下参与测试仪的软件整体结构设计； 完成部分子模块详细设计，实现了软件界面、参数配置模块、传输流t s 指标模块和媒体流模块等功能模块； 完成子模块的功能测试，并对测试结果进行分析； 完成相关文档的编写和整理。 1 4 论文组织与结构 论文对流媒体相关技术、m p e g 2t s 流和视频流质量评估方法等基本理论知 识进行介绍，同时描述了软件系统的概要设计，重点剖析了部分子模块的详细设 计和实现。文章具体组织结构如下： 第一章：绪论。分析了码流综合测试仪的研究现状与需求，阐述了本课题的 研究背景和主要研究内容。 第二章：流媒体相关技术简介。主要介绍了流媒体相关技术、m p e g 2t s 码 流的基本理论知识和相关视频流质量监测标准。 第三章：码流综合测试仪系统设计。首先，介绍了码流综合测试仪的需求分 析，并论证提出测试仪的总体设计方案。然后，阐述了测试仪的软件总体架构和 处理流程，并简单介绍了应用程序开发环境。 第四章：码流综合测试仪的软件设计与实现。本章为论文的重点，详细阐述 了界面模块、参数配置模块、传输流模块和媒体流模块的设计与实现。 第五章：测试过程与结果分析。对子模块的功能进行验证，通过对采集到的 真实数据进行分析，验证模块开发的正确性，并对测试结果进行了分析。 第六章：结束语。总结本文所做工作以及展望下一步工作。 3 重庆邮电大学硕士论文第二章流媒体相关技术分析 第二章流媒体相关技术简介 本章首先介绍了流媒体的相关技术，包括系统架构、编码技术、传输协议及 技术，然后阐述了流媒体传输流的基本理论知识，最后介绍了视频流质量评估方 法。这是实现码流解析的基本理论知识。 2 1 流媒体相关技术分析 流媒体技术是网络音视频技术发展到一定阶段的产物，是一种解决多媒体播 放时带宽问题的“软技术，【9 1 ，是一种融合了流媒体数据采集、压缩、存储、传输 以及网络通信等多项技术的新的媒体传送方式；其主要技术特征是采用流式传输 将动画、音视频等多媒体文件进行压缩编码形成一个个压缩数据包，由视频服务 器向用户计算机连续、实时传送，用户可以边下载观看。下面将介绍流媒体的系 统架构，编码技术和传输协议及技术。 2 1 1 流媒体系统架构 为了给予多媒体用户前所未有的传播主体性和双向互动性，获得服务质量上的 优势，越来越多的在线网络服务商采用流媒体服务解决方案，不管是广电视频服 务还是基于电信妒网络的视频业务，都在大力采用流媒体等技术开展宽带增值业 务，因此，在系统架构上两者具有很高的相似性，主要的区别在于它们的传输网 络和客户终端的接入方式有所不同，其流媒体服务平台系统主要包括媒体编码器、 流媒体服务器、视频业务管理媒体发布系统、传输网络和客户端系统等，其结构 如图2 1 所示。 图2 1 流媒体系统架构图 4 翅 遵 重庆邮电大学硕士论文 第二章流媒体相关技术分析 媒体编码器：将原始的媒体文件或图像等实时媒体数据通过压缩编码技术制 作成适合网络传输的文件格式，即形成流媒体格式的传输流，然后将流式文件存 储于媒体文件存储器中，这种方式主要用于点播业务；对于直播业务则直接将流 式文件传送到媒体服务器。 媒体服务器：响应调度服务器中来自于w e b 服务器转发的用户请求，控制流 媒体的数据传输，通过网络传输协议将流式文件发送到客户终端。 视频业务管理媒体发布系统：视频业务管理媒体发布系统主要完成点播频道 管理、广播频道管理和网络电视频道管理，负责将节目流提交到终端客户。包括 观看方式、节目内容、收费确认服务等，不仅可以控制节目的录制、直播、传送、 管理终端的观看和服务器负载的调整，还可以随意添加、修改或删除视频节目， 实现轻松管理用户视频节目的访问。 传输网络：支持多媒体传输协议或实时传输协议的网络。 客户端系统：主要是重现流媒体系统提供所有实时多媒体服务，通过客户端 用户能远程链接点播页面，并能够顺利的浏览、查询和点播节目。 2 1 2 流媒体编码技术 音视频压缩编码技术是多媒体计算机、多媒体数据库、多媒体通信、数字电 视和交互式系统中的关键技术【1 0 】，它也是流媒体技术的核心之一。它将原来不适 合当今网络传输的大体积文件转化成可以适合网络传输的小体积文件的关键，通 常称之为压缩编码技术。文件传输到用户端，将编码后的数据流恢复成原来的音 视频信号，就是所谓的解码过程。编解码的方案是多种多样的，流媒体技术的核 心价值在于能尽可能降低文件大小且保证音视频的质量。 流媒体的本质是媒体，流是媒体传递过程中的一种表现形式。媒体的编码本 质就是音视频的编码，然后将两者同步传送，形成媒体流。如前面所说，流媒体 编码方法在于降低文件大小，使之能够减少带宽压力，即除了要做到和传统编码 相同的功能外，压缩是流媒体编码的重点考虑因素。目前得到市场认可的压缩编 码技术主要由i s o 的移动图像专家组( m p e g ) 开发的m p e g 系列标准、微软的 w m v 标准，以及1 1 r u t 和i s o 两个国际标准化组织的有关视频编码的专家联合 组成的t ( j o i n tv i d e o t e a m ，视频联合工作组) 开发的h 2 6 4 标准。目前运用最 广泛的编码技术是m p e g 标准，所以下面重点研究m p e g 编码标准和原理。 m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ，移动图像专家组) ，它隶属于国际标准 化组织i s o 和国际电工委员会i e c 名下，由该组织规定的视频编码标准就被成为 m p e g 标摧1 1 】【1 2 】【1 3 】。它的主要特点是利用运动补偿来减少图像在时间方向的冗余 5 重庆邮电大学硕士论文 第二章流媒体相关技术分析 度，以达到大幅度压缩图片信息的目的【1 2 】。目前已有m p e g 1 ，m p e g 2 ，m p e g 4 等几种标准。 m p e g 编码是采用运动估值和运动补偿编码技术，是一种帧间编码的方法， 它保证了一定图像质量下有高的码率压缩比。其原理是利用两帧之间有很大的相 似性，减少空间冗余度【1 3 】。通常电视节目中只要画面镜头不切换，前后帧运动图 像的内容差别不大，一般情况下仅仅很少一部分在运动，因此，只需要知道画面 哪部分在运动，其运动方向和位移是多少，就可以从前一帧图像中预测出当前帧 图像。又由于运动预测会有误差，需要对帧间预测差信号进行压缩编码和传送， 因此只需要传送运动矢量和帧间预测差值，帧间差值比较少小，可以用短的码字 发送，从而大幅提高压缩码率，其原理如图2 2 所示。 传送 图2 2 运动处理原理图 前向预测 后向预测 图2 3 图像组原理图 m p e g 图像编码包含有三种类型图像：i 帧、p 帧和b 帧【1 1 】【1 3 】【1 4 】。 i 帧称为i 图像或称i n t r a 图像，用于本帧内的数据进行编码图像，不参照其他 帧，是完整的独立编码帧，按照运动处理原理理解，i 帧就等于是一连串相同画面 的背景。为了保证图像有高的质量，所以i 帧的压缩比一般不高，约在( 2 5 ) ：1 的范围内，在一个图像组内的第一编码帧应为i 帧。 p 帧称为p 图像或称p r e d i c t 图像，前向预测编码图像。p 帧是根据前面最靠 6 重庆邮电大学硕士论文第二章流媒体相关技术分析 近的i 帧或p 帧最为参考对象，进行前向预测编码的图像。由于p 帧使用了补偿 压缩方法，压缩比高于i 帧，可达到( 5 - 1 0 ) ：l 的范围。p 帧可作为b 帧和后面 的p 帧的参考帧。 b 帧成为b 图像或称双向预测图像，b 帧是根据一个过去的参考帧和一个将 来的参考帧进行双向预测的编码图像。其参考帧可以是一个i 帧和p 帧，或者前后 两个p 帧。由于b 帧是在两个参考帧基础上进行预测得出的，它的预测精度可以 达到很高，所以其压缩比很大，可达到( 2 0 3 0 ) ：1 范围。 一系列的i 帧、p 帧和b 帧组成图像组( g o p ) ，在m p e g 编码规范中，对于 图像组的长度、内部含有多少个i 帧、p 帧和b 帧，或者以哪种帧结尾没有规定， 这些均可由设计者来决定。例如下图2 3 所示，图中的g o p 含有7 个帧，其中包 括1 个i 帧，2 个p 帧和4 个b 帧。 2 1 3 流媒体传输协议 为了使流媒体数据在网络服务器与客户端之间进行传输，提供交互式音频视 频服务，流式传输的实现必须选择合适的传输协议，下面对这几种协议的特点进 行介绍，如图2 4 给出了多媒体体系结构中的三种应用层协议【1 5 】。 信令 应用层协议 厂里 、 品音孑频 甲粥胃甲甲 音视频服务器音视频服务器 上ji i p v 4 用p v 6 i 底层网络 图2 4 交互式音频视频服务所需的应用层协议 实时传输协议与实时传输控制协议r t p r t c p r t p 为交互式音频视频服务提供端到端的传送服务。如果底层网络支持多播， r t p 还可使用多播向多个目的端点发送数据。r t c p 是与r t p 相配合使用的协议， 是r t p 协议不可分割的部分，r t p 负责传送具有实时特征的多媒体数据，而r t c p 的功能是进行服务质量监控与反馈、媒体间同步，以及多播组中成员的标志。 r t c p 分组周期性地在网上传送，它带有发送端和接收端对服务质量的统计报 告信息( 如已发送的分组数和字节数、分组到达时间间隔的抖动、分组丢失等) ， 7 重庆邮电大学硕士论文 第二章流媒体相关技术分析 据此可对r t p 的数据收发作相应调整使之最大限度地利用网络资源【l 5 1 。 实时流式协议r t s p r t s p 是为了给流式过程增加更多的功能而设计的协议，用于控制具有实时特 征数据的传输。它本身并不传送数据，而仅仅是使媒体播放器能够控制多媒体流 的传送，同时该协议致力于控制多个数据传送会话，提供了一种在u d p 、组播u d p 和t c p 等传输通道之间进行选择的方法，也为选择基于r t p 的传输机制提供方法。 r t s p 协议以客户服务器方式工作，实际上是一个应用层的多媒体播放控制协 议，用于媒体服务器的远程控制，使得用户在播放从因特网下载的实时数据时能 够进行诸如：暂停继续、快退、快进等多媒体播放控制，因此r t s p 又称为“因 特网录像机遥控协议”。 资源预定协议r s v p 与传统数据对比，音频和视频数据流对网络的延时更敏感，除带宽要求之外， 还需其他条件。使用r s v p 预留一部分网络资源( 即带宽) ，能在一定程度上为流 媒体的传输提供服务质量，但是r s v p 没有提供多媒体数据的传输能力，它只有 配合其它实时传输协议( 如r t p 协议) 才能完成多媒体通信服纠1 6 】。 r s v p 是网络中预留所需资源的传送通道建立和控制的信令协议，通过预留网 络资源建立从发送端到接收端的路径，即在面向无连接的网络上，增加了面向连 接的网络；它不仅利用了面向无连接网络的多业务承载能力，又提供了接近面向 连接网络的质量保证。 通用因特网邮件扩充协议m i m e 针对简单邮件传输协议( s m t p ) 不能传送可执行文件或其他为二进制对象、 限于传送7 位的a s c i i 码等缺点，提出了m i m e 协议。它是是s m t p 的扩展，没 有改动或取代s m t p ，m i m e 说明了如何安排消息格式使消息在不同的邮件系统内 进行交换，其格式灵活、允许包含任意类型的文件比如：文本、图像、声音、视 频及其它应用程序的特定数据。 正是通过使用m i m e ，w e b 服务器和w e b 浏览器才可以识别流媒体并进行相 应的处理。因为w e b 服务器和w e b 浏览器都是基于h t t p 协议，而h t t p 又是利 用内建的m i m e 标记w e b 上繁多的多媒体文件格式，浏览器最终通过m i m e 标记 识别流媒体的类型，并调用相应的程序或p l u g - i n ( 插件) 来处理文件。 2 1 4 流媒体传输技术 完成流媒体的压缩编码以后，流媒体如何在网络上有效传输成了另一个需要 考虑的重要问题。不同的流传输技术将决定不同的视频编解码格式，也将决定不 8 重庆邮电大学硕士论文 第二章流媒体相关技术分析 同的视频有效载荷。流传输包括了流会话的建立、数据包封装格式、数据包传输 格式、用户的暂停快进快退请求处理等，对应的流传输技术包括了流控制协议、 文件打包格式、流传输协议掣1 7 1 。当前在互联网协议电视系统中，主要采用的流 传输技术主要为i s m a 方式和m p e g 2t so v e ri p 方式。 i s m a ( i n t e r a c ts t r e a m i n gm e d i aa l l i a n c e ) 即互联网流媒体联盟，i s m a 规范 范围涵盖音视频编解码、文件格式、流传输机制和参考s d k 。2 0 0 1 年2 月发布的 i s m a l 0 版本规定了基于m p e g - 4 的音视频格式和流传输，2 0 0 5 年4 月发布的 i s m a 2 0 版本在1 0 版本基础上，扩充了对h 2 6 4 标准的支持。其目标就是制定互 联网流媒体编码器、服务器和播放器之间的开放标准，其原则是最大程度的利用 现有互联网国际标准。 m p e g 一2t s 参考标准为i s o i e c13 818 1 。m p e g 2t s 是广播电视领域广泛采 用的流传输标准。m p e g 2t s 标准定义了复用一个或多个音频、视频和数据元素 流的方法，应用于互联网协议电视。媒体数据经过m p e g 2t s 封装后，再通过 t c p i p 协议栈，封装成m 数据包通过网络进行传输，在传输过程中由u d p 传输 音视频数据，t c p 传输控制消息【18 1 ，控制平台采用实时控制协议r t c p 和实时流 协议r t s p 负责管理和控制数据包的发送【1 9 1 ，在数据平台中采用实时传输协议r t p 以防止网络的抖动，保证实时数据的传输。m p e g 2t so v e ri p 方式流传输协议栈 如图2 5 所示。 媒体数据、p s i s i 信息 1r传输协议栈 数据平台控制平台 r t p唧 r t s p ttt + u d p t c pl a y e r i pl a y e r t - ：r 基本流2音频流lp i d = 1 0 8基本流2音频流p i d = 5 4 7 恩 基本流3 音频流2p i d ：1 0 9基本流3私有数据p i d = 雨6 0 解密棚 i c a 系统2节目1 5 的 节目1 的节目1 的 翼矬k 统1 视频流视频流音频流lp a t 表 私有数据r 言孑1髓似 p i d = 6 6 0 。一p i d = 5 1 3 p i d ：1 0 7p i d ：1 0 8 t fl 条件访问删的p i dc 系统i c a 系统2 一棠忏 r 羽 c 系统n c a t 表p i 嘞x o 1 髀e g - 2 传送流 图2 8 p s i 表与传送流对应关系 从图中可以清楚看到使用p s i 信息从码流中选择所需节目的过程，首先从传 送流中找到程序关联表，p a t 表p i d 值是固定的o x 0 0 0 0 ，p a t 表中包含了各路节 目号，如上图中的节目o 、l 、2 、1 5 、x 、y ，其中节目o 固定用于网络信息 表，其它的节目号可由用户自定义，p a t 表中定义了程序映射表p m t 的p i d 值，