应用层流媒体测量方案

年4月19日应用层流媒体测量方案文档仅供参考，不当之处，请联系改正。应用层流媒体测量方案提纲：背景介绍测量的技术指标，功能（即该指标的作用）测量方案，包括测量系统的框架模型，测量的步骤和协议关键技术，关键问题分析方案特点和优点测量实例国内外的相关工作和参考文献应用层流媒体测量技术介绍背景：流媒体服务框架模型：图1：流媒体通讯过程图1[Measurementandanalysisofastreaming-mediaworkloadMeasurementandanalysisofastreaming-mediaworkload基本概念和方法：应用层流媒体测量技术是从流媒体最终用户的角度测量和评估流媒体服务的性能。应用层流媒体测量的基本方法是经过分布在网络不同地方的测量实体（一般称为agent），直接模拟用户流媒体应用程序，如realplayplayer或者mediaplayer获得流媒体播放的性能指标，如缓冲时间，重缓冲的次数。测量的结果直接反映了在用户看来流媒体服务的满意程度。因此，应用层流媒体测量对于流媒体服务商而言具有重要的意义。流媒体测量的目的和意义：构建流媒体测量平台的目的主要包括：1）提供测试，评估流媒体服务的平台。作为测试平台，流媒体测量能够为流媒体服务商提供中立的，可信的测量数据。这些数据不但能够作为流媒体服务性能的指标，也能够作为诊断流媒体服务故障的基础。2）测量对于流媒体相关的设备（流媒体服务平台）制造商提供在实际网络中的测量数据，对于制造商提高设备的性能，故障诊断有重要的意义；3）流媒体测量系统对于ISP的价值在于，首先它能够作为一种服务提供给用户，特别是提供流媒体服务的用户；其次，流媒体流量作为未来网络流量的重要组成部分，其性能能够反映ISP网络运行的性能，也为在网络设计中有效的支持流媒体业务提供了测量数据；最后，考虑到大规模流媒体测量对网络平台的要求，流媒体测量最适合由ISP构建。测量的指标或参数流传输性能指标（针对某个具体的流）：流性能指标能够刻画某个特定的流播放的性能，我们把流指标按照协议的层次划分为两层：用户级性能指标和网络层性能指标。其中用户级指标是从用户获得服务的角度来刻画流媒体的传输，而网络层指标则从网络传输性能的角度刻画流媒体传输。用户级性能指标包括请求时间，重定向时间，缓冲时间，重缓冲的时间和次数，有效播放的时间。网络层性能指标则包括传输速率（随时间的变化），包丢失率，网络的延迟/响应时间，帧速率（用于视频）。下面进行具体的介绍：用户级性能指标：请求时间：指用户（在测量系统中指agent）的流播放设备（如realplayer）根据流媒体对象的URL（例如rtsp://和mms://开头的URL）向流媒体服务器发出请求到开始数据缓冲的时间。请求时间衡量服务器响应的速率。重定向时间：如果流媒体服务需要把URL重新定向到另一个流媒体服务器中（在某些分布式流媒体服务结构中），则需要重定向时间。重定向时间能够定义为发出重定向的请求到开始重定向数据缓冲的时间。重定向时间能够和请求时间一样，都用于衡量服务器的响应性能。缓冲时间：从流媒体数据到达播放器到开始播放的时间。缓冲时间能够衡量媒体流数据传输的延迟和延迟抖动等性能，对流媒体播放的性能有直接的影响。重缓冲时间和次数：如果在播放过程中，流媒体数据不能达到播放的要求，可能需要重新进行缓冲。重缓冲的时间和次数网络层性能指标传输速率：传输速率表示从流媒体服务器到用户播放器的数据流的数据，该速率的大小直接影响播放的性能。传输的延迟抖动：延迟抖动能够定义为传输延迟的变化，延迟抖动影响播放器缓冲的时间和次数。包丢失率：包丢失率是指在传输中丢失的包和所有的包的比，丢包会影响播放的质量。帧速率：对于video而言，由于每个帧很大，需要多个包来传送，因此帧速率比包速率更能刻画传输的速率性能。服务器性能指标：服务器性能指标是从宏观上，不是针对某个具体的流来刻画整个流媒体服务器的服务性能。请求的连接成功率：定义为请求连接成功的次数占总的请求次数的比。请求的连接成功率能够衡量流媒体服务器提供服务的能力（可用性）。服务中止率：指在连接建立成功，可是在提供数据流的服务完成之前，由于其它原因终止服务占总的服务次数的比率。可能的原因包括流媒体服务器的负荷导致不再能提供服务，网络传输因素等。它反映流媒体服务的可靠性。同时支持的并发请求的数量以及对性能的影响：指一台流媒体服务器能同时支持多少个请求，当请求的数量增加时对服务的性能造成什么影响。该指标反映流媒体服务器的性能。其它相关信息：这些指标提供流媒体测量的附加信息。流媒体服务器的基本信息：如IP地址，OS，媒体服务的类型和格式。采用的流媒体服务平台信息，支持的流媒体协议，包括协议的名称，版本号。agent到流媒体服务器的traceroute信息如果流媒体服务平台由多个分布式流媒体服务器构成，这些服务器的分布细节等。测量方案测量的框架模型：测量的框架模型包括四层，包括：1）被测量系统（流媒体服务器）；2）分布式测量agent，3）测量控制中心；4）用户浏览器。其中测量控制中心能够细分为三部分，包括：1）为测量用户提供测量服务的Web服务器平台；2）测量agent管理，任务分布服务器；3）测量数据的收集，存储和分析服务器。图2显示了测量的各个部分的组成关系。流媒体服务器流媒体服务器流媒体服务器测量Agent测量Agent测量Agent测量Agent测量AgentAgent管理控制服务器测量数据处理服务器测量服务Web服务器用户浏览器用户浏览器用户浏览器测量控制中心图2：测量系统框架模型各部分的主要功能如下：测量agent：测量agent的主要功能是模拟最终用户获取流媒体服务，并根据获得的流媒体数据测量流媒体服务的性能。测量agent应该支持当前比较流行的媒体播放格式，如rm,asf,mov等。agent管理控制服务器：负责测量agent的管理和控制，包括经过和测量agent的交互协议，维护测量agent的状态，向测量agent发布测量指令，从测量agent处获得测量的原始数据。测量数据处理服务器：负责把来自各个测量agent的原始数据进行汇总，存储，并对数据进行不同层次的分析和处理。处理后的最终结果也保存在服务器中以便测量服务web服务器访问。测量服务web服务器：它实际上是为测量用户提供的web接口，经过该web服务器，需要测量服务的用户能够提交测量的请求，配置测量的要求和环境，并获得测量的结果。对测量用户的管理，如测量用户信息，计费等都由在该服务器完成。测量的基本步骤测量过程能够定义为从用户发出测量请求到用户获得最后的测量数据报告为止，测量系统需要进行的测量操作。具体的说，测量过程大致能够分为以下几个步骤：用户提交测量请求：用户提高的测量请求应该是一个合法的URL，该URL能够是一个流媒体的元文件，或者是一个指向该元文件的http的URL，也能够直接指向一个具体的流媒体文件。用户测量定制过程：用户能够经过web定制测量过程，例如设置测量agent的数量和范围，设置测量序列的相关属性等，我们在下一部分进一步的讨论。测量控制中心根据用户提交的URL解析出流媒体文件的位置（URL）。然后根据用户的设定（或者缺省的策略）选择测量agent和测量序列。Agent的选择和测量序列的生成我们在下一部分进一步讨论。控制中心把需要测量的URL和测量序列指令发送给相应的测量agent，测量agent执行测量的序列。每个测量agent在测量序列完成后，将测量的结果发回到测量控制中心。测量控制中心对所有agent测量的结果进行汇总，分析，最后以一定的形式（包括web页或者email）提交给用户。测量Agent管理协议测量agent作为测量的直接执行者，其管理和控制是整个测量系统的关键。测量agent的管理由测量控制中心的测量agent管理控制服务器（简称管理服务器）完成。在本部分，我们从三个方面讨论测量agent的管理：管理服务器中测量agent的状态配置表：该表维护管理服务器中注册的测量agent的状态信息，包括：测量agent列表：纪录agent的相关信息，如IP地址，网络连接类型，最大支持的测量任务数，操作系统，硬件配置等信息等等；测量agent状态：纪录agent的动态状态信息，如是否处于活动状态，正在运行的任务数（处于测量状态），活动的任务数等；认证信息：为了安全期间，管理服务器需要对测量agent进行安全认证。测量agent的配置表：在测量agent中需要维护的信息，主要包括：管理服务器信息：包括管理服务器的IP等相关信息，如果配置了备用的管理服务器，还应该纪录备用服务器的相关信息。管理服务器状态当前的测量任务队列交互协议：定义测量agent和管理服务器的交互过程。认证过程，在初始化时进行。测量agent状态更新，测量agent周期性的向管理服务器发送状态信息。如果在规定的周期管理服务器没有受到状态信息，管理服务器发送一个状态查询请求，以确保测量agent的存活性。（可选）测量任务测试（test）请求，这是一个可选过程，管理服务器能够在选择某个测量agent执行测量任务之前先运行一个测试过程，这个过程的主要目的是获得有关测量agent和被测量系统的距离（hops）等信息以便作出更好的选择。测试（test）结果返回。测量请求，测量请求中包含测量的URL和测量序列说明。测量序列包括测列的次数，测量的周期，每次测量的持续时间以及同步信息（需要并发测试的情况下）等。测量请求确认。测量agent在正确的理解了测量任务后发送测量请求确认，否则返回错误信息。测量进度报告和结果返回，在测量序列的每个测量完成后，测量agent向管理服务器发送进度报告并返回该次测量的结果。全部测量序列结束后，发送测量结束信息。关键技术分析测量agent的部署：测量系统的一个关键问题是确定测量agent在网络中的位置分布和数量。我们把测量agent的位置属性定义为两个：网络区域属性和网络层次属性。网络区域属性指该agent位于网络的拓扑位置，例如AS号，网络号等，它能够被简单的认为是一种横向得属性；网络层次属性指该agent位于网络的那个层次，如核心层，汇聚层，接入层（包括不同的接入方式：局域网接入，ADSL接入等），能够简单的理解为纵向属性。从测量的角度来看，这两个属性对测量的结果有不同的影响。横向属性反映拓扑区域对流媒体服务的影响，而纵向属性反映网络链路和传输介质对流媒体服务的影响。相对而言，后者的影响更为明显。基于上述定义，我们制定测量agent的部署如下：首先部署少量的测量agent在网络的核心和重要的区域，并对每种典型的接入网络类性部署一定数量的测量agent，例如在宽带接入网络，在城域网，在ADSL接入点等地点部署一定数量的测量agent。随着测量系统的扩展，Agent的数量逐步增加。测量agent的分布能够更加密集，在横向上的分布更广。这时可能需要选择分布式的管理服务器（在后面讨论）测量agent能够扩展到其它ISP网络中去，这些跨ISP的测量agent能够测量流媒体传输在跨越ISP时的性能。总之，测量agent的部署总的原则是逐步部署，先纵向部署，再横向发展。测量agent的选择在测量agent的数量较少的情况下，没有测量agent选择的问题，一般使用所有的agent进行测量，随着测量系统的扩大，测量agent数量的增加，对同一个流媒体服务采用所有的测量agent进行测量会导致浪费，而且不利于测量系统的扩展性，因此，一个需要解决的问题是如何选择测量agent。测量agent的选择和测量agent的部署是相关的，测量agent的选择问题也主要考虑被选择的agent的数量和分布。测量agent的选择的一个总的原则是和测量的要求相关。下面是选择测量agent的一些参考原则：选择agent的数量：实际上，被选择的agent的数量并非越多越好，测量agent的数量在达到一定数量后就不再对测量的结果有明显的意义。具体的数量可由试验确定或者根据测试的要求制定。选择agent的分布：同样，选择agent应该考虑这些agent的横向分布和纵向分布属性，避免选择具有同样分布属性的agent。由于某些分布属性（如hops）是相对于被测量的流媒体服务器而言的，因此，必要时需要启动测试（test）过程。选择agent考虑的其它因素：在候选的agent中选择需要考虑agent的当前状态，尽量是各个测量agent的负载均衡。agent的选择能够让用户参与，因为测量的要求是用户制定的，我们在用户定制服务中将进一步讨论这个问题。测量序列生成测量序列是对某个具体的流媒体服务的测量过程过程的描述。从宏观来看（整个测量过程），测量序列包含两个属性，一个是时间强度。能够表示为测量行为的时间分布。包括：测量的次数，相邻测量之间的间隔（如果是周期性测量，则表示为测量周期，如果是非周期测量，则定义为一些离散的时间地点），每次测量的持续时间。一个是空间强度。能够表示为同时发起的测量数。最终，测量序列会被细分到每个测量agent中，构成当个测量agent的测量序列，这时，测量序列仅有时间属性。测量序列的生成取决于几个方面的因素：测量的类性：周期性测量，按需测试。测量的要求：用户根据自己的需要对测量序列作出要求，例如对时间强度和空间强度的要求。测量agent的负载。用户定制的测量服务前面两个问题都指出测量服务和用户的测量的要求密切相关。因此，测量系统应该提供一个用户可配置的测量平台。即提供用户定制的测量服务以更好的满足用户对于测量的要求。例如用户对测量agent的选择，用户对测量序列的选择，以及用户对返回的测量结果的要求等等。用户定制的测量服务还便于为不同等级（费用不同）的用户提供不同等级的服务。用户定制测量服务的关