2011年揭阳移动端到端用户感知评估体系建立与优化项目-基于Gb口信令的KPI统计--PS业务.docx

2011年揭阳移动端到端用户感知评估体系建立与优化项目30 (30)Prepared (also subject responsible if other)杨汉河Approved:杨汉河Checked: Date:2011-11-28Rev:V1.0Reference:2011年揭阳移动端到端用户感知评估体系建立与优化项目基于Gb口信令的KPI统计PS业务（10月30日至12月10日）广州瀚信通信科技股份有限公司1概述目前的2G网络，PS域的业务主要包括网页浏览、手机QQ、彩信、FTP下载和手机流媒体。通过Gb口信令数据结合PS域业务流程，从而统计得出各类成功率指标、各类时延、业务完成率和下载速率等指标，同时结合话务统计得出覆盖率，从而获得PS域业务体验相关的系列KQI分析数据，最终建立PS域的端到端用户感知评估体系。网页浏览业务用户感知评估手机QQ业务用户感知评估彩信业务用户感知评估FTP下载业务用户感知评估手机流媒体业务用户感知评估PS域端到端用户感知评估体系2PS域端到端用户感知评估体系模型搭建步骤在揭阳移动的配合下，选定主要覆盖普宁城区的JYM06B4和JYM06B5两个BSC，有重点地开展数据采集分析和建模工作。工作步骤如下：2.1 Gb口信令采集： 网元：JYM06B4和JYM06B5 数据采集时段：JYM06B5：2011年11月07日-2011年11月11日 24小时JYM06B4：2011年11月14日-2011年11月18日 24小时 采集方式： Gb口为接入网与核心网的交互接口，用户使用数据业务访问PS域需通过Gb口与各网元进行交互，进而与互联网连接。通过对Gb口上的数据进行采集分析，可以研究各种数据业务的用户行为特征，本次信令数据采集根据现网中Gb链路的类型采用Interquest信令仪表进行采集。2.2 数据预处理（利用M-TRIX软件）： 混合：多个接口数据包进行合并 解包 ：如针对Gb口存在多个协议层消息进行解包 组包：针对彩信和流媒体业务，为了适应传输，以上业务在发送前进行了数据分拆。 2.3 流程定义定义标准的业务流程，便于数据提取。以WAP为例，在统计web服务器连接成功率时，需要定义的消息有，终端向服务器发出的“syn”；服务器向终端回复的“ack,syn”；终端再回复服务器的“ack”。 2.4 数据入库根据定义的信令流程定制M-TRIX软件所需的FD和FS，然后利用M-TRIX软件Dump出数据库。2.5 统计分析数据入库完成后，利用SQL对抽取出的信令消息进行统计分析，例如统计PDP 激活成功率 等。 3PS域各业务KPI-KQI模型的确定3.1 网页浏览业务KQI与KPI聚类映射模型3.1.1网页浏览信令流程： 终端用户发起Web网页浏览 建立无线侧的信息交互 终端与核心网之间的交互（Attach和PDP激活） DNS查询交互 终端与Web服务器之间的交互，包括TCP三步握手、网页获取及完成 终端与Web服务器断TCP 去PDP激活 释放空口l 其在M-TRIX中的定制FS为：3.1.2 网页浏览业务KQI定义：l 信号良好率信号强度高于特定门限值（例如-84dBm）的抽采次数占总抽样次数的比例l 网页打开成功率指终端用户输入欲访问的网址并回车后，终端能够与相应的Web服务器建立TCP连接，并且Web服务器对终端发起的第一个HTTP Get，即：GPRS附着成功率*PDP激活成功率*DNS查询成功率*web服务器TCP连接成功率*web服务器响应成功率*100%l 网页打开时延指从“Web连接成功率指终端用户输入欲访问的网址并回车”到“终端能够与相应的Web服务器建立TCP连接，并且Web服务器对终端发起的第一个HTTP Get或Post请求成功响应”之间的时间间隔。即：GPRS附着平均时延+PDP激活时延+ DNS查询时延 + web服务器TCP连接时延 + web服务器响应时延（毫秒）l Web服务未完成率指终端与web服务器之间成功建立TCP连接后，无法完成网页或网页元素下载的概率。即：1-网页打开成功率。l 网页下载速率指用户打开网页过程中，每秒内终端接收到网页实体的字节数。即：终端发出get或post请求后接收到的相应的HTTP 数据段字节数之和/从“终端发出get到或post请求”到“终端收到与该请求相应的response消息”之间的时间间隔（KB/s）3.1.3 网页浏览业务与KQI相关联的KPI指标的定义：l RxLevel依据DT和CQT测试得到的信号强度高于特定门限值（例如-84dBm）的抽采次数占总抽样次数的比例l Attach附着成功率SGSN返回Attach Accept消息的次数/终端发起Attach Request消息的次数*100%l PDP激活成功率终端收到Activate PDP Context Accept消息的次数/终端发起Activate PDP Context Request消息的次数*100%l DNS查询成功率终端收到DNS服务器成功回复的次数/终端向DNS服务器发起查询请求Query的次数*100%l Web服务器TCP连接成功率Web服务器收到终端“TCP ACK”响应消息的次数/终端向Web服务器发出“SYN”消息的次数*100%l Web服务器响应成功率Web服务器成功响应HTTP Get或Post请求的次数/终端发起的HTTP Get或Post请求的次数*100%l Attach附着平均时延指从“终端向SGSN发起Attach Request消息”到“终端收到Attach Accept消息”之间的时间间隔。GPRS附着不区分具体业务。l PDP激活平均时延指从“终端发起PDP上下文激活请求”到“终端成功激活PDP上下文”之间的时间间隔。PDP激活时延不区分具体业务。l DNS查询平均时延指从“终端向DNS服务器发起查询请求”到“终端收到DNS服务器成功回复”之间的时间间隔。DNS查询时延不区分具体业务。l Web服务器TCP连接平均时延指从“终端发起TCP同步消息”到“终端能够与Web服务器成功建立TCP连接”之间的时间间隔。l Web服务器响应平均时延指从“终端向Web服务器发出HTTP GET请求”到“终端收到Web服务器成功响应”之间的时间间隔。 具体统计公式如下表：业务KQI相关联KPI相关KPI统计方法(M-TRIX统计公式)网页浏览信号良好率RxLevel话统提取+测试统计（dbm）网页打开成功率Attach成功率Attach_accept/Attach_Request*100%PDP激活成功率PDP_Act_accept/PDP_Act_Request*100%DNS查询成功率Response/Query*100%Web服务器TCP连接成功率SYN_Ack/SYN*100%Web服务器响应成功率Response/Get2X*100%网页打开时延GPRS附着平均时延AVG（Attach_Accept_delayFirst）（ms）PDP激活时延AVG（PDP_Act_Accept_delayFirst）（ms）DNS查询时延AVG（Response_delayFirst）（ms）web服务器TCP连接时延AVG（SYN_Ack_delayFirst）（ms）web服务器响应时延AVG（Response_delayFirst）（ms）Web服务未完成率（1-网页打开成功率）*100%网页下载速率Content_Length/ Response_delayFirst（核对）（KB/s）3.1.4 网页浏览业务KPI指标统计：KPIRxLevel（dbm）Attach成功率（%）PDP激活成功率（%）DNS查询成功率（%）Web服务器TCP练级成功率（%）Web服务器响应成功率（%）Attach时延（ms）PDP激活时延（ms）DNS查询时延（ms）Web服务器TCP连接时延（ms）Web服务器响应时延（ms）Web服务未完成率（%）网页下载速率（KB/s）JYM06B4JYM06B53.1.5 网页浏览业务KQI指标统计KQI信号良好率(%)网页打开成功率(%)网页打开时延(ms)Web服务未完成率(%)网页下载速率(KB/s)JYM06B4JYM06B53.2 手机QQ业务KQI与KPI聚类映射模型 3.2.1 手机QQ信令流程： 手机发起QQ业务应用请求后，首先将建立无线连接，并接着完成GPRS附着和PDP激活流程建立无线侧的信息交互 与QQ服务器建立TCP连接 手机与QQ服务器的业务信息交互以“push，ack”形式进行的，相应的“ack”对接收的信息进行确认 从业务流程分析，在QQ业务中TCP传输数据包若以“push，ack”的形式出现，表明TCP传输层一旦收到TCP数据包就会传送给应用层3.2.2 手机QQ业务KQI定义：l 信号良好率信号强度高于特定门限值（例如-84dBm）的抽采次数占总抽样次数的比例l 手机QQ业务接入成功率指终端与QQ服务器成功TCP连接的几率。即：当tcp.dstport=14000时，QQ服务器收到终端的“ACK”响应消息的次数/终端向QQ服务器发出“SYN”消息的次数*100%。对应于“QQ服务器TCP连接成功率”，即：（Three-way Handshake 中Ack总次数）/（Three-way Handshake 中SYN总次数）*100%。l 手机QQ业务接入时延指终端与QQ服务器成功TCP连接的时延。即：当tcp.dstport=14000时，从“终端发起TCP同步消息”到“终端能够与在线QQ服务器成功建立TCP连接”之间的时间间隔。对应于“QQ服务器TCP连接时延”，即：Three-way Handshake 中（Ack消息的时间-SYN消息的时间）的平均值（毫秒）。l QQ上行信息交互失败率指QQ服务器无法收到终端发来的信息的概率。即：1-（QQ用户向服务器发出的得到Ack确认的消息的总次数）/（QQ用户向服务器发出的消息的总次数）*100%l QQ下行信息交互失败率指终端无法收到QQ服务器发来的信息的概率。即：1- （服务器向QQ用户发出的得到Ack确认的消息的总次数）/（服务器向QQ用户发出的消息的总次数）*100%。l QQ上行信息交互时延指在数据采集端口从“收到用户发往QQ服务器的push，ack消息”到“收到QQ服务器返回的相应确认消息ack或push，ack”之间的时间间隔l QQ下行信息交互时延指在数据采集端口从“收到QQ服务器发往用户的push，ack消息”到“收到用户返回的相应确认消息ack或push，ack”之间的时间间隔3.2.3 手机QQ业务与KQI相关联的KPI指标的定义：l RxLevell QQ服务器TCP连接成功率指终端能够与QQ服务器成功建立TCP连接的几率。即：当tcp.dstport=14000时，（Three-way Handshake 中Ack总次数）/（Three-way Handshake 中SYN总次数）*100%。l QQ服务器TCP连接时延从“终端发起TCP同步消息”到“终端能够与在线QQ服务器成功建立TCP连接”之间的时间间隔。即：当tcp.dstport=14000时，Three-way Handshake 中（Ack消息的时间-SYN消息的时间）的平均值（毫秒）。 具体统计公式如下表：业务KQI相关联KPI相关KPI统计方法(M-TRIX统计公式)手机QQ信号良好率RxLevelDT和CQT测试手机QQ业务接入成功率QQ服务器TCP连接成功率tcp.dstport=14000时：Ack/SYN*100%手机QQ接入时延QQ服务器TCP连接时延tcp.dstport=14000时：Syn_delay=AVG(Ack_delayFirst)QQ上行信息交互失败率tcp.dstport=14000时：1-(Ack_Push/Push_UP_Ack_Total*100%)（验证）QQ下行信息交互失败率tcp.dstport=14000时：1-(Ack_Push/Push_Down_Ack_Total*100%)QQ上行信息交互时延tcp.dstport=14000时：AVG(Push_UP_Delay)QQ下行信息交互时延tcp.dstport=14000时：AVG(Push_Down_Delay)3.2.4 手机QQ业务KPI指标统计：KPIRxLevelQQ服务器TCP连接成功率（%）QQ服务器TCP连接时延（ms）JYM06B4JYM06B53.2.5 手机QQ业务KQI指标统计KQI信号良好率（%）QQ业务接入成功率（%）QQ业务接入时延（ms）QQ上行信息交互失败率（%）QQ下行信息交互失败率（%）QQ上行信息交互时延（ms）QQ下行信息交互时延（ms）JYM06B4JYM06B53.3 彩信业务KQI与KPI聚类映射模型3.3.1 彩信信令流程： 手机发起彩信发起请求后，首先将建立无线连接，并与WAP网关建立TCP连接 WAP网关与彩信中心建立TCP连接 手机通过WAP网关向彩信中心发出m-send-req消息，请求发送彩信 手机通过WAP网关向彩信中心发送彩信实体 彩信中心成功接收完彩信实体后，通过WAP网关向手机发送m-send-conf消息，确认彩信已经成功接收1）当彩信中心通过M-NOTIFICATION.IND 消息将 PUSH短信发送给手机后，手机自动识别后马上发起连接提取彩信2）手机发起提取请求后，将建立无线连接，并与WAP网关建立TCP连接。然后，WAP网关与彩信中心建立TCP连接。3）手机通过WAP网关向彩信中心发起HTTP Get请求提取彩信。4）彩信中心通过WAP网关向手机发送彩信实体。5）彩信中心通过WAP网关向手机发送的m-retrieve-conf消息是对Get请求的响应消息，其中携带了对彩信实体的信息描述，包括信息长度、信息类型等。6）手机接收完成彩信实体后，在自动提取的情况下，手机向网络提交M-notifyresp-ind消息，并指示彩信已经成功提取，即Status 参数里面的“Retrieved”。在手动提取的情况下，手机向网络提交m-acknowledge-ind消息，确认彩信已经成功提取。3.3.2 彩信业务KQI定义：l 信号良好率信号强度高于特定门限值（例如-84dBm）的抽采次数占总抽样次数的比例l 彩信发送成功率指用户成功将彩信发送至MMSC的几率，即：GPRS附着成功率*PDP激活成功率*WAP网关TCP连接成功率*彩信上传成功率*100%。l 彩信发送时延指从“终端用户点击发送彩信”到“用户看到发送成功提示”之间的时间间隔，即：GPRS附着平均时延+PDP激活时延+wap网关TCP连接时延+彩信上传时延（毫秒）l 彩信接收成功率指终端用户成功下载彩信的次数占终端用户自动或手动请求连接下载彩信的次数的比例，即：GPRS附着成功率*PDP激活成功率*WAP网关TCP连接成功率*彩信下载成功率100%。l 彩信接收时延指从“终端用户自动或手动请求连接下载彩信”到“终端用户成功下载彩信”之间的时间间隔。即：GPRS附着平均时延+PDP激活时延+wap网关TCP连接时延+彩信下载时延（毫秒）3.3.3 彩信业务与KQI相关联的KPI指标的定义：l RxLevell Attach附着成功率不区分业务，与网页浏览业务中相应的关联KPI相同l PDP激活成功率不区分业务，与网页浏览业务中相应的关联KPI相同l Web服务器TCP连接成功率不区分业务，与网页浏览业务中相应的关联KPI相同l 彩信上传成功率指终端成功将彩信上传至MMSC的次数占终端发起彩信发送请求的次数的比例。即：MMSC发出“m-send-conf”消息且其响应状态为“ok”的次数/终端发出“m-send-req”消息的次数*100%l Attach附着平均时延不区分业务，与网页浏览业务中相应的关联KPI相同l PDP激活平均时延不区分业务，与网页浏览业务中相应的关联KPI相同l Web服务器TCP连接平均时延不区分业务，与网页浏览业务中相应的关联KPI相同l 彩信上传时延指从“终端向wap网关发出彩信发送请求”到“终端收到Web服务器发出的彩信发送配置消息”之间的时间间隔。即：MMSC发出“m-send-conf”消息且其响应状态为“ok”到终端发出“m-send-req”消息的时间间隔。l 彩信下载成功率指终端成功下载彩信的次数占终端发起彩信接收请求的次数得比例。即：终端向MMSC发出“m-notifyresponse-ind”或“m-acknowledge-ind”消息的次数/终端向MMSC发出“get”请求的次数*100%。l 彩信下载时延指从“终端向wap网关发出彩信提取请求”到“终端成功下载彩信”之间的时间间隔。即：终端向MMSC发出“get”请求到终端向MMSC发出“m-notifyresponse-ind”或“m-acknowledge-ind”消息的时间间隔。 具体统计公式如下表：业务KQI相关联KPI相关KPI统计方法(M-TRIX统计公式)彩信信号良好率RxLevel话统提取+测试统计彩信发送成功率Attach成功率(Attach_accept/Attach_Request)*100%PDP激活成功率(PDP_Act_accept/PDP_Act_Request)*100%Web服务器TCP连接成功率(SYN_Ack/SYN)*100%彩信上传成功率（M_Send_Conf / M_Send_Request）*100%彩信发送时延GPRS附着平均时延AVG（Attach_Accept_delayFirst）PDP激活时延AVG（PDP_Act_Accept_delayFirst）web服务器TCP连接时延AVG（SYN_Ack_delayFirst）彩信上传时延AVG（M_Send_Conf_delayFirst）彩信接收成功率Attach成功率(Attach_accept/Attach_Request)*100%PDP激活成功率(PDP_Act_accept/PDP_Act_Request)*100%Web服务器TCP连接成功率(SYN_Ack/SYN)*100%彩信下载成功率mmse.status=Retrieved时：(M_Send_Conf /get)*100%彩信接收时延GPRS附着平均时延AVG（Attach_Accept_delayFirst）PDP激活时延AVG（PDP_Act_Accept_delayFirst）web服务器TCP连接时延AVG（SYN_Ack_delayFirst）彩信下载时延mmse.status=Retrieved时：AVG（M_Retrieve_Conf_delayFirst）3.3.4 彩信业务KPI指标统计：KPIRxLevelAttach成功率（%）PDP激活成功率（%）Web服务器TCP练级成功率（%）彩信上传成功率（%）Attach时延（ms）PDP激活时延（ms）Web服务器TCP连接时延（ms）彩信上传时延（ms）彩信下载成功率（%）彩信下载时延（ms）JYM06B4JYM06B53.3.5 彩信业务KQI指标统计KQI信号良好率（%）彩信发送成功率（%）彩信发送时延（ms）彩信接收成功率（%）彩信接收时延（ms）JYM06B4JYM06B53.4 流媒体业务KQI与KPI聚类映射模型3.4.1 流媒体业务信令流程： 客户端与流媒体服务器通过TCP三次握手协议建立连接 客户端用Options方法询问服务器支持的方法，同时，向流媒体服务器提供客户端流媒体的播放软件型号及版本号等信息。服务器应该在公共回应头里列出它所支持的所有方法 客户端向服务器发送Describe请求，以获取服务器上媒体文件的描述：如音/视频编解码格式，媒体流格式以及所需的带宽等信息；而在其对应的Reply消息里包括SDP信息 客户端向服务器发出Setup请求，当客户端收到成功的回复后，客户端进入“Ready”状态，客户端界面会提示“准备好”。 客户端向服务器发出Play请求，服务器开始传输由Setup指定传送方式的媒体流。Play可以指定需要传输的流文件的时间段，如指定开始时间和结束时间。当客户端收到Play请求的成功响应后，客户端进入“Playing”状态。 Pause请求使得流传输被临时暂停（中断） Teardown消息停止相应的媒体流传输，释放相关的会话资源l 其在M-TRIX中定制FD如下图：3.4.2 流媒体业务KQI定义：l 信号良好率信号强度高于特定门限值（例如-84dBm）的抽采次数占总抽样次数的比例l 流媒体打开成功率指终端向服务器发出play请求并得到成功响应的次数占终端向流媒体服务器发出syn请求的次数的比例。即：服务器返回对play请求的成功响应消息且响应码为“200”的消息的次数/终端向流媒体服务器发出syn请求且TCP目标端口号为554的消息的次数*100%。l 流媒体打开时延指终端向流媒体服务器发出syn请求消息到终端向服务器发出play请求并得到成功响应之间的间隔时间（毫秒）l 流媒体完整播放率指流媒体正常播放至结束的次数占流媒体开始播放的次数的比例。即：客户端发起pause或teardown请求的次数/服务器返回对play请求的成功响应消息且响应码为“200”的消息的次数*100%。l 流媒体下载速率指单位时间内客户端收到的流媒体数据字节数。即：客户端收到的流媒体数据字节数/对应的流媒体数据下载所用的时间。其中：计时起点是：服务器返回对play请求的成功响应消息，响应码为“200”。计时终点是：终端向服务器发出“pause或teardown”消息。3.4.3 流媒体业务与KQI相关联的KPI指标的定义：l RxLevell 具体统计公式如下表：业务KQI相关联KPI相关KPI统计方法(M-TRIX统计公式)流媒体信号良好率RxLevel话统提取+测试统计流媒体打开成功率流媒体打开时延流媒体完整播放率流媒体下载速率3.4.4 流媒体业务KPI指标统计KPIRxLevelAttach成功率（%）PDP激活成功率（%）Web服务器TCP练级成功率（%）彩信上传成功率（%）Attach时延（ms）PDP激活时延（ms）Web服务器TCP连接时延（ms）彩信上传时延（ms）彩信下载成功率（%）彩信下载时延（ms）JYM06B4JYM06B53.4.5 流媒体业务KQI指标统计KQI信号良好率（%）流媒体打开成功率（%）流媒体打开时延（ms）流媒体完整播放率（%）流媒体下载速率（KB/s）JYM06B4JYM06B53.5 FTP下载业务KQI与KPI聚类映射模型3.5.1 FTP下载业务信令流程： 终端以一个随机端口x与FTP服务器的控制端口21经过三次握手建立连接，建立连接成功后，FTP服务器返回状态码220，表示服务就绪 登陆过程首先由终端向FTP服务器发送登陆用户名并等待验证。用户名验证通过后，终端将登陆密码发送给FTP服务器，FTP服务器验证 客户端使用PASV/PORT命令告诉FTP服务器，当前客户端使用的是主动传输模式或被动传输模式 终端向FTP服务器发送下载命令RETR。例如，“RETR test.rar”表示要下载文件“test.rar”） 终端向FTP服务器指定要下载的文件后，终端与FTP服务器在数据端口建立数据连接（过程与建立控制连接相同），数据连接用于传输数据 建立数据连接后，FTP服务器由控制端口返回状态码125（表示数据连接已打开，准备传送）或150（表示文件状态良好，打开数据连接） FTP服务器在数据连接上下发数据包，终端收到数据包后在TCP层上进行确认 接收到最后一个数据包后，终端向FTP服务器发送“FIN，ACK”消息，表示要求中断数据连接，FTP服务器返回“ACK”消息，表示接受请求 FTP服务器返回响应状态码226，表示正在中断数据连接，且请求文件动作执行成功。若FTP服务器返回响应状态码426，则表示数据连接为客户端在文件传输尚未完成时的主动中断3.5.2 FTP下载业务KQI定义：l 信号良好率信号强度高于特定门限值（例如-84dBm）的抽采次数占总抽样次数的比例l FTP服务器连接成功率指成功连接FTP服务器占用户请求登陆FTP的比例。即：GPRS附着成功率*PDP激活成功率*FTP服务器登陆成功率*100%l FTP服务器连接时延指从“用户点击登陆”到“FTP服务器连接成功”之间的时间间隔。即：（GPRS附着平均时延+PDP激活时延+FTP服务器登陆时延）（毫秒）l 下载业务异常中断率指用户在进行FTP业务过程中，下载业务异常中断的概率。即：FTP下载完成失败率-用户主动中断率。l FTP下载速率指在FTP下载过程中，终端每秒接收到的数据量。即：（终端成功接收到的下载文件数据字节数）/（相应的下载时长）（KB/s）3.5.3 FTP下载业务与KQI相关联的KPI指标的定义：l RxLevell Attach成功率: 不区分业务，与网页浏览业务中相应的关联KPI相同l PDP激活成功率: 不区分业务，与网页浏览业务中相应的关联KPI相同l FTP服务器登陆成功率指用户成功登陆FTP服务器的次数占终端向FTP服务器发起同步请求次数的比例。即：（FTP服务器向终端返回FTP响应码“230”的次数）/（终端向FTP服务器发出“SYN”且端到端tcp目标端口号为21的消息的次数）*100%。l GPRS附着平均时延: 不区分业务，与网页浏览业务中相应的关联KPI相同l PDP激活时延: 不区分业务，与网页浏览业务中相应的关联KPI相同l FTP服务器登陆时延指终端向FTP服务器发起同步请求到用户成功登陆FTP服务器之间的时间间隔。l FTP下载失败率 1-（FTP下载完成的次数）/（FTP服务器成功响应用户FTP下载请求的次数）*100%，其中：FTP服务器成功响应用户FTP下载请求的次数指终端向FTP服务器发出下载请求“RETR”后，FTP服务器发出响应消息Reply的状态码为125或150的次数。FTP下载完成的次数指FTP服务器向终端返回下载完成响应码“226”的次数。l 用户主动中断率 FTP服务器下发下载被取消响应的次数占FTP服务器成功响应用户FTP下载请求的