6-CDMA无线网络评估测试方法和评估指标.ppt

,CDMA无线网络评估测试方法和评估指标,主讲人：任力上海贝电实业股份有限公司Mobile195E-mail:renl,提纲,网络评估过程评估测试设备测试选择DTCQTOMC网络综合评估,语音业务网络评估过程,数据业务网络评估过程,提纲,网络评估过程评估测试设备测试选择DTCQTOMC网络综合评估,语音业务评估测试设备,目前使用比较多的测试设备包括Agilent公司的Nitro和自主开发的ZXPOSCNT1，分析软件主要采用自主开发的ZXPOSCNA1。测试终端包括95手机、1X手机。,语音业务评估测试设备,对话音业务的DT和CQT，需要使用的设备清单如下：,数据业务DT和CQT，需要的设备清单如下：,数据业务测试过程中，测试手机和上网卡必须选择一个，而且必须保证能起到合适速率的数据业务（部分测试手机对速率有限制）。,数据业务评估测试设备,FTP软件的使用,数据业务测试应用层速率时可采用FTP软件，在PDSN一个子网中安装一个FTP服务器，笔记本上安装FTP客户端软件，如：CuteFTP等。,Iperf软件的使用,Iperf软件主要功能为：,服务器向客户端不间断以最大TCP带宽发送随机数据来模拟突发数据，避免网络之间（PDSN、INTERNET、INTRANET）的传输、调用等带来的延时。,运行结束后，在客户端和服务器将给出总体平均速率和每秒平均速率。,Iperf软件在数据业务中的应用范围,Iperf和FTP的区别,主要体现在无线环境变化剧烈，RLP层重传率很大的情况：,iperf软件可以根据环境的变化随时调整TCP窗宽、而FTP在下载或上传文件时TCP窗宽一般不变，FTP发生reset后，会导致应用层传输效率很低。,测试时推荐使用iperf软件。,提纲,网络评估过程评估测试设备测试选择DTCQTOMC网络综合评估,负载选择,忙时,无载或者轻载,有载,忙时测试,忙时测试是指当前网络状况下在话务最繁忙时段进行的测试。,忙时测试适用于已经正式运营一段时间的网络，有利于发现现有网络条件下存在的问题。,无载（轻载）测试,无载（轻载）测试是在没有用户或用户比较少的情况下对网络进行的测试。,无载测试对于没有大规模放号的网络可以在正常时段进行。,对于已经大规模放号的网络只能在午夜话务很低的时段进行。,可准确反映网络无线侧性能，有利于与有载测试比较，发现网络中存在的问题是否由于负载导致；避免影响实际网络中的用户。,有载测试,有载测试是通过对前向和反向增加负载模拟用户量比较大条件下的网络性能。,前向通过后台配置OCNS信道增加负载，反向通过在手机发射端增加衰减模拟反向加载。,对于没有大规模放号的网络，有载测试可以在正常时段进行；对于大规模放号的网络，只能在午夜话务很低的时段进行。,一方面比较准确模拟负载，另一方面减少对实际网络中用户的影响。,语音业务测试选择呼叫方式,连续长时呼叫,周期性呼叫,连续长时呼叫测试将呼叫保持时间设置为最大值，如果出现掉话自动重呼；该测试呼叫次数很少，更能反映系统切换方面的性能，可用于掉话率、切换成功率、切换区比率等参数的测试；,周期呼叫测试通过将呼叫建立时间、保持时间和间隔时间设置为一组固定值，周期性发起呼叫来测试网络性能；该测试更能反映系统的处理能力，测试结果比较接近用户的实际情况，可用于接通率、寻呼响应率、掉话率等参数的测试。,数据业务测试选择呼叫方式,根据不同的业务类型，可以设置周期性呼叫模式或长时呼叫。,一般测试接通率可用周期性呼叫，测试单用户和扇区数据业务的吞吐量、数据业务的切换等项目时，可以采用长时的呼叫。,提纲,网络评估过程评估测试设备测试选择DTCQTOMC网络综合评估,DT,数据采集,测试步骤,数据分析处理,评分标准,语音业务数据采集,对于城区DT，车辆移动速度较低，站点比较多，不同区域网络性能相差比较大，一般采用周期性呼叫。,对于主要道路的DT，车速比较快，为了保证数据的连贯和完整，一般要求采用连续长时呼叫。,DT主要采集如下一些数据：,测试软件记录前向FER、Tx、Rx、最强Ec/Io、总呼叫次数、起呼成功次数和掉话次数，测试过程中记录被呼成功次数；软件记录等信息；后台统计切换成功率。,数据业务数据采集,数据业务测试一般在空闲时段，也就是无载或空载状态下进行，以免由于用户分布不均出现不同区域的数据不具备可比性及影响话音用户的问题。,数据业务DT主要测试对数据业务有重要需求的区域，这些区域的测试路线应尽可能的细化；对于其它可能有数据业务需求的区域，进行重点道路的测试。,数据业务数据采集,数据业务DT可采用Iperf，要求设置的测试时间足够长，以免出现由于软件设置影响测试结果的问题，该测试需要分前反向分别执行。,数据业务DT使用Iperf可得到应用层整个测试范围的平均传输速率，用路测软件可以得到流量和位置的关系。,测试步骤,确定测试路线：根据话音业务的覆盖需求制定；,测试准备：正确连接测试设备，进行参数设置；,测试：开始记录数据，发起呼叫，在业务区内中速运动进行测试，市区测试车速度要求大致在30km/h50km/h，重要道路以较普遍的车速进行测试；,完成测试：按照既定的测试路线，完成所有区域的测试后，停止记录数据，DT完成。,语音业务数据分析处理,覆盖率,用Tx、Rx和Ec/Io衡量。,城区DT，测试数据在0.1km*0.1km的Bin内求平均，得到平均的Tx、Rx和最强Ec/Io，分别统计Tx=-85dBm和Ec/Io大于-12dB的Bin的比率，三者结合得到总的覆盖率；,主要公路DT：直接用测试数据统计Tx=-85dBm和Ec/Io大于-12dB的比率，三者结合得到总的覆盖率。,语音业务数据分析处理,呼叫成功率：包括起呼成功率和被呼成功率，根据测试过程中统计的数据分别得到。,掉话率：掉话次数和总呼叫次数的比值，如果用连续长时呼叫，总的呼叫次数为总呼叫时长（单位为秒）/90。,话音质量：由于话音质量指标比较难以衡量，用FFER代替。,切换成功率：通过测试过程中OMC后台跟踪统计，得到切换成功率。,数据业务数据分析处理,通过对DT数据的分析和统计，可以得到前反向平均传输速率。,评分标准,语音业务,数据业务,语音业务评分标准,城区DT,主要道路DT,城区DT,覆盖率（满分30分）从Tx、Rx、Ec/Io三个方面打分，每一项10分，三者相加得到覆盖率得分。各单项根据以下原则打分：大于等于95%10分；大于等于90%且小于95%8分；大于等于85%且小于90%5分；小于85%0分。,城区DT,呼叫成功率（满分20分）对主叫成功率和被叫成功率分别打分，每一项10分，二者之和即为呼叫成功率得分。主叫成功率和被叫成功率都根据如下原则打分：大于等于98%10分；大于等于97%且小于98%8分；大于等于96%且小于97%5分；小于96%3分。,城区DT,掉话率（满分20分）按照如下原则打分：小于等于0.8%20分；大于0.8%且小于等于1%15分；大于1%且小于等于2%10分；大于2%5分。,城区DT,话音质量（满分20分）按照如下原则打分：小于等于1%20分；大于1%且小于等于2%16分；大于2%且小于等于4%10分；大于4%0分。,城区DT,切换成功率（满分10分）按照如下原则打分：大于等于99%10分；大于等于98%且小于99%8分；大于等于97%且小于98%5分；小于97%3分。,主要道路DT,覆盖率（满分45分）从Tx、Rx、Ec/Io三个方面打分，每一项占15分，三者相加得到覆盖率得分。各单项根据以下原则打分：大于等于90%15分；大于等于85%且小于90%12分；大于等于80%且小于85%8分；小于80%4分。,主要道路DT,呼叫成功率（满分20分）从主叫成功率和被叫成功率两个角度打分，每一项占10分，二者之和即为呼叫成功率得分。两个项目都根据如下原则打分：大于等于96%10分；大于等于95%且小于96%8分；大于等于93%且小于95%5分；小于93%3分。,主要道路DT,掉话率（满分20分）按照如下原则打分：小于等于2%20分；大于2%且小于等于3%15分；大于3%且小于等于4%10分；大于4%5分。,主要道路DT,话音质量（满分15分）按照如下原则打分：小于等于1%15分；大于1%且小于等于2%12分；大于2%且小于等于4%8分；大于4%4分。,数据业务评分标准,前向和反向平均速率各占50分，对于城区DT和主要道路的DT，暂时采用同样的评分标准。,前向平均传输速率按以下原则打分：大于等于110Kbps50分；小于110Kbps且大于等于100Kbps40分；小于100Kbps且大于等于80Kbps30分；小于80Kbps且大于等于70Kbps20分；小于70Kbps且大于等于50Kbps10分；小于50Kbps0分；,数据业务评分标准,前向和反向平均速率各占50分，对于城区DT和主要道路的DT，暂时采用同样的评分标准。,反向平均传输速率按以下原则打分：大于等于80Kbps50分；小于80Kbps且大于等于60Kbps40分；小于60Kbps且大于等于40Kbps30分；小于40Kbps且大于等于30Kbps15分；小于30Kbps0分；,提纲,网络评估过程评估测试设备测试选择DTCQTOMC网络综合评估,CQT,数据采集,测试步骤,数据分析处理,评分标准,语音业务数据采集,测试点选择原则,CQT的测试点要求是覆盖区内的重点位置,高档写字楼20%政府机关和运营商办公区和相关人员居住区20%重要商业区、重要酒店及其它大型活动场所20%景点、机场、火车站、汽车站等人流量很大的地点30%其它10%,所有测试点的数据都用于统计覆盖率，前向接收功率不低于-100dBm的测试点的测试数据才参与统计其它参数，这些参数只有在保证覆盖的条件下才有意义。,测试点选择可以遵循如下的原则：,语音业务数据采集,数据记录,用测试软件记录Tx、Rx、Ec/Io等参数；记录起呼成功次数、被呼成功次数、失败次数和掉话次数；根据主观感觉评价得到质差通话次数（每个测试点填写附录中的表格）；用测试软件记录每次呼叫的呼叫时长。,数据业务数据采集,测试点选择原则,测试点选择根据实际情况确定，可以遵循和话音同样的原则；具体测试过程中，对于接收功率和导频信号比较弱的区域，如接收功率低于-90dBm或导频低于-12dB，不参与统计，覆盖达到一定标准的区域才能进行数据业务呼叫。,数据业务数据采集,数据记录,用测试软件记录应用层传输速率；用测试软件记录呼叫次数和呼叫成功次数；用测试软件和OMC后台记录呼叫延时（包括空中建链延时和PPP连接延时）；测试软件和OMC后台分别记录无线侧和网络侧发起的dormantactive激活，分别统计成功次数及延时。,测试步骤,语音业务测试步骤,数据业务测试步骤,语音业务测试步骤,确定测试点：根据话音业务的覆盖需求分别确定；,测试准备：连接好设备，进行相关的参数设置；,测试：发起话音呼叫，记录相关数据。,同一个测试点可以在多个不同的位置进行测试，所有测试点完成测试后，根据所有数据统计得到整个网络的相关指标。,数据业务测试步骤,确定测试点：根据数据业务的覆盖需求分别确定,测试准备：连接好设备，进行相关的参数设置；,测试：发起数据呼叫，记录相关数据，根据接收功率和导频信号强弱确定是否进行数据记录；,语音业务数据分析处理,覆盖率通过各测试点统计到的Tx、Rx、Ec/Io等参数来衡量。Rx=-95dBm视为能够覆盖；,呼叫成功率包括起呼成功率和被呼成功率。起呼成功次数与总呼叫次数之比为起呼成功率，被呼成功次数与起呼成功次数之比为被呼成功率。,掉话率掉话次数和总的呼叫成功次数之比得到。,语音业务数据分析处理,质差通话率：测试过程中，根据主观感觉来评价通话质量，记录出现话音断续、变音、回声、单通、串话、无声、背景噪声等话音质量不好的通话，统计话音质量不好的呼叫在总呼叫次数中所占比例。,呼叫时长：根据测试软件记录的数据，得到每次通话的呼叫时长，对所有呼叫的呼叫时长取平均得到全局的呼叫时长值。,数据业务数据分析处理,平均传输速率：根据测试软件记录的各测试点的传输速率数据求平均得到，包括前向和反向的平均速率；,呼叫成功率：通过各测试点统计的呼叫总次数和呼叫成功次数得到；,呼叫延时：包括空中建链延时和PPP连接延时；测试过程中记录的信令信息分析得到每次呼叫的延时，所有数据求平均得到；,dormantactive成功率：根据信令分别统计无线侧发起激活和网络侧发起激活的成功率，二者求平均得到；,dormantactive激活延时：分别统计无线侧发起的激活和网络侧发起的激活的延时，二者求平均得到。,评分标准,语音业务,数据业务,语音业务评分标准,覆盖率（满分10分）根据以下原则打分：大于等于95%10分；大于等于90%且小于95%8分；大于等于85%且小于90%5分；小于85%0分。,语音业务评分标准,呼叫成功率（满分20分）从主叫成功率和被叫成功率两个角度打分，每一项占10分，二者之和即为呼叫成功率得分。根据如下原则打分：大于等于98%10分；大于等于97%且小于98%8分；大于等于96%且小于97%5分；小于96%3分。,语音业务评分标准,掉话率（满分20分）小于等于0.8%20分；大于0.8%且小于等于1%15分；大于1%且小于等于2%10分；大于2%5分。,语音业务评分标准,质差通话率（满分40分）等于0%40分；大于0%且小于等于2%35分；大于2%且小于等于5%30分；大于5%且小于等于8%25分。大于8%且小于等于10%20分；大于10%且小于等于15%15分；大于15%且小于等于20%10分；大于20%5分。,语音业务评分标准,平均呼叫时长（满分10分）标准值为8秒，计6分，平均呼叫时长每减少一秒加1分，平均呼叫时长小于4秒（含4秒）计10分；每增加一秒减一分，减完为止。,数据业务评分标准,前向平均传输速率按以下原则打分：大于等于110Kbps20分；小于110Kbps且大于等于100Kbps15分；小于100Kbps且大于等于80Kbps12分；小于80Kbps且大于等于70Kbps8分；小于70Kbps且大于等于50Kbps5分；小于50Kbps0分；,数据业务评分标准,反向平均传输速率按以下原则打分：大于等于80Kbps20分；小于80Kbps且大于等于60Kbps15分；小于60Kbps且大于等于40Kbps10分；小于40Kbps且大于等于30Kbps5分；小于30Kbps0分；,数据业务评分标准,呼叫成功率（满分20分）数据业务呼叫成功率按以下原则打分：大于等于98%20分；大于等于95%且小于98%15分；大于等于90%且小于95%10分；大于等于80%且小于90%5分；小于80%0分。,数据业务评分标准,空中建链延时：小于等于1.5秒10分；大于1.5秒且小于等于2秒8分；大于2秒且小于等于2.5秒5分；大于2.5秒且小于等于3秒3分；大于3秒0分；,数据业务评分标准,PPP连接延时：小于等于4秒10分；大于4秒且小于等于6秒8分；大于6秒且小于等于8秒5分；大于8秒且小于等于10秒3分；大于10秒0分；,数据业务评分标准,dormantactive成功率（满分10分）包括无线侧发起的激活和网络侧发起的激活，根据两个激活成功率平均得到总的激活成功率，由此进行评估打分：大于等于99%10分；大于等于98%且小于99%8分；大于等于97%且小于98%5分；大于等于95%且小于97%3分；小于95%0分。,数据业务评分标准,dormantactive激活延时（满分10分）包括无线侧发起的激活和网络侧发起的激活，所有累积求平均得到总体的激活延时，按照如下原则打分：小于等于1.5秒10分；大于1.5秒且小于等于2秒8分；大于3秒且小于等于2.5秒5分；大于2.5秒且小于等于3秒3分；大于3秒0分。,提纲,网络评估过程评估测试设备测试选择DTCQTOMC网络综合评估,OMC指标提取,通过OMC后台的数据统计，从资源利用的角度评价网络的优劣。,用于衡量资源利用的指标包括SVE最高利用率、TCE利用率、TCE切换占用比、更软切换率和寻呼响应率，通过后台统计得到。,对于第三方评估，不一定能得到相关数据。,数据分析处理,SVE最高利用率：记录忙时BSC声码器的利用率，反映系统声码器资源的利用情况；,TCE切换占用比：通过统计使用的CE单元中用于呼叫和切换的比率，来计算软