第三方GPRS业务测试规范.doc

云南移动2007年全省城市GPRS网运行质量现场测试技术规范书云南移动2007年全省城市GPRS网运行质量现场检查主要是通过对市区重要场所进行定点拨打测试，以及对市区道路进行DT路测，从用户感受的角度评估城市的网络质量。检查办法具体如下：一、 检查范围（一） 全省16个地市（二） 城市分类：分类城市数量省会城市昆明1大型地市大理、玉溪、曲靖、红河4中小型地市楚雄、昭通、文山、思茅、版纳、丽江、迪庆、保山、怒江、德宏、临沧11二、 检查方式对城区重要场所的检查采用定点拨打测试方式，对城市主要道路的检查采用DT测试方式。测试中全部使用全球通SIM卡，且必须使用本地的SIM卡进行测试；SIM卡要有GPRS业务功能。测试终端若干，为SAGEM OT190双频测试手机 ，且要求 K或以上版本，手机速率统一设置为115200bps，其中时隙的设置统一为“3+1”模式，且为自由双频模式；商用GPRS手机终端若干，建议使用Nokia 6230或7610测试软件: CDS3.0；GPRS上网卡若干，为 Merlin G30； 秒表若干，作为计时工具。测试用笔记本，内存要求256M以上，硬盘40G以上，CPU 733Mhz以上，操作系统为WINDOWS XP SP1，IE 6.0，调制解调器采用标准19200bps型号，速率设置为115200bps, 调制解调器错误控制和调制解调器压缩禁止使用。 禁止安装与测试无关的其他软件。三、 检查人员的组成采用招标形式选择经验丰富、技术力量充足的公司具体执行现场检查拨测工作，由省公司对检查测试情况进行监督和抽查。四、 检查方法及内容（一） 定点测试：1. 测试时间：必须安排在周一至周五 上午9：0019:00进行。2. 测试地点：（1） 地点选择其中省会城市选25个测试点，大型地市选20个测试点，中小型地市选15个测试点。全部要求为室内测试点。具体测试点分布要求如下：测试地点省会城市大型地市中小型地市机场候机楼111火车站候车室111三星级以上酒店（北京、上海、广州选四星级以上酒店）30%866大型商场休闲区10%322大学学校（教学楼/研究生宿舍楼）10%221大型居民小区占电梯间外（室内）或楼门口（室外）*城区内15%432商务场所（高层写字楼、会所）大堂/会议室30%652共计252015（2） 地点分布测试地点应尽量均匀分布在市区范围内。（3） 测试位置对于各测试点，主要测试公共场所，如酒店主要测试大堂。要求在测试前测量当前位置的无线信号，避免在测试过程中频繁小区重选（重选次数控制在3-4次之内）。3. 测试网站、服务器：（1） WAP测试站点为 。（2） Ping和FTP的测试服务器（服务器采用UNIX版本）由各被测城市提供，并由省公司统一向测试公司提供，包括服务器IP地址、FTP用户名称及口令。同时应保证用户具有上载和下载数据的权限, 保证可对服务器进行Ping测试。（3） 邮件系统使用为。（4） 准备大小为100K，500K的文件若干。4. 测试内容、测试记录项目及定义：（1） GPRS attach测试。每个测试点要求做10次GPRS网络登陆测试。到一个新的测试地点要求进行一次开关机操作（手机设为开机自动attach）。测试记录项目及定义：a. GPRS附着成功率： GPRS成功Attach次数/总尝试次数100。GPRS附着成功指在手机发出GPRS Attach Request后在15秒钟内收到GPRS attach accept信令。（用测试终端及测试软件）b. 平均附着时间：各次attach成功的时间相加/成功attach的次数。（用测试终端及测试软件） attach成功时间定义为手机发出第一个Attach Request后到发出Attach accept的时间。（2） WAP测试：对每点做10次WAP网站登陆测试，注意每次需清除缓存区；对每点做10次页面更新测试，方法为任意选择十个内容页面进行访问。对每点做5次铃声、5次图片的下载，每个铃声和图片的大小应在25-35K Byte之间。（铃声：请测试和弦天堂下的以下业务：测试前确定链接URLGOODFEEL和弦铃声、酷炫铃声梦工厂、梦幻魔铃、彩铃世家、心欣铃声 图片：请测试幻彩世界下的业务：彩图世家、梦幻魔图、非常图片、极度炫彩梦工厂注意需要保持下载区存储空间的可用。测试记录项目及定义：a. PDP激活成功率： PDP激活成功次数/总尝试次数100 PDP激活成功指在手机发出Activate PDP Context Request后在 15秒钟内收到Activate PDP Context accept信令（用测试终端及测试软件）b.PDP平均激活时间：各次PDP激活成功的时间相加/PDP激活成功次数。（用测试终端及测试软件）PDP激活成功时间的定义为手机发出第一个Activate PDP Context Request后到收到Activate PDP Context Accept的时间。注：使用APN为CMWAP激活。c.WAP首页显示成功率: WAP首页显示成功次数/尝试WAP登陆次数100（用测试终端及测试软件）【注意】WAP首页显示成功指手机发起WAP网站访问申请后，网站首页面的文本信息在60秒内完全正确显示（超过60秒，定义为失败）d.WAP平均首页显示时间：各次WAP首页成功显示的时间相加/ WAP首页显示成功次数（用测试终端及测试软件）e. WAP页面刷新成功率: WAP页面刷新成功次数/尝试页面刷新次数100（用测试终端及测试软件）WAP页面刷新成功指被选择浏览的页面在60秒内文本信息完整正确的显示。f.WAP页面刷新时长: 各次WAP页面刷新成功的时间相加/WAP页面成功刷新次数（用测试终端及测试软件）g. WAP下载成功率：WAP铃声、图片成功下载次数/尝试铃声、图片下载次数100（用测试终端及测试软件）成功下载为可以在终端上进行播放，否则为下载不成功。每个测试点进行10次测试，其中铃声5次、图片5次。h. WAP下载速率：实际成功下载数据量（Byte）/实际成功下载时间(秒) （用测试终端及测试软件）成功下载为可以在终端上进行播放，否则为下载不成功。每个测试点进行10次测试，其中铃声5次、图片5次。（二） ping测试：ping GGSN局域网内的站点，ping 的包长为500byte，每点测试10次。Ping包发送间隔为8秒钟（用测试终端及测试软件）测试记录项目及定义：a. ping成功率：ping成功的次数/ping尝试次数100b. ping平均时延：各次ping成功的时间相加/ping成功的次数（三） FTP下载测试：下载500K Byte文件一次测试记录项目及定义：a. FTP应用层下载速率：实际下载数据量（Byte）/实际下载时间(秒)b. FTP下载RLC层平均吞吐量c. FTP下载RLC层平均BLER（用测试终端及测试软件）（四） WEB方式邮件上、下载测试：上载100K Byte邮件一次；下载500K Byte邮件一次测试记录项目及定义：a.应用层上载速率：实际上载数据量（Byte）/实际上载时间(秒)b.应用层下载速率：实际下载数据量（Byte）/实际下载时间(秒)（用GPRS上网卡进行测试）5. 其它测试要求（1） 所有城市使用相同型号的测试手机，手机处于自由双频模式。（2） 被测城市应保证其测试服务器在测试检查期间内的可用性，如果当地服务器不能使用，测试人员将选择异地服务器进行测试。（3） 每次测试前，需记录小区的信号强度。（4） 500K文件的最大下载尝试时间为15分钟，即如果在15分钟内下载文件未能成功可重新进行下载。如果到15分钟不能完整下载文件，则停止下载测试，记录尝试下载次数以及各次实际下载的总数据量和时间。（5） PING测试中，每次Ping测试（成功或超时）间隔为8秒，Ping超时时间为5秒。（五） 城市DT测试方法1. 测试时间：必须安排在周一至周五 9：0019:00进行。省会城市必须测满6个小时，大型地市必须测满4个小时，中小型地市必须测满4个小时。2. 测试路线要求均匀覆盖市区主要街道，并且尽量不重复3. 测试内容一部测试手机连续进行WAP接入（每次时间间隔约为3分钟）。WAP测试站点为http:；一部测试手机进行FTP下载测试。测试文件大小为150K，每个城市不少于100次。其中关于WAP的相关内容测试，省会城市应不少于25次，大型地市不少于20次，中小型地市不少于15次。（用测试终端及测试软件）DT测试记录项目及定义：（1） WAP网站登陆成功率: WAP网站登陆成功次数/尝试WAP登陆次数100【注意】WAP网站登陆成功指手机发起WAP网站访问申请后，网站首页面的文本信息在60秒内完全正确显示。（2） WAP平均首页显示时间：各次WAP首页显示成功的时间相加/ WAP首页显示成功次数【注意】首页显示时间为发起WAP网站申请至文本内容完全正确显示为止的时间。（3） WAP页面刷新成功率: WAP页面刷新成功次数/尝试页面刷新次数100【注意】WAP页面刷新成功指被选择浏览的页面在60秒内文本内容被完整正确的显示。（4） WAP页面刷新时长: 各次WAP页面刷新成功的时间相加/WAP页面成功刷新次数。【注意】（5） WAP下载成功率：WAP铃声、图片成功下载次数/尝试铃声、图片下载次数100成功下载为可以在终端上进行播放，否则为下载不成功。（6） WAP下载速率：实际成功下载数据量（Byte）/实际成功下载时间(秒) 成功下载为可以在终端上进行播放，否则为下载不成功。（7） 平均RAU间隔时间：总RAU次数/总测试时间 (s)（8） 平均RAU间隔距离: 总RAU次数/总测试距离（Km）（9） 平均小区重选间隔时间：总小区重选次数/总测试时间 (s)（10） 平均小区重选间隔距离：总小区重选次数/总测试距离（Km）（11） 覆盖率: GPRS覆盖公里数/总测试距离（Km）X100%满足以下条件之一判别为GPRS无覆盖里程：a. 服务小区电平低于-94dbm且最强的邻小区电平低于-90dbm，并持续5秒钟以上的路段b. 手机的TBF处于关闭状态且超过90秒钟以上没有接收到System Info13的路段（12） 掉线率：掉线次数/总FTP下载尝试次数X100（用测试终端及测试软件）满足以下条件之一判别为掉线：a. 网络原因造成连接断开，以下行信令PDP deactivate request或RAU reject作为判断依据。b. 测试过程中超过3分钟FTP没有任何数据传输，且尝试ping后数据链路仍不可使用。此时应断开拨号连接并重新拨号来恢复测试。每次掉线后重建拨号连接，并且应重新开始一次FTP下载过程。如果发生掉线是由于覆盖原因造成，掉线将不再重复计算。（13） FTP下载速率：FTP总下载数据量/总FTP下载时间(秒) （用测试终端及测试软件）【注意】此项目用首选CDS软件自动测试，如发现软件存在问题，经省公司核准后，采用测试商用终端进行测试。4. 其它测试要求a. 测试过程中手机和GPS接收机需连接计算机并记录测试过程的信令和轨迹。测试手机置于车内，手机使用自动双频模式测试。b. 测试速度在市区保持正常行驶速度，最高限速30-50KM/H。c. 测试中将wap测试和ftp测试分别进行，但需要保证wap测试的线路、时间、公里数应和ftp测试的线路、时间、公里数尽量一致，且总的公里数不应少于30XN(N为该城市应测的小时数)。d. 在DT的WAP测试中，设置ROUND TRIP,即首页登陆、页面刷新、WAP铃声下载、WAP图片下载为一个ROUND；反复进行重复测试。五、 测试报告内容要求测试完成后，需提供一套全省汇总报告、每城市一套该城市汇总统计报告、两套各城市详细测试信息报告。测试报告中所有表格都以EXCEL方式提供。（一） 总体报告内容要求（书面形式）1. 测试概况：测试内容、测试时间、测试人员、测试工具等基本信息。2. 定点测试全省汇总及评分表。3. DT测试全省汇总及评分表。（二） 城市汇总统计报告（书面形式）1. 测试概况：测试内容、测试时间、测试人员、测试工具等基本信息。2. 城市CQT测试统计表，表格应包含第四（一）5点中的所有项目；3. 分别列出中国移动每个城市DT测试汇总及评分表，表格应包含：（1） 第四（二）3点中的所有项目；（2） GPRS接入次数、WAP接入次数、行驶里程数。