内蒙移动经营分析系统-客服服务.doc

内蒙古移动经营分析系统2.0客户服务子系统功能测试方案2008年05月本文档及其所含信息为机密材料并且由中国移动集团公司和teradata（中国）有限公司共同拥有。本文档中的任何部分未经中国移动集团和teradata（中国）有限公司书面授权，不得将材料泄露给第三方,也不得以任何手段、任何形式进行复制与传播copyright 2008 teradata版权保留所有的权利目 录1前言31.1编写目的31.2参考资料31.3使用对象31.4测试方法32前端应用52.1服务效率分析5系统请求与接通情况分析5服务成功率分析（自动应答成功率分析）6服务成功率分析（人工应答成功率分析）8在线人员业务处理量分析1010086客服热线外呼量分析122.2服务质量分析13客户排队时长分析13工单服务质量分析15客户挂机满意度分析152.3服务内容分析17服务处理内容分析1710086客服热线投诉分析19业务咨询热点分析20业务办理分析22客户投诉即席查询24竞争对手业务咨询即席查询262.4服务流程分析27首层按键请求量分析27人工转ivr请求量分析29人工转多媒体分析311 前言1.1 编写目的本文档是内蒙古移动经营分析2.0系统的功能测试方案，包括了客服系统（服务效率分析，服务质量分析，服务内容分析，服务流程分析）的测试方案，是用于系统验收的基础文档。1.2 参考资料中国移动省级经营分析系统业务规范客户服务分册v2.02、nmcc经分2.0_功能规格说明书v2.03、nmcc经分2.0概要设计_客服应用子系统v2.04、nmcc经分2.0详细设计_客服应用子系统v2.05、nmcc经分2.0测试计划_客服应用子系统v2.01.3 使用对象本文档的接收与使用对象为：内蒙古移动业务支撑部以本文档作为项目交付物进行接收。1.4 测试方法软件测试的基本方法，软件测试的方法和技术是多种多样的。 对于软件测试技术，可以从不同的角度加以分类：从是否需要执行被测软件的角度，可分为静态测试和动态测试。从测试是否针对系统的内部结构和具体实现算法的角度来看，可分为白盒测试和黑盒测试。1、黑盒测试黑盒测试也称功能测试或数据驱动测试，它是在已知产品所应具有的功能，通过测试来检测每个功能是否都能正常使用，在测试时，把程序看作一个不能打开的黑盆子，在完全不考虑程序内部结构和内部特性的情况下，测试者在程序接口进行测试，它只检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数锯而产生正确的输出信息，并且保持外部信息（如数据库或文件）的完整性。黑盒测试方法主要有等价类划分、边值分析、因果图、错误推测等，主要用于软件确认测试。 “黑盒”法着眼于程序外部结构、不考虑内部逻辑结构、针对软件界面和软件功能进行测试。“黑盒”法是穷举输入测试，只有把所有可能的输入都作为测试情况使用，才能以这种方法查出程序中所有的错误。实际上测试情况有无穷多个，人们不仅要测试所有合法的输入，而且还要对那些不合法但是可能的输入进行测试。2、白盒测试白盒测试也称结构测试或逻辑驱动测试，它是知道产品内部工作过程，可通过测试来检测产品内部动作是否按照规格说明书的规定正常进行，按照程序内部的结构测试程序，检验程序中的每条通路是否都有能按预定要求正确工作，而不顾它的功能，白盒测试的主要方法有逻辑驱动、基路测试等，主要用于软件验证。“白盒”法全面了解程序内部逻辑结构、对所有逻辑路径进行测试。“白盒”法是穷举路径测试。在使用这一方案时，测试者必须检查程序的内部结构，从检查程序的逻辑着手，得出测试数据。贯穿程序的独立路径数是天文数字。但即使每条路径都测试了仍然可能有错误。第一，穷举路径测试决不能查出程序违反了设计规范，即程序本身是个错误的程序。第二，穷举路径测试不可能查出程序中因遗漏路径而出错。第三，穷举路径测试可能发现不了一些与数据相关的错误。内蒙移动经分2.0系统的测试方法采用黑盒子测试。2 测试案例2.1 客服总体kpi案例名称总体kpikpi_ccc_svc_stat_daily案例编号ut_dbo_vm_mon_m_01测试人李元平测试日期2008-02-20质量监督人审核意见项目经理确认测试环境及工具测试环境：etl服务器： 10.220.7.51 服务器os：aix-unix本地查询：windows平台测试工具：查询工具：teradata sql assistant 7.1表结构查看工具：teradata administrator测试需求内容描述测试内容目标：脚本能够正确执行，生成满足需求的数据。1、 脚本能否正常结束，生成表中数据；2、 指标数据的分量与合计是否平衡；3、 指标数据与其它表是否平衡；4、 与kpi比较数据是否一致。具体测试内容:（1）执行脚本，检查数据是否生成，日志有无错误nohup perl kpi_ccc_svc_stat_daily0400.pl 20080705.dir 1 kpi_ccc_svc_stat_daily 0400.pl.log & （2）指标数据是否一致：select sum(call_quan)from pview.vw_mid_ccc_call_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and call_type_code = 10 -主叫 and cal_date = 20080705select sum(cnnct_quan)from pview.vw_mid_ccc_call_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and call_type_code = 10 -主叫 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 03 -业务办理 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 01 -咨询 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 02 -查询 and cal_date = 20080705select sum(complain_total)from pview.vw_mid_ccc_complain_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select sum(fst_solve_quan)from pview.vw_mid_ccc_manu_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(cast(sum(fst_solve_quan)/cast(nullifzero(sum(cnnct_quan) as dec(18,6)*100) as dec(18,4)from pview.vw_mid_ccc_manu_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select sum(call_quan)from pview.vw_mid_ccc_call_quan_dailywhere -city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 call_type_code = 10 -主叫 and serv_meth_code = 2 -人工 and cal_date = 20080705select sum(cnnct_quan)from pview.vw_mid_ccc_call_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and call_type_code = 10 -主叫 and serv_meth_code = 2 -人工 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 02 -查询 and serv_meth_code = 2 -人工 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 02 -查询 and serv_meth_code = 2 -人工 and sucs_flag = 0 -成功 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 03 -业务办理 and serv_meth_code = 2 -人工 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 03 -业务办理 and serv_meth_code = 2 -人工 and sucs_flag = 0 -成功 and cal_date = 20080705select zeroifnull(cast(sum(cnnct_quan_15_seconds)/cast(nullifzero(sum(cnnct_quan) as dec(18,6)*100) as dec(18,4)from pview.vw_mid_ccc_manu_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(cast(sum(cnnct_quan_20_seconds)/cast(nullifzero(sum(cnnct_quan) as dec(18,6)*100) as dec(18,4)from pview.vw_mid_ccc_manu_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(cast(sum(cnnct_quan_30_seconds)/cast(nullifzero(sum(cnnct_quan) as dec(18,6)*100) as dec(18,4)from pview.vw_mid_ccc_manu_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(cast(sum(complain_proc_intm_quan)/cast(nullifzero(sum(complain_total) as dec(18,6)*100) as dec(18,4)from pview.vw_mid_ccc_complain_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(cast(sum(rpt_complain_quan)/cast(nullifzero(sum(complain_total) as dec(18,6)*100) as dec(18,4)from pview.vw_mid_ccc_complain_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(cast(sum(upgrade_complain_quan)/cast(nullifzero(sum(complain_total) as dec(18,6)*100) as dec(18,4)from pview.vw_mid_ccc_complain_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(sum(comm_dur)/cast(nullifzero(sum(acpt_person_quan) as dec(18,4)from pview.vw_mid_ccc_manu_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and cal_date = 20080705select zeroifnull(sum(queue_wait_dur)/cast(nullifzero(sum(queue_cnnct_quan+queue_giveup_quan) as dec(18,4)from pview.vw_mid_ccc_call_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and call_type_code = 10 -主叫 and serv_meth_code = 2 -人工 and cal_date = 20080705select zeroifnull(cast(sum(queue_giveup_quan)/cast(nullifzero(sum(queue_cnnct_quan+queue_giveup_quan) as dec(18,6)*100) as dec(18,4)from $tviewdb.vw_mid_ccc_call_quan_dailywhere cal_date = 20080705 and city_id in ($citylist) -本省用户 and call_type_code = 10 -主叫 and serv_meth_code = 2 -人工group by 3;select sum(call_quan)from pview.vw_mid_ccc_call_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and call_type_code = 10 -主叫 and serv_meth_code = 1 -自动 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 02 -查询 and serv_meth_code = 1 -自动 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 02 -查询 and serv_meth_code = 1 -自动 and sucs_flag = 0 -成功 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 03 -业务办理 and serv_meth_code = 1 -自动 and cal_date = 20080705select sum(req_quan)from pview.vw_mid_ccc_svc_quan_dailywhere city_id in (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 and serv_req_code = 03 -业务办理 and serv_meth_code = 1 -自动 and sucs_flag = 0 -成功 and cal_date = 20080705预期输出频度日期机构指标单位实际值比上期比上期(%)比同期(%)本期累计累计比同期(%)日20080705全区总呼叫量次2,910,459103,5553.69-7.8115,610,01332.43日20080705全区总接通量次2,879,357103,0333.71-7.1615,398,77732.85日20080705全区业务办理量次99,708-6,517-6.141.46507,0422.27日20080705全区业务咨询量次75,7336,035.008.66-15.76361,528.00-23.58日20080705全区业务查询量次2,504,12862,8912.58-5.3814,015,867-0.68日20080705全区投诉/建议量次157-86-35.39-21.111,13732.21日20080705全区一次解决量次76,308-274-0.36-1.3381,4491.08日20080705全区一次解决率%63.18-1.13-1.76-3.664.94-1.71日20080705全区人工请求总量次129,7903920.3-13.45691,55421.93日20080705全区人工应答总量次114,068.001,12412.97556,32328.61日20080705全区人工查询请求量次306,125-13,947-4.3613.741,610,9607.84日20080705全区人工查询成功量次304,927-13,846-4.3414.551,600,9517.86日20080705全区人工办理请求量次61,894-9,924-13.82-0.32328,3813.98日20080705全区人工办理成功量次61,654-9,940-13.880.34326,6554.1日20080705全区人工15秒应答及时率%13.651.189.47-912.26-1.74日20080705全区人工20秒应答及时率%17.31.428.97-9.3315.4-4.62日20080705全区人工30秒应答及时率%27.731.676.42-1025-9.08日20080705全区投诉处理及时率%56.69-0.93-1.6122.6258.14-7.07日20080705全区重复投诉率%12.1454.7850.528.62-3.73日20080705全区升级投诉率%000000日20080705全区平均通话时长（人工服务）秒00-1.596.1804.7日20080705全区平均排队时间秒00-7.47-41.470-16.55日20080705全区排队放弃率%16.02-0.28-1.71-37.5122.15-5.27日20080705全区在线利用率%1000001000日20080705全区自动请求总量次2,780,669.00103,1633.85-7.5314,918,45932.96日20080705全区自动查询请求量次2,198,00376,8383.62-7.5412,404,907-1.69日20080705全区自动查询成功量次272,7944,6601.74-0.041,729,900-3.56日20080705全区自动办理请求量次37,8143,4079.94.52178,661-0.72日20080705全区自动办理成功量次11,955.001,14510.596.6555,218-6.58测试用例描述输入数据描述1、 统计日期：20080705测试过程1、 执行脚本2、 执行sql语句测试结果描述1 数据一致；测试通过；问题原因及解决方案是否已经解决2.2 服务效率分析系统请求与接通情况分析案例名称系统请求与接通情况分析rpt_ccc_req_con_anlz案例编号ut_dbo_vm_mon_m_01测试人李元平测试日期2008-02-20质量监督人审核意见项目经理确认测试环境及工具测试环境：etl服务器： 10.220.7.51 服务器os：aix-unix本地查询：windows平台测试工具：查询工具：teradata sql assistant 7.1表结构查看工具：teradata administrator测试需求内容描述测试内容目标：脚本能够正确执行，生成满足需求的数据。5、 脚本能否正常结束，生成表中数据；6、 指标数据的分量与合计是否平衡；7、 指标数据与其它表是否平衡；8、 与kpi比较数据是否一致。具体测试内容:（1）执行脚本，检查数据是否生成，日志有无错误nohup perl rpt_ccc_req_con_anlz0400.pl 20080325.dir 1rpt_ccc_req_con_anlz0400.pl.log & （2）指标数据是否一致：select *from tpview.vw_rpt_ccc_req_con_anlzwhere cal_date=20080325;select cal_date,city_id,brand_id,comm_period,cust_class,consume_level,stay_dur_level,language_class,operator_type,serv_meth,sum(req_quan ),sum(cnnct_quan)from tnmart.rpt_ccc_req_con_anlzwhere cal_date=20080325group by 1,2,3,4,5,6,7,8,9,10; 3）kpi中无相同指标预期输出请求量（次）2726709接通量（次）2684103接通率（%）98.44%测试用例描述输入数据描述2、 统计日期：20080325测试过程2、 执行脚本2、 执行sql语句测试结果描述2 数据一致；测试通过；问题原因及解决方案是否已经解决服务成功率分析（自动应答成功率分析）案例名称自动应答成功率分析rpt_ccc_auto_res_suc_anlz案例编号ut_dbo_vm_mon_m_01测试人李元平测试日期20080704质量监督人审核意见项目经理确认测试环境及工具测试环境：etl服务器： 10.220.7.51 服务器os：aix-unix本地查询：windows平台测试工具：查询工具：teradata sql assistant 7.1表结构查看工具：teradata administrator测试需求内容描述测试内容目标：脚本能够正确执行，生成满足需求的数据。9、 脚本能否正常结束，生成表中数据；10、 指标数据的分量与合计是否平衡；11、 指标数据与其它表是否平衡；12、 与kpi比较数据是否一致。13、 前端界面宏测试具体测试内容:（1）执行脚本，检查数据是否生成，日志有无错误nohup perl rpt_ccc_auto_res_suc_anlz0400.pl 20080704.dir 1rpt_ccc_auto_res_suc_anlz0400.pl.log & （2）指标数据是否一致：select *from tpview.vw_rpt_ccc_auto_res_suc_anlzwhere cal_date=20080704;select cal_date ,city_id ,brand_id ,comm_period ,cust_class ,consume_level ,stay_dur_level ,language_class ,operator_type ,serv_req_type ,sum(req_quan ) ,sum(sucs_quan ) ,sum(failure_quan) from tnmart.rpt_ccc_auto_res_suc_anlzwhere cal_date=20080704group by 1,2,3,4,5,6,7,8,9,10;3）kpi中无相同指标5)exec tnmart.mc_rpt_ccc_auto_res_suc_anlz(20080704,20080704);预期输出请求量（次）193037成功量（次）190262失败量（次）2775成功率（%）98.56%测试用例描述输入数据描述3、 统计日期：20080704测试过程3、 执行脚本2、 执行sql语句测试结果描述3 数据一致；测试通过；问题原因及解决方案是否已经解决服务成功率分析（人工应答成功率分析）案例名称人工应答成功率分析 rpt_ccc_manual_suc_anlz案例编号ut_dbo_vm_mon_m_01测试人李元平测试日期20080704质量监督人审核意见项目经理确认测试环境及工具测试环境：etl服务器： 10.220.7.51 服务器os：aix-unix本地查询：windows平台测试工具：查询工具：teradata sql assistant 7.1表结构查看工具：teradata administrator测试需求内容描述测试内容目标：脚本能够正确执行，生成满足需求的数据。14、 脚本能否正常结束，生成表中数据；15、 指标数据的分量与合计是否平衡；16、 指标数据与其它表是否平衡；17、 与kpi比较数据是否一致。18、 前端界面宏测试具体测试内容:（1）执行脚本，检查数据是否生成，日志有无错误nohup perl rpt_ccc_manual_suc_anlz0400.pl 20080704.dir 1 rpt_ccc_manual_suc_anlz0400.pl & （2）指标数据是否一致：select *from tpview.vw_rpt_ccc_manual_suc_anlzwhere cal_date=20080704;select cal_date,city_id,brand_id,comm_period,cust_class,consume_level,stay_dur_level,language_class,operator_type,serv_req_type,sum(req_quan ),sum(sucs_quan ),sum(failure_quan)from tnmart.rpt_ccc_manual_suc_anlzwhere cal_date=20080704group by 1,2,3,4,5,6,7,8,9,10;3）kpi中无相同指标5) exec tnmart.mc_rpt_ccc_manual_suc_anlz(20080704,20080704);预期输出请求人工服务次数377959占用人工次数377959请求量（次）377959成功量（次）376473失败量（次）1486成功率（%）99.61%测试用例描述输入数据描述4、 统计日期：20080704测试过程4、 执行脚本2、 执行sql语句测试结果描述4 数据一致；测试通过；问题原因及解决方案是否已经解决在线人员业务处理量分析案例名称在线人员业务处理量分析 rpt_ccc_online_svc_ope_anlz案例编号ut_dbo_vm_mon_m_01测试人李元平测试日期20080704质量监督人审核意见项目经理确认测试环境及工具测试环境：etl服务器： 10.220.7.51 服务器os：aix-unix本地查询：windows平台测试工具：查询工具：teradata sql assistant 7.1表结构查看工具：teradata administrator测试需求内容描述测试内容目标：脚本能够正确执行，生成满足需求的数据。19、 脚本能否正常结束，生成表中数据；20、 指标数据的分量与合计是否平衡；21、 指标数据与其它表是否平衡；22、 与kpi比较数据是否一致。23、 前端界面宏测试具体测试内容:（1）执行脚本，检查数据是否生成，日志有无错误nohup perl rpt_ccc_online_svc_ope_anlz0400.pl 20080704.dir 1 rpt_ccc_online_svc_ope_anlz0400.pl.log & （2）指标数据是否一致：select *from tpview.vw_ rpt_ccc_online_svc_ope_anlzwhere cal_date=20080704;select cal_date,city_id,brand_id,comm_period,cust_class,consume_level,stay_dur_level,language_class,operator_type,serv_req_type,person_req_quan,person_cnnct_quan,online_cust_serv_person_quan,proc_durfrom tnmart.rpt_ccc_online_svc_ope_anlzwhere cal_date=20080325group by 1,2,3,4,5,6,7,8,9,10,11,12,13,14;3）kpi中无相同指标5) exec tnmart.mc_rpt_ccc_online_svc_ope_anlz(20080704,20080704);预期输出在线客服人员数95230人工接通量（次）121695平均接通量（次）1平均处理时长（秒）63.85测试用例描述输入数据描述5、 统计日期：20080704测试过程5、 执行脚本2、 执行sql语句测试结果描述5 数据一致；测试通过；问题原因及解决方案是否已经解决10086客服热线外呼量分析案例名称10086客服热线外呼量分析 rpt_ccc_10086_out_call_anlz案例编号ut_dbo_vm_mon_m_01测试人李元平测试日期20080704质量监督人审核意见项目经理确认测试环境及工具测试环境：etl服务器： 10.220.7.51 服务器os：aix-unix本地查询：windows平台测试工具：查询工具：teradata sql assistant 7.1表结构查看工具：teradata administrator测试需求内容描述测试内容目标：脚本能够正确执行，生成满足需求的数据。24、 脚本能否正常结束，生成表中数据；25、 指标数据的分量与合计是否平衡；26、 指标数据与其它表是否平衡；27、 与kpi比较数据是否一致。28、 前端界面宏测试具体测试内容:（1）执行脚本，检查数据是否生成，日志有无错误nohup perl rpt_ccc_10086_out_call_anlz0400.pl 20080704.dir 1 rpt_ccc_10086_out_call_anlz0400.pl.log & （2）指标数据是否一致：select *from tpview.vw_ rpt_ccc_10086_out_call_anlzwhere cal_date=20080704;select cal_date,city_id,brand_id,cust_class,consume_level,stay_dur_level,sum(out_call_quan ),sum(out_call_sucs_qua