竞品分析测试方案

1、文档名称文档密级 TIME yyyy-M-d 2022-9-d华为保密信息,未经授权禁止扩散第页竞品分析测试方案测试哪些竞品？将RCS的的业务进进行划分分，各自自选择112款款当前最最流行的的APPP应用作作为竞争争产品进进行分析析，其中中：视频业务区区分ioos平台台和anndrooid平平台，分分别选择择FacceTiime和和微信作作为分析析对象；消息类业务务区分国国内外的的流行软软件，国国内主要要是微信信，海外外主要是是whaatsaapp业业务，分分析过程程中同时时拿两款款appp作为分分析对象象；呈现类业务务，目前前做的最最好的软软件微信信作为分分析对象象；综合指标部部分选择择和R

2、CCS业务务最相似似的微信信和skkypee作为分分析对象象。对比项RCS微信SkypeeWhatssapppFaceTTimee音频业务视频业务消息类业务务登录注销呈现类业务务性能指标测试哪些维维度？测试维度功能完备性性Qos主观评价音频业务静音、外放放、DTTMF、音音量控制制方式、业业务触发发入口、其其它特色色功能、编编解码、拨号盘、历史记录在不同网络络质量下下的通话话质量、最最优质量量的网络络要求结合主观概概念进行行综合评评价视频业务静音、外放放、DTTMF、音音量控制制方式、摄摄像头切切换、音音视频互互换、窗窗口隐藏藏、业务务触发入入口、编编解码、其它特色功能在不同网络络质量下下的通

3、话话质量、最最优质量量的网络络要求结合主观概概念进行行综合评评价消息类业务务回执、输入入状态、表表情、共共享内容容、群聊聊、业务务触发入入口在不同网络络质量下下的业务务成功率率.时延等等结合主观概概念进行行综合评评价登录注销自动登陆、静静默登陆陆、网络络状态提提示、其其它特殊殊业务对网络状态态的敏感感程度、登登陆耗时时结合主观概概念进行行综合评评价呈现类业务务呈现信息的的内容、内内容大小小，图片片质量各种呈现信信息更新新的成功功率和时时延结合主观概概念进行行综合评评价性能指标业务场景下下的流量量、电量量、内存存、CPPU、安安装包大大小不涉及结合主观概概念进行行综合评评价用例体验评估RCSS的

4、用户户体验以以及对比比分析竞竞品之间间的差异异Qos测试试基于网网络有一一定网络络话务模模型下进进行竞品品测试。根据QoS&话务模型&性能规格（2013-7-22刷新）中的定义，典型网络QoS模型如下：注：其中WIFFI/宽宽带接入入为必选选场景，3G接入/2G接入为可选场景。“丢包率、时时延、抖抖动”等等数值均均指一侧侧的数据据，即指指UE-SBBC-IMSS(ASS)的数数据。需需要注意意的是，在在测试部部分场景景时，需需要在两两个UEE侧加扰扰，比如如在测试试音频的的“WIIFI:较差”场场景时，需需要在UUE1-SBBC-IMSS(ASS)一侧侧按照丢包：11.5%，时时延：2215m

5、ms，抖抖动：1100mms加加扰，同同时需要要在UEE2-SBCC一侧也也按照丢包：11.5%，时时延：2215mms，抖抖动：1100mms加加扰。测试哪些项项？音频业务功能完备性性针对音频呼呼叫的功功能完备备性，进进行如下下维度的的功能完完备性测测试类型功能点测试点描述述音频呼叫业务发起入入口来电铃声大大小控制制来电铃声的的大小控控制，在在各种手手机情景景模式下下的来电电铃声接听方式包括锁屏状状态下的的接听、正正常下的的接通界面呈现信信息在振铃态通通话态各各自能够够呈现多多少信息息？静音功能是否支持外放功能是否支持DTMF信息查询在通话态能能够并行行操作多多少业务务转CS呼叫叫编解码支持

6、哪些编编解码切换视频呼呼叫补充业务与呼叫的冲冲突包括PS业业务的冲冲突和CCS呼叫叫的冲突突通话记录通话记录查查询通话记录删删除功能能通话记录详详情界面面信息呈呈现拨号盘拨号盘搜索索拨号盘删除除功能其它其它特色功功能Qos质量量在对比测试试过程中中，各个个影响参参数的设设置如下下：设置项RCSSkypee组网RCS的主主流组网网（内置置SVNN）默认配置（安安装后默默认配置置）编解码使用默认编编解码oopuss2198冗冗余支持（按照照默认配配置支持持二级冗冗余）针对语音呼呼叫的QQos分分析，需需要测试试的关键键指标如如下（包包括统计计方法）：关键指标RCSSkypee接通率连续测试110次

7、，计计算接通通率连续测试110次，计计算接通通率接续时长从日志中获获取接续续时长通过外部计计时的方方式实现现（秒表表）语音时延以DSLAA的测试试数据为为准以DSLAA的测试试数据为为准MOS以DSLAA的测试试数据为为准以DSLAA的测试试数据为为准视频业务功能完备性性针对视频频频呼叫的的功能完完备性，进进行如下下维度的的功能完完备性测测试类型功能点测试点描述述视频呼叫业务发起入入口来电铃声大大小控制制来电铃声的的大小控控制，在在各种手手机情景景模式下下的来电电铃声接听方式包括锁屏状状态下的的接听、正正常下的的接通界面呈现信信息在振铃态通通话态各各自能够够呈现多多少信息息？静音功能是否支持外

8、放功能是否支持DTMF摄像头切换换窗口切换窗口隐藏信息查询在通话态能能够并行行操作多多少业务务编解码支持哪些编编解码切换音频呼呼叫补充业务与呼叫的冲冲突包括PS业业务的冲冲突和CCS呼叫叫的冲突突其它其它特色功功能Qos质量量在对比测试试过程中中，各个个影响业业务的参参数设置置如下：设置项RCSFaceTTimee/微信信组网RCS的主主流组网网（内置置SVNN）默认配置（安安装后默默认配置置）编解码音频编解码码视频oopuss；视频频编解码码使用HH.26642198冗冗余支持（按照照默认配配置支持持二级冗冗余）针对视频呼呼叫的QQos分分析，需需要测试试的关键键指标如如下（包包括统计计方法

9、）关键指标RCSSkypee接通率连续测试110次，计计算接通通率连续测试110次，计计算接通通率接续时长从日志中获获取接续续时长通过外部计计时的方方式实现现（秒表表）视频质量ICT工具具评测（工工具正在在调试，如如果不能能完成测测试，则则采用视视频主观观判断）视频主观判判断（只只针对主主观感受受对比）音频质量以DSLAA的测试试数据为为准以DSLAA的测试试数据为为准MOS以DSLAA的测试试数据为为准以DSLAA的测试试数据为为准消息类业务务功能完备性性类型功能点测试点描述述单聊业务发起入入口草稿保存状态显示输入状态显显示表情消息分页加加载来电提示方方式界面呈现信信息消息置顶单聊支持的的内

10、容消息同源其它特色功功能群聊群聊发起入入口群聊支持的的内容群聊人数限限制群聊的参数数其它特色功功能图片共享图片共享入入口照片墙点击下载其它特色功功能位置位置共享入入口其它特色功功能PTT共享入口PTT时长长PTT取消消PTT信息息显示PTT播放放模式其它特性功功能名片共享共享入口共享的信息息项其它特色功功能视频文件共共享共享入口支持的格式式文件大小限限制点击下载其它特色功功能Qos质量量【IM业务务】在IM业务务的对比比测试过过程中，各各个影响响业务的的参数设设置如下下：设置项RCS微信消息模式Sessiion模模式（RCSS默认模模式）默认配置（安安装后默默认配置置）组网MSRP oveer

11、 TTCP消息内容根据Qoss测试要要求设置置根据Qoss测试要要求设置置针对IM业业务的Qoss分析，需需要测试试的关键键指标如如下（包包括统计计方法）关键指标RCS微信成功率连续测试110次，计计算接通通率连续测试110次，计计算接通通率时延从日志中获获取接续续时长通过外部计计时的方方式实现现（秒表表）【位置业务务】位置业务使使用IMM消息发发送，测测试结果果以IM业务务的测试试结果为为准，不不针对位位置业务务进行独独立的QQos测测试。【图片共享享】在图片共享享的对比比测试过过程中，各各个影响响业务的的参数设设置如下下设置项RCS微信消息模式Sessiion模模式（RRCS默默认模式式）

12、默认配置（安安装后默默认配置置）组网MSRP oveer TTCP共享内容根据Qoss测试要要求设置置根据Qoss测试要要求设置置针对图片共共享的QQos分分析，需需要测试试的关键键指标如如下（包包括统计计方法）关键指标RCS微信成功率连续测试110次，计计算接通通率连续测试110次，计计算接通通率时延从日志中获获取接续续时长（时时延从何何时开始始？何时时结束？）需要刷新需要刷新通过外部计计时的方方式实现现（秒表表）速率文件大小/发送时时长（指指端到端端的？还还是单向向？双向向？）【名片共享享】名片共享业业务使用用IM消息息发送，测测试结果果以IMM业务的的测试结结果为准准，不针针对名片片共享

13、进进行独立立的Qoos测试试。【视频文件件共享】在视频文件件共享的的对比测测试过程程中，各各个影响响业务的的参数设设置如下下设置项RCS微信消息模式Sessiion模模式（RRCS默默认模式式）默认配置（安安装后默默认配置置）组网MSRP oveer TTCP共享内容根据Qoss测试要要求设置置（是否否可以采采用自身身的录制制时间为为准，录录制画面面如何处处理）根据Qoss测试要要求设置置针对视频文文件共享享的Qoos分析析，需要要测试的的关键指指标如下下（包括括统计方方法）关键指标RCS微信成功率连续测试110次，计计算接通通率连续测试110次，计计算接通通率时延从日志中获获取接续续时长（时

14、时延从何何时开始始？何时时结束？）通过外部计计时的方方式实现现（秒表表）速率文件大小/发送时时长（指指端到端端的？还还是单向向？双向向？）【PTT共共享】在PTT共共享的对对比测试试过程中中，各个个影响业业务的参参数设置置如下设置项RCS微信消息模式Sessiion模模式（RRCS默默认模式式）默认配置（安安装后默默认配置置）组网MSRP oveer TTCP共享内容根据Qoss测试要要求设置置（是否否可以采采用自身身的录制制时间为为准，录录制画面面如何处处理）根据Qoss测试要要求设置置针对PTTT共享的的Qoss分析，需需要测试试的关键键指标如如下（包包括统计计方法）关键指标RCS微信成功

15、率连续测试110次，计计算接通通率连续测试110次，计计算接通通率时延从日志中获获取接续续时长（时时延从何何时开始始？何时时结束？）通过外部计计时的方方式实现现（秒表表）速率文件大小/发送时时长（指指端到端端的？还还是单向向？双向向？）登陆注销（包包括断网网重连）功能完备性性类型功能点测试点描述述登陆注销开机自动登登陆后台运行开销户失败原因提提醒断网重连终端状态的的检测IM下的断断网重连连音视频下的的断网重重连内容共享的的断网重重连Qos质量量测试RCSS和竞争争产品在在现网WWiFii网络上上的注册册时长和和成功率率，每种种场景测测试100次，取取其平均均值作为为测试结结果。呈现类业务务功能

16、完备性性类型功能点测试点描述述呈现类呈现的内容容内容刷新周周期Preseencee信息的的显示好友发现的的方式Qos质量量RCS和微微信在PPressencce业务务上的实实现存在在一定的的差异。测试策略如下：呈现内容RCS微信测试分析登录状态有“离线”和和“在线线状态”实实时呈现现在联系系人列表表没有登录状状态的呈呈现不进行Qoos测试试签名刷新好友更新签签名后，自自动更新新在联系系人列表表中不自动更新新，点击击好友签签名时更更新业务时延：微信从从手动刷刷新开始始，rccs已好好友更新新时间开开始成功率：正正常统计计头像更新好友更新头头像后，自自动更新新在联系系人列表表中不自动更新新，点击击

17、好友头头像时更更新业务时延：微信从从手动刷刷新开始始，rccs已好好友更新新时间开开始成功率：正正常统计计好友发现自动发现好好友，周周期可以以配置不自动发现现，手动动发起好好友检测测（根据据QQ联系系人/手机联联系人），检检测到好好友后，需需要手动动发起增增加为好好友的操操作。不进行Qoos测试试性能指标性能测试指指标是除除业务完完备度和和用户体体验外，最最直接的的竞争力力体现。本测试方案针对安装包大小CPU、内存、流量、电量、流畅度进行对比测试。安装包大小小比较软件的的安装包包大小。CPU对于APPP来讲，CCPU测测试和内内存测试试根据如如下几点点考虑测测试场景景。在相对稳定定的状态态进行

18、CCPU的的测试和和对比；说明：对AAPP的的稳定状状态进行行测试，因因为用户户一般不不会感受受到CPPU的飙飙高，CCPU的的对外呈呈现是终终端的发发热量、app的使用流畅度。对于操作过程瞬时状态用户较难察觉，因此竞品测试过程中基于如下两个原则设计场景：针对场景进进行的通通用性。说明：由于于软件的的业务和和架构不不同，无无法做到到很细节节场景的的对比，因因此测试试过程中中关注业业务场景景，对应应的配置置以默认认配置为为准。某某些业务务独有的的特性在在业务实实现完备备性章节节进行测测试，不不在性能能指标中中作为专专项测试试。基于以上原原则，抽抽象出以以下几种种测试场场景：后台运行场景构造：空联

19、系系人，同同一款终终端，登登陆100分钟后后在后台台运行。测试方法：观察CCPU的的占用持持续5分钟。前台运行场景构造：空联系系人，同同一款终终端，登登陆100分钟后后在后台台运行。测试方法：在被测测系统运运行在前前台，按按照正常常使用速速度且在在“1级”页页面切换换，观察察CPUU的占用用持续55分钟。IM聊天过过程中场景构造：每个终终端1个联系系人。两两个终端端之间互互发进行行操作。测试方法：按照如如下顺序序循环发发送，若若不支持持则跳过过。A发送消消息给BB；B发送消消息给AA；A发送表表情给BB；B发送表表情给AA；A发送照照片给BB；B发送照照片给AA；A发送名名片给BB；B发送名名

20、片给AA；循环操操作，持持续5分钟观观察cppu变化化。业务务结束后后须持观观察CPPU5分分钟。音视频呼叫叫过程中中场景构造：每个终终端1个联系系人。测试方法：从呼叫叫开始前前30ss开始到到呼叫接接触后持持续观察察5分钟。呼呼叫持续续5分钟。内存同CPU测测试场景景，抽象象出以下下几种测测试场景景：后台运行场景构造：空联系系人，同同一款终终端，登登陆100分钟后后在后台台运行。测试方法：观察CCPU的的占用持持续5分钟。前台运行场景构造：空联系系人，同同一款终终端，登登陆100分钟后后在后台台运行。测试方法：在被测测系统运运行在前前台，按按照正常常使用速速度且在在“1级”页页面切换换，观察

21、察内存的占占用持续续5分钟。IM聊天过过程中场景构造：每个终终端1个联系系人。两两个终端端之间互互发进行行操作。测试方法：按照如如下顺序序循环发发送，若若不支持持则跳过过。A发送消消息给BB；B发送消消息给AA；A发送表表情给BB；B发送表表情给AA；A发送照照片给BB；B发送照照片给AA；A发送名名片给BB；B发送名名片给AA；循环环操作，持持续5分钟观观察cppu变化化。业务务结束后后须持观观察CPPU5分分钟。音视频呼叫叫过程中中场景构造：每个终终端1个联系系人。测试方法：从呼叫叫开始前前30ss开始到到呼叫接接触后持持续观察察5分钟。呼呼叫持续续5分钟。流量流量测试采采用第三三方软件件

22、进行统统计。采采用瓦瓦力流量量仪作作为测试试工具预置条件：区分aandrroidd和ioss平台，AAndrroidd使用防防火墙屏屏蔽其他他APPP访问网网络，iios在在后台删删除掉非非被测软软件和统统计工具具外的其其它APPP应用用。软件件的设置置项采用用APPP应用的的默认设设置。测试场景：空跑一轮不安装被测测软件，只只安装统统计工具具，目的的是将测测试结果果作为参参考基线线，减少少测试过过程中误误差登陆被测软件均均统计在在安装软软件后首首次登陆陆消耗的的流量。由于当前RCS做成自动发现好友。在和不同软件时间进行对比时，需要完成的流程如下：被测对象操作步骤后台完成动动作RCS使用老号码

23、码；进行首次登登陆；启动CABB之后，进进行一轮轮CABB好友发发现登陆流程自动匹配联联系人中中好友下载好友信信息微信使用老号码码；进行首次登登陆；进行一轮号号码本匹匹配登陆流程下载好友信信息自动匹配联联系人中中好友说明：得到到测试数数据后，需需要结合合好友数数量才能能比对产产品之间间的测试试数据。 后台运行11个小时时登陆成功后后在后台台运行11个小时时。前台运行11个小时时登陆成功后后在前台台运行11个小时时。被测测软件停停留在登登陆后的的默认页页面，关关闭系统统锁屏功功能。IM发送文文本500条（测试试3组数据据）终端A和终终端B登陆后后，互发发IM文本本消息，互互发300分钟，文文本内

24、容容固定为为“1”-“50”依依次增加加1.音频10分分钟以默认编解解码进行行测试视频10分分钟以默认编解解码进行行测试电量电量测试继继承使用用版本测测试的方方法，使使用如下下几种测测试场景景进行和和竞品的的分析。后台运行112个小小时；视频呼叫11个小时时；音频呼叫11个小时时；说明：iOOS平台台直接读读取iPPhonne自身身电量显显示。Anddroiid平台台采用第第3方电量量测试工工具（金金山电池池医生）显示电电量。测测试时通通过杀死死后台程程序的方方式仅保保留被测测软件和和测量工工具。发热量本方案暂时时不关注注流畅度流畅度的测测试在本本版本首首次执行行，作为为一个独独立的测测试项，

25、需需要输入入单独的的文档，本本文档不不进行描描述，具具体测试试方案请请参考RCS Client V100R005C00流畅度测试方案用户体验评评估测试思路将RCS的的业务抽抽象成各各种任务务，这些些任务的的集合能能够覆盖盖RCSS的主要要功能场场景（超超过900%）。测试试人员在在执行这这些任务务的过程程中评估估用户的的体验效效果。任务划分测试任务划划分如下下，所有有测试任任务的其其实页面面均从登登陆后的的默认页页面开始始。任务编号任务名称任务描述任务01音频呼叫从拨号盘发发起音频频呼叫任务02视频呼叫从联系人详详情中发发起视频频呼叫任务03删除呼叫记记录删除某个联联系人的的所有通通话记录录任

26、务04发起IM从联系人详详情中发发起1-1聊天天业务任务05接收IM被测软件在在后台运运行，收收到IMM消息后后，查看看IM消息息，且回回复任务06发送图片从联系人详详情中发发起图片片共享业业务（即即时拍）任务07发送视频从联系人详详情中发发起视频频文件共共享业务务（被测测系统进进行录制制）任务08发送名片从联系人详详情中发发起名片片共享业业务（从从联系人人中选择择）任务09发送PTTT从联系人详详情中发发起PTTT文件件共享业业务任务10发送位置从联系人详详情中发发起位置置共享业业务任务11接收图片在登陆后的的默认页页面，收收到好友友发送过过来的图图片，浏浏览后保保存到本本地任务12接收视频在登陆后的的默认页页面，收收到好友友发送过过来的视视