海外游戏技术测评方案.doc

游戏学收集整理，仅供参考思路学习使用！ 欢迎各位朋友指教交流海外游戏技术测评方案第一部分 综述随着网络市场的扩大，网游用户的增长，市场对网络游戏的需求日益增加。然而由于我国游戏出版产业发展历史同国外相比晚了近30年，整体水平相对落后，特别是自主研发方面差距更大。适当、有选择地引进国外优秀游戏作品，有利于借鉴国外先进经验，为我所用，同时满足市场需求。为了更好的对这些网游进行技术鉴定，降低因游戏本身缺陷而导致的潜在运营风险，盛大网络受国家版署所托，根据自身实践的经验，尝试对海外网游提出技术测评方案。网游技术测评分为三个部分：游戏性测试、技术性能测试和安全性测试。在进入正式的测评之前，被测单位应该提供测评申请和关于被测游戏的详细说明，在双方确认后方可进入测试。第二部分 游戏可玩性测试一、概述游戏可玩性测试是针对游戏的可玩程度进行的一种测试，测试项目涉及游戏画面音乐、内容、游戏参数设置、操作手感、场景地图、关系系统等多个层面。可玩性测试原则：1、以游戏性、可玩性测试为工作重点和基础，所执行的测评工作必须综合国内网游市场状况，用户需求的群体性和个体性的差异以及公司运营等各种因素进行。2、要求测评工作从游戏性、可玩性、用户需求、市场、运营前景等角度突出测评报告的专业化、市场化、实用化的特点，最大可能的展现所评测的游戏产品的真实特征。3、严格按照国家的有关规定，对所测评的游戏的内容进行审查。如发现有严重违反国家相关规定的内容，则对该款游戏不予测评。4、新游戏的测评工作根据游戏品质以及运营意向分为两个过程：第一次测评，包括初步或全面的测评工作；第二次测评以深入测试为主。第一次测评工作的侧重于用户角度，宽泛全面地对游戏的可玩性、游戏性进行评测，力求从用户需求、市场、运营等各个方面对游戏作出切合实际的全面评测意见；第二次深入测评工作侧重对测评对象的深入系统功能进行挖掘和分析，以更加专业的角度，结合第一次测评工作以及测评对象的更新、改进等动作，从游戏性、可玩性的技术处理角度，对游戏作出专业的评测结论二、测试流程1 组成2-5人的测评小组，其中1人为主要测试负责人，其余人员为测试助手。2 主要测评负责人制定测评计划，并全程控制测评进度，安排相关工作。测评小组成员独立承担测评任务，严格按照工作安排完成自己相关的测试工作，并积极配合其他测试成员完成测试工作。 3 测试完成后，测评报告主要由测评负责人和测试助手共同完成，测评助手将新游戏的评测心得和评测结论、其他的测评数据、游戏系统等以分页的形式实现。测评负责人对助手的测评报告汇总，并形成一个完整的测评报告。 4 若游戏需要进一步测试，测试成员仍以第一次测试人员为主，并适当根据具体情况调整。 三、测试内容、方式和评定标准1、游戏性测试内容l 测试等级i游戏性测试等级确定测评小组根据新游戏开发程度、游戏类型、游戏初步印象等确定所需要进行的测试等级。游戏测试等级的确定需要统一相关测试人员的意见。ii测试等级分为初步测试、全面测试以及深入测试 初步测试：根据游戏的视听感官，游戏操作等做出初步评判，测评的报告以游戏可玩性介绍和说明的形式，给予测试的对象一个初步的基本的评价结论 游戏全面测试：根据游戏类型，从游戏的画面、角色、属性设定、道具系统、战斗、交流、任务、地图、游戏优缺点、游戏市场、运营分析等各方面进行全面的测试、分析。 游戏可玩性深入测试: 主要测试的内容和范围，集中在对应游戏版本的游戏可玩性相关的各个组成部分，包括游戏的画面、音乐效果、操作控制、交互系统以及游戏特色的可玩性功能等，主要是针对已有引进意向或处于谈判期间的游戏产品，对其开发的进度、版本控制等做出相关的测试评价2、游戏性评定标准：l 评定等级鉴于游戏评分量化较为困难，且受主观因素影响较大，测试人员之间容易产生较大分歧，故将游戏性评定共分五个等级：差、一般、良好、好、优秀。这五个等级同时适用于单个项目的评定及游戏最终评定，详见游戏测试报告基本格式。初步测试只需做最终评定，全面测试需做项目及最终评定。i最终评定等级说明（由高到低）优秀：游戏的品质是相当出众的，并得到测试人员的一致认可。能获得这个评价的游戏都是在各个方面具有非常突出的优点。好：得到这个评价的游戏在各方面都表现优异，即使有少数缺陷也是瑕不掩瑜，其足以为所属类型的爱好者和普通玩家提供更加新鲜愉快的游戏体验。良好：得到这个评价的游戏整体上处于中上水平，在具备一定优点的同时，也往往有着显而易见的缺陷。相对而言，优点和缺点并存，某些缺点并不足以对游戏产生非常严重的影响。一般：游戏整体上处于一个平均水平，各方面表现都较为平庸或者过多明显的缺陷掩盖了其优异的地方。差：得到这个评价的游戏包括以下几种情况 游戏开发程度太低、明显的粗制滥造、大量缺乏有效、完整的系统功能等，或者游戏性、可玩性有明显的缺陷等等得到评分为“差”的游戏将不予以进行技术性能和安全性测试。ii游戏评定注意的事项a. 在全面测试中，需要对每个项目进行评定，在评定的过程中尽量指出其参照系，具体举例说明：若A3的画面的评价是“良好”，则在后面挂号内注明“天堂：优秀”，并附上对比说明。基本上要求对比说明的参照系必须是大家熟悉、具有明显特征的游戏。具体操作请参考相关测评报告。b. 游戏的各项评定须经过全体测试人员的一致通过，在分歧较大的情况下，采取少数服从多数的原则。iii参考对象的选择：a. 参考对象尽量采用横向选择，例如应避免将2D游戏画面与3D游戏画面做比较，或者将休闲游戏的聊天系统与MMORPG游戏的聊天系统作对比等等。b. 参考对象尽量选择市场上知名度较高、推出时间较长、玩家接受程度高的同类游戏产品。若所测游戏与公司产品属同类游戏，或在某些方面具备可比性，则优先考虑将公司产品作为参考对象。c. 同一个报告中的不同项目的参考对象可以来自不同的游戏。d. 不排除在单个项目评定或游戏总体评定时缺乏相应参考系的情况，此种情况下可以省去参考对象，由测试人员根据自身感受给出一个较为客观的评定即可。3、测试结果提交在完成游戏性测试后，将出具游戏测试报告，对以上提到的测试内容进行详细阐述。报告模板见附1。4、关于游戏的可玩性深入测试游戏可玩性深入测试，力求从专业的角度去测试游戏的可玩性及其相关的实现，从而更深入了解、掌握测试对象在可玩性把握上的变化以及相应的特点，并最终对该项目做出科学、准确地测试评估，为引进和运营测试对象做好基础的准备工作。游戏可玩性深入测试的工作报告涉及游戏可玩性涵盖的所有部分和内容（参看附2）。深入测试报告要求必须对测试的部分做出基准和科学的评价，工作报告以详细地阐述和说明为主。第三部分 游戏技术性能测试一、概述网络游戏性能测评是指在特定的测试环境中模拟网络游戏运行的实际情况，采用科学的测试方法、利用专业的测试工具，采集反映游戏运行状况的性能参数，通过对测试数据的统计分析，形成对游戏性能的综合评价，并提供详细的测评报告。对网络游戏性能的评价主要涉及三个方面，即服务器、客户端和网络。在进行网游性能测评时，为了保障游戏数据的安全性和测试结果的准确可靠，必须遵循以下原则：1、 安全性：要确保游戏资料的机密和安全，防止各种攻击和泄密情况发生；2、 独立性：测试环境要独立于其他网络环境；3、 代表性：测试环境应该能够模拟不同游戏环境，所选用的设备和上网方式要具有一定的代表性；4、 可靠性：要保证在测试环境中获取的数据准确、可靠，能够反映游戏运行的真实情况；5、 重复性：在测试环境中，游戏运行的各种常见故障和现象能够重复再现。二、技术性能测评流程测评流程（图一）总体上分为三个阶段，即制定测试计划、编写测试规范、执行测试并形成测试报告。测试规范包括测试设计规范、测试用例规范、测试过程规范。测试报告包括测试日志、测试事件报告和测试总结报告。2.1 制定测试计划测试计划描述测试的范围、方法、资源和时间计划，明确测试内容及其特征、测试任务、人员分工及费用风险等内容。测试计划应该包括以下内容：1、 测试计划标识2、 测试介绍3、 测试内容概述4、 测试方法概述5、 测试评估标准6、 测试文档列表游戏文档测试计划其他文档客户端设计规范网络设计规范服务器设计规范测试用例规范测试过程规范测试日志测试日志测试事件报告测试事件报告测试总结报告测 试 执 行图一 测试流程图7、 测试任务8、 测试环境需求9、 测试分工10、 培训需求11、 测试时间表12、 费用分析13、 风险评估14、 计划审批2.2 编写测试设计规范测试设计规范描述测试方法和测试内容，同时也标识出测试用例及测试过程。具体包括：1、 测试设计规范标识2、 测试内容3、 测试方法4、 测试用例标识5、 测试评估标准2.3 编写测试用例规范测试用例规范规定测试参数的输入和预期的输出值，包括：1、 测试用例规范标识2、 测试内容3、 测试输入4、 测试输出5、 环境需求6、 特殊需求7、 测试用例的依赖性2.4 编写测试过程规范测试过程规范描述根据测试设计实施测试用例时需要遵循的步骤，包括：1、 测试过程标识2、 测试目的3、 特殊需求4、 测试步骤2.5 记录测试日志测试日志记录测试执行的全过程，包括：1、 测试日志标识2、 测试描述3、 测试活动记录2.6 记录测试事件测试事件报告记录在测试过程中产生的需要进一步分析的事件，包括：1、 测试事件标识2、 事件摘要3、 事件描述4、 影响2.7 测试总结报告测试总结报告汇总测试过程及测试成果，给出评价报告，包括：1、 测试总结报告标识2、 测试内容汇总3、 变更说明4、 测试活动汇总5、 综合评估6、 报告审批三、服务器性能指标服务器性能测试是指在游戏服务器端程序运行时，观察服务器的主要性能指标，分析存在的性能瓶颈及解决办法，找出适合游戏运行的服务器配置。服务器端的性能指标主要包括内存性能、处理器性能和磁盘性能。3.1 内存确定系统瓶颈的第一个步骤就是排除内存问题，内存短缺可能会引起各种各样的问题。下边详细描述与内存相关的各项参数指标：Available Mbytes (计数器)：就是物理内存的可用数（单位 Mbytes），系统正常运行至少要有10% 的物理内存值 。Page/sec、PageFaults/sec、PagesInput/sec、PageReads/sec、TransitionFaults/sec(计数器)： 当处理器向内存指定的位置请求一页出现错误时，这就构成一个Page Fault。如果该页在内存的其他位置，该错误被称为软错误，用Transition Fault/sec 计数器衡量；如果该页必须从硬盘上重新读取时，被称为硬错误。许多处理器可以在有大量软错误的情况下继续操作，但是硬错误可以导致明显的拖延。Page Faults/sec是处理器每秒钟处理的错误页。Pages Input/sec 是为了解决硬错误页，从硬盘上读取的页数，而Page Reads/sec是为了解决硬错误，从硬盘读取的次数。Cache Bytes（计数器）：文件系统缓存（File System Cache），默认情况下为50%的可用物理内存。File Cache Hits %， File CacheFlushes, FileCache Hits（计数器）：File Cache Hits %是文件缓存命中全部缓存需求的比例，而File Cache Hits是文件缓存命中的具体值；File CacheFlushes 是自服务器启动之后文件缓存刷新次数，如果刷新太慢，会浪费内存；如果刷新太快，缓存中的对象会太频繁的丢弃生成，起不到缓存的作用。通过File Cache Hits 和File Cache Flushes 可以得到一个适当的刷新值Private Bytes(计数器)：指这个进程不能与其他进程共享的、已分配的当前字节数。内存问题主要检查应用程序是否存在内存泄漏。如果发生了内存泄漏，ProcessPrivate Bytes计数器的值往往会升高，同时Available Bytes 的值会降低。3.2 处理器通常通过下述指标来判断是否存在处理器瓶颈：Processor Queue Length(计数器)：是指处理列队中的线程数。即使在有多个处理器的计算机上处理器时间也会有一个单列队。不象磁盘计数器，这个计数器仅计数就绪的线程，而不计数运行中的线程。如果处理器列队中总是有两个以上的线程 通常表示处理器堵塞。%Processor Time（计数器）：CPU 使用率。这是查看处理器饱和状况的最佳计数器。显示所有 CPU 的线程处理时间。如果一个或多个处理器的该数值持续超过 90%，则表示此测试的负载对于目前的硬件过于沉重。ContextSwitches/sec(计数器)：指计算机上的所有处理器全部从一个线程转换到另一个线程的综合速率。%Privileged Time（计数器）：是在特权模式下处理线程执行代码所花时间的百分比。当调用 Windows 系统服务时，此服务经常在特权模式运行，以便获取对系统专有数据的访问。在用户模式执行的线程无法访问这些数据。Interrupts/sec（计数器）：指处理器每秒钟接收并维护的硬件中断的平均值。3.3 磁盘% Disk Time：指所选磁盘驱动器忙于为读或写入请求提供服务所用的时间的百分比。Average Disk Queue Length：指读取和写入请求的平均数。Average Disksec/Read：指以秒计算的在此盘上读取数据的所需平均时间。Average Disksec/Transfer：指以秒计算的在此盘上写入数据的所需平均时间。 Disk Reads/sec：指在此盘上读取操作的速率。 Disk Writes/sec：指在此盘上写入操作的速率。四、客户端性能指标客户端性能测试是指在相同的软件环境下，用不同配置的硬件平台测试游戏客户端程序在声音、图像、数据交换等各方面的性能表现，得出游戏运行所需要的最低配置和能够完全表现游戏特性的推荐配置。影响游戏运行效果的客户端性能一般包括CPU、内存、硬盘、显卡和声卡等几个方面进行测试。CPU、内存和显卡的测试指标与服务器相同，显卡和声卡的测试重点如下：4.1显卡显卡PC机多媒体性能的核心部件，显卡速度和性能决定了3D游戏的效果。通过检测游戏的FPS值，可以判断游戏对显卡的要求，25帧以上为流畅，25帧以下画面会变的停顿。如果无帧数显示，说明游戏不要求支持3D效果的显示卡。4.2声卡越来越多的游戏采用了更优质的音效，玩家对音效的追求不单单是能发声就可以了，在游戏中主要是测试声卡是否支持游戏的声音文件。五、网络性能指标网络性能指标可以从客户端和服务器端两个方面来评价。5.1 单个客户端程序所产生的网络吞吐量 反映客户端最低网络带宽需求。5.2 在不同接入方式下客户端的网络延迟 反映在不同的接入方式游戏运行的流畅性。5.3 在不同稳定性情况下客户端的运行情况 反映客户端正常运行所需的网络链路质量5.4 各种类别服务器与客户端的数据通讯量 反映不同类别服务器的带宽需求第四部分 游戏安全性测试一、 概述游戏的安全性问题是游戏在运营过程中遇到的非常突出的问题。一直以来，网络游戏的安全性是国内数千万玩家和网络游戏运营商的一块心病，外挂横行，玩家账号密码被盗、道具和装备丢失的情况层出不穷，玩家们耗费大量时间、精力和金钱获得的装备被盗的情况时有发生，甚至出现了专门盗取玩家的装备转手倒卖的“网络窃贼”。由此，在引进一款游戏之前，对其安全性进行测试，减少未来可能发生的安全性问题，显得尤为重要。对游戏的安全性评估主要从数据生成、数据通信、程序自身安全等方面进行。二、 测试内容和评估标准1、 客户端是否含有关键性的本地运算这是非常重要的一个测试项目。通过测试分析，可以得到游戏客户端含有哪些本地运算，并针对性的分析修改运算结果后对游戏平衡的影响。一旦修改本地运算结果能对游戏平衡造成严重影响，则该款游戏的安全性被判为不合格，建议不予以引进。2、 服务端对客户端发送的数据是否含有合理性的判断本项主要测试服务端是否能够对客户端发送的数据进行合理性判断，要求服务端能够对非法信息做出对应处理，对逻辑上不该出现的“合法”数据包也能丢弃。如果服务端对客户端发送的数据没有做合理性判断，则要求游戏开发商在指定时间段内进行修正，并重新接受测试；否则，该款游戏的安全性被判为不合格，建议不予以引进。3、网络数据封包加密的安全性测试本项通过测试游戏的通讯协议和网络封包的安全性（主要测试加密强度），来减少未来出现的数据包被破解的可能性，防止外挂的产生。如果被测游戏的网络数据封包没有采用任何加密，则要求游戏开发商在指定时间段内进行修正，并重新接受测试；否则，该款游戏的安全性被判为不合格，建议不予以引进。4、客户端执行程序抗分析措施客户端执行程序抗分析主要测试客户端执行文件是否有技术手段阻碍对其分析，其中包括是否加壳，以及加密壳的加密强度，是否有反动态调试，反静态分析，反动态修改的功能。如果拥有良好的客户端执行程序抗分析措施，则会大大增加做外挂的难度。如果被测客户端没有采取任何抗分析措施，则要求游戏开发商在指定时间段内进行修正，并重新接受测试；否则，该款游戏的安全性被判为不合格，建议不予以引进。5、技术上实现盗号的难度通过测试第三方程序取得用户输入帐号和密码的技术难度，来评判该游戏是否会较难实现盗号。 如果测试结果为第三方程序可以轻易盗取帐号和密码或者普通恶意程序无法盗取密码，但技术上实现盗取不难，则建议游戏开发商在指定时间段内进行修正。附1、游戏测试报告模板游戏测试报告模板：游戏性初步测试报告基本格式：总体要求：着重从视听感官、游戏操作对游戏进行较为简单的测试。第一页：游戏外文名称：_游戏中文名称：_游戏类型：_游戏开发商：_测试开始时间：_测试结束时间：_测试人：_游戏配置要求：第二页-第N页游戏初步测试内容：一、 游戏画面（可以参考以下几个方面描述，并适当截图）1 画面整体风格，颜色搭配2 界面布局3 角色、怪物造型4 场景5 技能特效二、 游戏音乐、音效1 背景音乐2 音效配合三、 游戏操作、上手度（可以参考以下几个方面描述）1 基本操作2 功能性操作3 游戏整体上手度四、其他（测试人员根据实际情况补充一些游戏的相关内容）第N+1页-N+M页三、 游戏优缺点根据测试所涉及到的内容，整理出游戏存在的明显的优缺点，并作简要分析四、 游戏总体评价根据游戏的视听感官，游戏操作等方面，对游戏整体印象做一个简要评价。七、游戏等级评定：（注明参照对象）（评定共分为五个等级，依次为差、一般、良好、好、优秀）4、游戏性全面测试报告基本格式：（）注：不需要测试人员节约纸张，在下面列出的基本格式外，可以根据实际情况自行添加、删减相应内容，测试报告的目的是让没有玩过这个游戏的人，能够直观的了解游戏的大致系统、内容，并有初步印象。第一页：游戏英文名称：_游戏中文名称：_游戏类型_游戏开发商：_游戏登陆界面或者包含游戏名字的主界面截图一张测试开始时间：_测试结束时间：_测试人：_第二页：游戏运行配置要求：测试报告目录索引：第三页-第N页：游戏系统、功能描述（包括同类游戏对比）：基本按照评分标准上的内容进行，注意其中标明必须截图的部分，也可以根据个人喜好，在适当的部分增加截图, 描述的细节内容可以参看不同类型游戏的测试报告,不遗漏游戏的功能，描述语言尽量使用客观、中性化的词语。要求报告的格式尽量避免格式化，不要求一定按照下列表格模板实现测试评估的报告形式测试项目测试内容画面项目评价（参照对象、对比说明）片头动画人物创建界面描述（需要截图）人物、怪物整体造型描述（需要截图）游戏场景（需要截图）技能特效（需要截图）游戏音乐方面项目评价（参照对象、对比说明）背景音乐描述音效描述游戏操作感受项目评价（参照对象、对比说明）人物基本动作控制描述快捷键描述视角控制描述各种状态窗口设定及信息回馈操作习惯性描述地图场景项目评价（参照对象、对比说明）地图场景描述（需要截图，特别是不同风貌的场景要分开截图）地图进入等级限制设定地图衔接和载入方式描述小地图功能描述角色职业项目评价（参照对象、对比说明）职业种类和数量描述（需要截图）职业特点和技能描述（需要截图）人物属性设定描述（需要截图）角色可以拥有的特殊称号描述（需要截图）人物升级和技能学习、升级方式描述角色转职的设定描述游戏的特殊角色职业设置描述纸娃娃&道具 (也可以理解为avatar系统)项目评价（参照对象、对比说明）纸娃娃系统描述 （需要截图）道具取得方式描述（需要截图）道具种类描述道具属性设定（需要截图）道具使用限定道具打造升级（需要截图）战斗系统项目评价（参照对象、对比说明）战斗特点模式描述（需要截图）死亡惩罚组队分配怪物AI设定PVP方式描述（需要截图）国战、攻城战、行会战等描述战斗技巧性描述玩家交流项目评价（参照对象、对比说明）聊天系统描述（必须截图）情感表情指令描述（必须截图）游戏中的社会关系描述（必须截图）交易（必须截图）游戏任务系统项目评价（参照对象、对比说明）任务类型和过程描述（必须截图）任务数量和在游戏中的地位描述玩家个性展示和长期游戏目标描述项目评价（参照对象、对比说明）个性展示部分描述（必须截图）玩家长久游戏目标描述第N+1页-第M页游戏优缺点：（从游戏性的角度出发，结合游戏测试过程中涉及到和未涉及到的内容，挖掘、整理出游戏中明显或潜在的优缺点，并作深入分析）游戏市场、运营分析（可以从游戏市场推广、运营、竞争对手等相关