互联网药品交易服务系统软件测评大纲二

1、 互联网药品交易服务系统软件测评大纲二国家食品药品监督管理局二六年二月1 总则本测评大纲由国家食品药品监督管理局会同中国软件测评中心、国家应用软件产品质量监督检验中心共同制定，国家食品药品监督管理局对本大纲具有最终解释权。2 适用范围本测评大纲适用于“药品生产企业、药品批发企业通过自身网站与本企业成员之外的其他企业进行的互联网药品交易以及向个人消费者提供的互联网药品交易服务”的交易平台软件测评。本大纲是为加强药品监督管理，规范互联网药品交易服务，针对互联网药品交易服务系统软件的基本功能及国家相关软件质量要求制定，目的是为判定系统是否符合互联网药品交易服务机构验收标准中规定的相关指标提供客观依据

2、，并供参测企业及药品监督管理部门参考。3 测评机构资质要求参与“药品生产企业、药品批发企业通过自身网站与本企业成员之外的其他企业进行的互联网药品交易以及向个人消费者提供的互联网药品交易服务”平台软件测评的机构，要求至少获得中国实验室国家认可委员会认可，认可的检测能力范围应至少包括对软件产品功能性、可靠性及效率的测评。4 测评依据GB 2312-1980 信息交换用汉字编码字符集 基本集GB 13000.1-1993 信息技术 通用多八位编码字符集（UCS）第一部分：体系结构与基本多文种平面GB 18030-2000 信息技术 信息交换用汉字编码字符集 基本集的扩充GB/T 1988-1998

3、信息技术 信息交换用七位编码字符集GB/T 9386-1988 计算机软件测试文件编制规范GB/T 11457-1995 软件工程术语GB/T 12345-1990 信息交换用汉字编码字符集 辅助集GB/T 16260-1996 信息技术 软件产品评价质量特性及其使用指南GB/T 17544-1998 信息技术 软件包 质量要求和测试互联网药品交易服务机构验收标准5 送样方法送测样品由各参测企业自主提交给符合资质的第三方软件测评机构。自测评开始后，参测企业提交的测评样品不允许中途再次更换，否则视为作废。各参测企业必须提供纸介质或者电子形式的系统安装手册、系统使用手册（平台配置说明、功能使用说明

4、、业务流程说明等）和系统安全解决方案（网络安全、应用安全、数据安全、备份还原等），必要时有责任配合测试机构进行系统安装。6 术语、定义和缩略语6.1 用户文档（User Documentation ） 用户文档（UD）指以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。6.2 功能性（Functionality） 功能性（F）指当软件在指定条件下使用时，软件产品提供满足明确和隐含需求的功能的能力。6.3 可靠性 （Reliability）可靠性（R）指在规定的一段时间和条件下，与软件维持其性质水平的能力有关的一组属性。6.4 易用性（Practica

5、bility）易用性（P）指一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性。6.5 安全性(Security)安全性（S）指防止对程序及数据的非授权的故意或意外的访问的能力有关的软件属性。6.6 效率（efficiency） 在规定条件下，相对于所用资源的数量，软件产品可提供适当性能的能力。6.7 响应时间（Response Time）服务器对每个应用请求的处理时间，单位：秒，该项指标反映了系统事务处理的性能，具体包括以下几项参数：a) 最小响应时间（Minimum）：最小的服务器响应时间；b) 平均响应时间（Average）：平均的服务器响应时间；c) 最

6、大响应时间（Maximum）：最大的服务器响应时间；d) 90%响应时间（90）：90事务处理的服务器响应时间。6.8 虚拟并发用户数（Total Virtual Users）测试工具模拟的用户并发数量。6.9 交易频率（Transaction Rate）不同负载下每秒钟成功完成的事务处理数。6.10 CPU利用率（CPU utilization） CPU占用率（）。6.11 磁盘平均队列数（Avg.Disk Queue Length）指读取和写入请求(为所选磁盘在实例间隔中列队的)的平均数。6.12 可用物理内存数（Available Mbytes）运行中的程序可利用的物理内存数。6.13

7、数字证书（Digital Certificate）数字证书是一个经证书授权中心数字签名的包含公开密钥拥有者信息以及公开密钥的文件。6.14 电子签名（Electronic Signature）指数据电文中以电子形式所含、所附用于识别签名人身份并表明签名人认可其中内容的数据。7 测评项目及判定原则7.1 测评项目及缺陷分类见下表序号测评项目标准要求缺陷分类AB观察项1用户文档2功能性3可靠性4易用性5安全性6效率7中文特性7.2 判定原则互联网药品交易服务系统软件测评从用户文档、功能性、可靠性、易用性、安全性、效率和中文特性七个方面进行测试，对除了“效率”以外的每一个测评项给出质量测评结果。测评

8、项结果分为 “通过”和“不通过”，效率做为观察项，测试数据仅供参考。1) 对测评项中的A类缺陷，即功能性、可靠性和安全性中有一项“不通过”，判定为“该次产品不合格”；2) 对测评项目中的B类缺陷，即用户文档、易用性和中文特性允许有一项为“不通过”，当“不通过”等于二项或超过二项时，判定为“该次产品不合格”。7.3 测评过程判定标准7.3.1 缺陷等级说明缺陷（Bug）分为五个等级：P1级（导致系统崩溃；主业务流程出现断点；导致死机；导致程序模块丢失；内存泄漏），P2级（被测数据处理错误；软件错误导致数据丢失；用户需求未实现），P3级（被测功能不能正确实现），P4级（功能实现不完美或细小的错误）

9、，P5级（建议性问题）。7.3.2 通过在测试过程中，未发现P1级或P2级或P3级的缺陷，该测试过程的测评结果判定为“通过”。7.3.3 不通过在测试过程中，发现P1级或P2级或P3级的缺陷，该测试过程的测评结果判定为“不通过”。7.4 测评项目判定标准7.4.1 等级说明在功能性测试中，把测试过程分为三个等级：L1（必须项），L2（重要项），L3（一般项）。7.4.2 判定标准1) 测评项目的下级测评项的测评结果全部为“通过” ，该测评项目的测评结果判定为“通过”，否则为“不通过”2) 功能性的整体测评结果依下表判定：序号等级项功能性测评结果L1L2L31全部通过全部通过全部通过通过2全部通

10、过全部通过最多四项结果为“不通过”通过3全部通过仅有一项结果为“不通过”仅有一项结果为“不通过”通过上述三种结果外的情况判定为“不通过”3) 属于功能性和效率以外的测评项目，其下级测评项的检测结果中 “不通过”率小于等于10 %，该测评项目的检测结果判定为“通过”。8 测评方法功能测试采用黑盒测试方法，结合测试内容对功能进行测试。测试过程中对系统安装手册和系统使用手册进行检查。安全性测试按照提供的系统安全解决方案，结合功能测试完成，并对系统整体安全体系进行评估。可靠性、易用性和中文特性的测试可以结合功能测试完成。效率测试采用自动化测试和人工测试相结合的测试方法。9 测评工具采用国际认可的专业测

11、试工具，Mercury公司的LoadRunner，Compuware公司QALoad ,IBM Rational公司的Performance Tester。10 测评地点 效率测试必须在真实环境下测试，且需要协助测试机构准备测试数据。 其他各项测试的测试环境由各参测厂商与第三方测试机构协商决定。11 测评内容11.1 用户文档表1 用户文档第1页共1页测试需求测试说明测试序号完整性软件安装所需要的信息UD-01产品描述中说明的所有功能UD-02软件维护所需要的信息UD-03产品描述中给出的所有边界值UD-04正确性文档中所有信息正确，没有歧义和错误的描述UD-05一致性文档自身、文档之间或者文

12、档与产品描述之间，相互不矛盾，且术语一致UD-06易理解程度文档对正常使用其产品的一般用户是容易理解的UD-07易浏览程度用户文档易于浏览，相互关系明确UD-08用户文档有目录表或索引表UD-0911.2 功能性表2.1 功能表现第1页共3页测试需求测试说明级别测试序号登录与退出系统录入用户名L1F-01录入密码F-02确定登录F-03取消登录F-04注销登录F-05修改密码F-06保存修改F-07密码找回F-08数据管理子系统产品及产品资质信息管理录入产品及产品资质资质信息（至少包括产品信息、产品资质文件、药品编码、药品名称、药品分类、剂型、规格、药品批件信息、认证情况、检验合格情况的信息）

13、L2F-09保存产品及产品资质信息F-10修改产品及产品资质信息F-11保存修改信息F-12删除数据F-13验证药品编码的唯一性F-14设置查询条件F-15按设置条件查询F-16显示查询结果列表F-17浏览相关资质F-18正确显示产品详细信息F-19正确显示产品资质详细信息F-20表2.1 功能表现第2页共3页测试需求测试说明级别测试序号交易服务信息子系统交易数据管理子息系统交易产品数据管理设置产品查询条件L3F-21按设置条件执行查询F-22显示产品查询结果列表F-23汇总结果列表F-24查看详细信息F-25正确显示产品基本信息F-26用户数据管理设置用户查询条件F-27按设置条件执行查询F

14、-28显示用户查询结果列表F-29汇总结果列表F-30浏览查询子系统设置查询条件L3F-31按设置条件执行查询F-32显示查询结果列表F-33在线咨询F-34查询在线留言F-35咨询处理F-36交易管理子系统在线提交订购信息L2F-37签订成交合同F-38处理订单F-39提供配送业务F-40订单查询F-41显示订单查询结果F-42查看订单状态F-43表2.1 功能表现第3页共3页测试需求测试说明级别测试序号交易服务信息子系统结算管理子系统设置查询条件L2F-44按设置条件执行查询F-45按照预先设定的交易规则，通过金融机构在线资金结算F-46监管子系统投诉处理投诉信息的提交L3F-47处理投诉

15、F-48信息发布发布相关政策信息L3F-49发布处罚信息F-50发布表扬信息F-51正常显示发布信息F-52市场与交易监管设置交易查询条件L1F-53按设置条件执行查询F-54显示交易查询结果（交易产品的名称、批号、生产企业、交易数量、买卖双方信息）F-55交易信息汇总F-56导出汇总结果F-5711.3 可靠性表3 可靠性第1页共1页测试需求测试说明测试序号成熟性在测试过程中，系统运行稳定R-01容量到达规定的极限时,系统不崩溃、不异常退出也不丢失数据R-02容量超出规定极限时，系统不崩溃、不异常退出也不丢失数据R-03容错性能屏蔽用户的误操作R-04对错误有正确提示R-05输入错误数据时，

16、系统不崩溃、不异常退出也不丢失数据R-06有错误操作时，系统不崩溃、不异常退出也不丢失数据R-07数据校验机制应对数据的有效性，数据项之间的逻辑关系进行校验，保证数据的有效性R-09应保证数据的完整性和一致性，不会因删除或反复的更新而被破坏或留下垃圾数据R-10对不符合要求的输入数据，系统应使用中文给出简洁、准确的提示信息，必要时应给出帮助R-1111.4 易用性表4 易用性第1页共1页测试需求测试说明测试序号易理解性通过适当的术语、图形、背景信息和帮助，帮助用户理解和使用系统的各项功能U-01出错消息中提供差错产生的原因和纠正的详细信息U-02易浏览性提供必要的信息，指示系统当前处理状态U-

17、03屏幕提示、输入、输出设计规矩，易懂U-04在界面、人机交互、输出中的用语应与业务用语一致U-05易操作性具有严重后果的功能，执行可逆或者给出明显警告，执行前要求确认U-06提供辅助输入手段（如选择输入、默认值等），数据检索方便、灵活U-07系统易操作，支持标准的鼠标、键盘和快捷键操作U-0811.5 安全性表5 安全性第1页共2页测试需求测试说明测试序号身份认证用户权限管理提供用户功能权限管理S-01提供用户数据访问权限管理S-02验证控制身份验证不成功有次数限制及相应处理措施S-03用户唯一用户名称应具有唯一性S-04用户在被删除或被停用后，保留该用户记录，新增用户不得与该用户同名S-0

18、5电子签名对电子签名进行验证S-06客户端用户身份识别是否提供USBkey加密验证、提供数字证书验证或提供其他加密验证方式S-07数据加密及安全传输对于有特殊安全要求的数据，应在传输中进行必要的加密处理，如网上支付信息S-08数据加密使用的算法应符合国家规定S-09安全缺陷屏蔽对非法访问有识别和屏蔽功能S-10授权（功能授权、数据授权）机制是否灵活安全S-11软件程序本身不存在可能引起安全缺陷的语句、命令S-12日志和审计对关键数据的变更应记入日志S-13对日志信息进行查询、统计、分析和分类管理S-14提供安全审计功能S-15密码设置进入系统需要密码身份验证S-16应有密码设置策略，包括有效期

19、、最小长度、复杂度、非空设置、大小写敏感度等S-17所有的密码不得明码显示、存储与传输S-18数据备份与还原是否提供数据备份与还原手段S-19超时自动退出超过一定的时限未进行操作，系统自动退出S-20表5 安全性第2页共2页测试需求测试说明测试序号系统安全解决方案评估病毒防治能否支持多种平台的病毒防范；S-21能否支持对服务器的病毒防治；S-22能否提供对病毒特征信息和检测引擎的定期在线更新服务；S-23防病毒范围是否广泛，是否包括unix系列、Windows系列、Linux系列等操作系统。S-24防火墙是否支持交换和路由两种工作模式S-25是否考虑到防火墙的冗余设计S-26是否支持对日志的统

20、计分析功能，同时，日志是否可以存储在本地和网络数据库上S-27对防火墙本身或受保护网段的非法攻击系统，是否提供多种告警方式以及多种级别的告警S-28入侵检测系统能否在检测到入侵事件时，自动执行切断服务、记录入侵过程、邮件报警等动作；S-29是否支持攻击特征信息的集中式发布和攻击取证信息的分布式上载S-30能否提供多种方式对监视引擎和检测特征的定期更新服务S-31内置的网络能否使用状况监控工具和网络监听工具S-32漏洞扫描能否定期或不定期地使用安全性分析软件，对整个内部系统进行安全扫描，及时发现系统的安全漏洞、报警，并提出补救建议S-33应急响应服务机制当计算机或网络系统遇到安全事件 (如黑客入

21、侵、网络恶意攻击、病毒感染和破坏等)时，是否能够提供紧急响应和快速救援与恢复服务S-34备份还原系统是否提供多种备份策略S-3511.6 效率表6 效率 第1页共2页测试需求测试说明测试序号登录系统测试系统在10用户并发登录时的成功并发用户数E-01测试系统在10用户并发登录时的平均响应时间E-02测试系统在10用户并发登录时的平均交易数E-03测试系统在50用户并发登录时的成功并发用户数E-04测试系统在50用户并发登录时的平均响应时间E-05测试系统在50用户并发登录时的平均交易数E-06产品信息查询在3万条产品信息的数据容量下，测试系统在10用户并发进行产品信息查询时的成功并发用户数E-

22、07在3万条产品信息的数据容量下，测试系统在10用户并发进行产品信息查询时的平均响应时间E-08在3万条产品信息的数据容量下，测试系统在10用户并发进行产品信息查询时的平均交易数E-09在3万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的成功并发用户数E-10在3万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的平均响应时间E-11在3万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的平均交易数E-12采购订单新增在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单新增时的成功并发用户数E-13在5万条订单信息的数据容量下，测

23、试系统在10用户并发进行采购订单新增时的平均响应时间E-14在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单新增时的平均交易数E-15在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的成功并发用户数E-16在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的平均响应时间E-17在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的平均交易数E-18表6 效率 第2页共2页测试需求测试说明测试序号采购订单查询在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单查询时的成功并发用户数E-19在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单查询时的平均响应时间E-20在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单查询时的平均交易数E-21在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单查询时的成功并发用户数E-22在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单