互联网药品交易服务系统软件测评大纲一

1、附件二：互联网药品交易服务系统软件测评大纲一国家食品药品监督管理局二六年二月1 总则本测评大纲由国家食品药品监督管理局会同中国软件测评中心、国家应用软件产品质量监督检验中心共同制定，国家食品药品监督管理局对本大纲具有最终解释权。2 适用范围本测评大纲适用于“药品生产企业、药品经营企业和医疗机构之间的互联网药品交易服务”的交易平台软件测评。本大纲是为加强药品监督管理，规范互联网药品交易服务，针对互联网药品交易服务系统软件的基本功能及国家相关软件质量要求制定，目的是为判定系统是否符合互联网药品交易服务机构验收标准中规定的相关指标提供客观依据，并供参测企业及药品监督管理部门参考。3 测评机构资质要求

2、参与“药品生产企业、药品经营企业和医疗机构之间的互联网药品交易服务” 平台软件测评的机构，要求至少获得中国实验室国家认可委员会认可，认可的检测能力范围应至少包括对软件产品功能性、可靠性及效率的测评。4 测评依据GB 2312-1980 信息交换用汉字编码字符集 基本集GB 13000.1-1993 信息技术 通用多八位编码字符集（UCS）第一部分：体系结构与基本多文种平面GB 18030-2000 信息技术 信息交换用汉字编码字符集 基本集的扩充GB/T 1988-1998 信息技术 信息交换用七位编码字符集GB/T 9386-1988 计算机软件测试文件编制规范GB/T 11457-1995

3、 软件工程术语GB/T 12345-1990 信息交换用汉字编码字符集 辅助集GB/T 16260-1996 信息技术 软件产品评价质量特性及其使用指南GB/T 17544-1998 信息技术 软件包 质量要求和测试互联网药品交易服务机构验收标准5 送样方法送测样品由各参测企业自主提交给符合资质的第三方软件测评机构。自测评开始后，参测企业提交的测评样品不允许中途再次更换，否则视为作废。各参测企业必须提供纸介质或者电子形式的系统安装手册、系统使用手册（平台配置说明、功能使用说明、业务流程说明等）和系统安全解决方案（网络安全、应用安全、数据安全、备份还原等），必要时有责任配合测试机构进行系统安装。

4、6 术语、定义和缩略语6.1 用户文档（User Documentation ） 用户文档（UD）指以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。6.2 功能性（Functionality） 功能性（F）指当软件在指定条件下使用时，软件产品提供满足明确和隐含需求的功能的能力。6.3 可靠性 （Reliability）可靠性（R）指在规定的一段时间和条件下，与软件维持其性质水平的能力有关的一组属性。6.4 易用性（Practicability）易用性（P）指一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性。6.5

5、安全性(Security)安全性（S）指防止对程序及数据的非授权的故意或意外的访问的能力有关的软件属性。6.6 效率（efficiency） 在规定条件下，相对于所用资源的数量，软件产品可提供适当性能的能力。6.7 响应时间（Response Time）服务器对每个应用请求的处理时间，单位：秒，该项指标反映了系统事务处理的性能，具体包括以下几项参数：a) 最小响应时间（Minimum）：最小的服务器响应时间；b) 平均响应时间（Average）：平均的服务器响应时间；c) 最大响应时间（Maximum）：最大的服务器响应时间；d) 90%响应时间（90）：90事务处理的服务器响应时间。6.8

6、虚拟并发用户数（Total Virtual Users）测试工具模拟的用户并发数量。6.9 交易频率（Transaction Rate）不同负载下每秒钟成功完成的事务处理数。6.10 CPU利用率（CPU utilization） CPU占用率（）。6.11 磁盘平均队列数（Avg.Disk Queue Length）指读取和写入请求(为所选磁盘在实例间隔中列队的)的平均数。6.12 可用物理内存数（Available Mbytes）运行中的程序可利用的物理内存数。6.13 数字证书（Digital Certificate）数字证书是一个经证书授权中心数字签名的包含公开密钥拥有者信息以及公开密

7、钥的文件。6.14 电子签名（Electronic Signature）指数据电文中以电子形式所含、所附用于识别签名人身份并表明签名人认可其中内容的数据。7 测评项目及判定原则7.1 测评项目及缺陷分类见下表序号测评项目标准要求缺陷分类AB观察项1用户文档2功能性3可靠性4易用性5安全性6效率7中文特性7.2 判定原则互联网药品交易服务系统软件测评从用户文档、功能性、可靠性、易用性、安全性、效率和中文特性七个方面进行测试，对除了“效率”以外的每一个测评项给出质量测评结果。测评项结果分为 “通过”和“不通过”，效率做为观察项，测试数据仅供参考。1) 对测评项中的A类缺陷，即功能性、可靠性和安全性

8、中有一项“不通过”，判定为“该次产品不合格”；2) 对测评项目中的B类缺陷，即用户文档、易用性和中文特性允许有一项为“不通过”，当“不通过”等于二项或超过二项时，判定为“该次产品不合格”。7.3 测评过程判定标准7.3.1 缺陷等级说明缺陷（Bug）分为五个等级：P1级（导致系统崩溃；主业务流程出现断点；导致死机；导致程序模块丢失；内存泄漏），P2级（被测数据处理错误；软件错误导致数据丢失；用户需求未实现），P3级（被测功能不能正确实现），P4级（功能实现不完美或细小的错误），P5级（建议性问题）。7.3.2 通过在测试过程中，未发现P1级、P2级、P3级的缺陷，该测试过程的测评结果判定为“通

9、过”。7.3.3 不通过在测试过程中，发现P1级或P2级或P3级的缺陷，该测试过程的测评结果判定为“不通过”。7.4 测评项目判定标准7.4.1 等级说明在功能性测试中，把测试过程分为三个等级：L1（必须项），L2（重要项），L3（一般项）。7.4.2 判定标准1) 测评项目的下级测评项的测评结果全部为“通过” ，该测评项目的测评结果判定为“通过”，否则为“不通过”2) 功能性的整体测评结果依下表判定：序号等级项功能性测评结果L1L2L31全部通过全部通过全部通过通过2全部通过全部通过最多四项结果为“不通过”通过3全部通过仅有一项结果为“不通过”仅有一项结果为“不通过”通过上述三种结果外的情况

10、判定为“不通过”3) 属于功能性和效率以外的测评项目，其下级测评项的检测结果中 “不通过”率小于等于10 %，该测评项目的检测结果判定为“通过”。8 测评方法功能测试采用黑盒测试方法，结合测试内容对功能进行测试。测试过程中对系统安装手册和系统使用手册进行检查。安全性测试按照提供的系统安全解决方案，结合功能测试完成，并对系统整体安全体系进行评估。可靠性、易用性和中文特性的测试可以结合功能测试完成。效率测试采用自动化测试和人工测试相结合的测试方法。9 测评工具采用国际认可的专业测试工具，Mercury公司的LoadRunner，Compuware公司QALoad ,IBM Rational公司的P

11、erformance Tester。10 测评地点 效率测试必须在真实环境下测试，且需参测企业协助测试机构准备测试数据。 其他各项测试的测试环境由各参测企业与第三方测试机构协商决定。11 测评内容11.1 用户文档表1 用户文档第1页共1页测试需求测试说明测试序号完整性软件安装所需要的信息UD-01产品描述中说明的所有功能UD-02软件维护所需要的信息UD-03产品描述中给出的所有边界值UD-04正确性文档中所有信息正确，没有歧义和错误的描述UD-05一致性文档自身、文档之间或者文档与产品描述之间，相互不矛盾，且术语一致UD-06易理解程度文档对正常使用其产品的一般用户是容易理解的UD-07易

12、浏览程度用户文档易于浏览，相互关系明确UD-08用户文档有目录表或索引表UD-0911.2 功能性表2.1 功能表现第1页共5页测试需求测试说明级别测试序号登录与退出系统录入用户名L1F-01录入密码F-02确定登录F-03取消登录F-04注销登录F-05修改密码F-06保存修改F-07密码找回F-08数据管理子系统企业信息管理录入企业信息（机构编码、名称、地址、等级“专指医疗机构”、联系方式、执照信息、许可证信息、认证信息等）L2F-09保存企业信息F-10修改企业信息F-11保存修改信息F-12删除数据F-13验证企业机构编码的唯一性F-14设置查询条件F-15按设置条件执行查询F-16显

13、示查询结果F-17查看详细信息F-18正确显示详细信息F-19产品信息管理录入产品信息（产品编码、产品名称、产品分类、剂型、规格、批准文号等基本信息）L2F-20保存产品信息F-21修改产品信息F-22表2.1 功能表现第2页共5页测试需求测试说明级别测试序号数据管理子系统产品信息管理保存修改信息L2F-23删除数据F-24验证产品编码的唯一性F-25设置查询条件F-26按设置条件执行查询F-27显示查询结果F-28查看详细信息F-29正确显示详细信息F-30数据管理子系统产品及企业资质信息管理录入企业及产品资质信息（企业资质信息至少包括生产许可证、GMP认证、经营许可证、GSP认证、营业执照

14、等；产品资质信息至少包括产品名称、产品基本属性信息、产品的批准证明文件信息、产品说明书信息、包装、标签信息、及其他可证明药品合法性的相关文件信息）L1F-31保存企业及产品资质信息F-32修改企业及产品资质信息F-33保存修改信息F-34删除数据F-35设置查询条件F-36按设置条件查询F-37显示查询结果列表F-38浏览相关资质F-39正确显示企业资质详细信息F-40正确显示产品资质详细信息F-41表2.1 功能表现第3页共5页测试需求测试说明级别测试序号合同成交子系统填写电子合同L2F-42提交电子合同F-43签订电子合同F-44查阅电子合同F-45电子合同内容完整F-46符合电子签名法的

15、相关规定进行电子签名F-47订单管理子系统制定采购计划填写采购计划L2F-48提交采购计划F-49生成采购订单F-50供应商确认订单查看订单详细信息L2F-51显示订单详细信息F-52确认采购订单F-53药品发货处理填写发货记录L2F-54确认发货F-55支持多次发货F-56药品到货确认填写或确认药品到货详细信息L2F-57提交药品到货详细记录F-58退货处理填写退货单L3F-59确认退货F-60退货查询F-61显示查询结果F-62交易记录查询设置查询条件L3F-63按设置条件执行查询F-64显示查询结果F-65查看详细信息F-66显示详细信息F-67表2.1 功能表现第4页共5页测试需求测试

16、说明级别测试序号订单管理子系统交易客户管理按设置条件执行查询L3F-68显示查询结果F-69查看详细信息F-70显示详细信息F-71结算子系统应付账款管理设置查询条件L3F-72按设置条件执行查询F-73显示查询结果F-74查看详细信息F-75显示详细信息F-76应收账款管理设置查询条件L3F-77按设置条件执行查询F-78显示查询结果F-79查看详细信息F-80显示详细信息F-81交易服务费管理设置查询条件L3F-82按设置条件执行查询F-83显示查询结果F-84查看详细信息F-85显示详细信息F-86交易结算设置查询条件L1F-87按设置条件执行查询F-88显示查询结果F-89通过交易平台

17、与金融机构的支付网关进行结算划拨F-90形成结算单据F-91表2.1 功能表现第5页共5页测试需求测试说明级别测试序号监管子系统投诉处理投诉信息的提交L3F-92处理投诉F-93信息发布发布相关政策信息L3F-94发布处罚信息F-95发布表扬信息F-96正常显示发布信息F-97市场与交易监管设置交易查询条件L1F-98按设置条件执行查询F-99显示交易查询结果（交易产品的名称、批号、生产企业、交易数量、买卖双方信息）F-100交易信息汇总F-101导出汇总结果F-10211.3 可靠性表3 可靠性第1页共1页测试需求测试说明测试序号成熟性在测试过程中，系统运行稳定R-01容量到达规定的极限时,

18、系统不崩溃、不异常退出也不丢失数据R-02容量超出规定极限时，系统不崩溃、不异常退出也不丢失数据R-03容错性能屏蔽用户的误操作R-04对错误有正确提示R-05输入错误数据时，系统不崩溃、不异常退出也不丢失数据R-06有错误操作时，系统不崩溃、不异常退出也不丢失数据R-07数据校验机制应对数据的有效性，数据项之间的逻辑关系进行校验，保证数据的有效R-09应保证数据的完整性和一致性，不会因删除或反复的更新而被破坏或留下垃圾数据R-10对不符合要求的输入数据，系统应使用中文给出简洁、准确的提示信息，必要时应给出帮助R-1111.4 易用性表4 易用性第1页共1页测试需求测试说明测试序号易理解性通过

19、适当的术语、图形、背景信息和帮助，帮助用户理解和使用系统的各项功能U-01出错消息中提供差错产生的原因和纠正的详细信息U-02易浏览性提供必要的信息，指示系统当前处理状态U-03屏幕提示、输入、输出设计规矩，易懂U-04在界面、人机交互、输出中的用语应与业务用语一致U-05易操作性具有严重后果的功能，执行可逆或者给出明显警告，执行前要求确认U-06提供辅助输入手段（如选择输入、默认值等），数据检索方便、灵活U-07系统易操作，支持标准的鼠标、键盘和快捷键操作U-0811.5 安全性表5 安全性第1页共2页测试需求测试说明测试序号身份认证用户权限管理提供用户功能权限管理S-01提供用户数据访问权

20、限管理S-02验证控制身份验证不成功有次数限制及相应处理措施S-03用户唯一用户名称应具有唯一性S-04用户在被删除或被停用后，保留该用户记录，新增用户不得与该用户同名S-05电子签名对电子签名进行验证S-06客户端用户身份识别是否提供USBkey加密验证、提供数字证书验证或提供其他加密验证方式S-07数据加密及安全传输对于有特殊安全要求的数据，应在传输中进行必要的加密处理，如网上支付信息S-08数据加密使用的算法应符合国家规定S-09安全缺陷屏蔽对非法访问有识别和屏蔽功能S-10授权（功能授权、数据授权）机制是否灵活安全S-11软件程序本身不存在可能引起安全缺陷的语句、命令S-12日志和审计

21、对关键数据的变更应记入日志S-13对日志信息进行查询、统计、分析和分类管理S-14提供安全审计功能S-15密码设置进入系统需要密码身份验证S-16应有密码设置策略，包括有效期、最小长度、复杂度、非空设置、大小写敏感度等S-17所有的密码不得明码显示、存储与传输S-18数据备份与还原是否提供数据备份与还原手段S-19超时自动退出超过一定的时限未进行操作，系统自动退出S-20表5 安全性第2页共2页测试需求测试说明测试序号系统安全解决方案评估病毒防治能否支持多种平台的病毒防范；S-21能否支持对服务器的病毒防治；S-22能否提供对病毒特征信息和检测引擎的定期在线更新服务；S-23防病毒范围是否广泛

22、，是否包括unix系列、Windows系列、Linux系列等操作系统。S-24防火墙是否支持交换和路由两种工作模式S-25是否考虑到防火墙的冗余设计S-26是否支持对日志的统计分析功能，同时，日志是否可以存储在本地和网络数据库上S-27对防火墙本身或受保护网段的非法攻击系统，是否提供多种告警方式以及多种级别的告警S-28入侵检测系统能否在检测到入侵事件时，自动执行切断服务、记录入侵过程、邮件报警等动作；S-29是否支持攻击特征信息的集中式发布和攻击取证信息的分布式上载S-30能否提供多种方式对监视引擎和检测特征的定期更新服务S-31内置的网络能否使用状况监控工具和网络监听工具S-32漏洞扫描能

23、否定期或不定期地使用安全性分析软件，对整个内部系统进行安全扫描，及时发现系统的安全漏洞、报警，并提出补救建议S-33应急响应服务机制当计算机或网络系统遇到安全事件 (如黑客入侵、网络恶意攻击、病毒感染和破坏等)时，是否能够提供紧急响应和快速救援与恢复服务S-34备份还原系统是否提供多种备份策略S-3511.6 效率表6 效率 第1页共2页测试需求测试说明测试序号登录系统测试系统在50用户并发登录时的成功并发用户数E-01测试系统在50用户并发登录时的平均响应时间E-02测试系统在50用户并发登录时的平均交易数E-03测试系统在100用户并发登录时的成功并发用户数E-04测试系统在100用户并发

24、登录时的平均响应时间E-05测试系统在100用户并发登录时的平均交易数E-06产品信息查询在5万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的成功并发用户数E-07在5万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的平均响应时间E-08在5万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的平均交易数E-09在5万条产品信息的数据容量下，测试系统在100用户并发进行产品信息查询时的成功并发用户数E-10在5万条产品信息的数据容量下，测试系统在100用户并发进行产品信息查询时的平均响应时间E-11在5万条产品信息的数据容量下，测试系统在10

25、0用户并发进行产品信息查询时的平均交易数E-12采购订单新增在10万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的成功并发用户数E-13在10万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的平均响应时间E-14在10万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的平均交易数E-15在10万条订单信息的数据容量下，测试系统在100用户并发进行采购订单新增时的成功并发用户数E-16在10万条订单信息的数据容量下，测试系统在100用户并发进行采购订单新增时的平均响应时间E-17在10万条订单信息的数据容量下，测试系统在100用户并发进行采购订单新增时的平均交易数E-18表6 效率 第2页共2页测试需求测试说明测试序号采购订单查询在10万条订单信息的数据容量下，测试系统在50用户并发进行采购订单查询时的成功并发用户数E-19在10万条订单信息的数据容量下，测试系统在50用户并发进行采购订单查询时的平均响应时间E-20在10万条订单信息的数据容量下，测试系统在50用户并发进行采购订单查询时的平均交易数E-21在10万条订单信息的数据容量