桌面操作系统测试指标研究.doc

摘 要：国产桌面操作系统迅猛发展的今天，如何对其进行测试，保证桌面操作系统的质量成为一个重要的课题。而要保证测试的质量，建立一套完善的评测指标体系是重中之重。本文介绍中国软件评测中心在实践中根据国家标准建立的一套相对完善的桌面操作系统评测指标体系，它包括功能、安全、可靠性、维护性、效率、易用性、可移植性等七大指标。1 引言操作系统是一种提供通用计算能力与服务能力的系统，是整个计算机系统的心脏。随着Linux的开放源代码以及国际化兼容特性, 极大地促进了国产操作系统的发展，各大厂家纷纷推出了各种桌面操作系统。为了保障电子政务系统的安全和扶持国产软件产业，我国正在加速发展国产操作系统。然而，随着操作系统朝着呈平台化、体系化的方向发展，作为基础软件核心的操作系统的质量评测正成为了亟待解决的问题1。随着操作系统的发展和应用，研究者已经针对操作系统的部分质量特性开展了测试实践和研究。文献2针对Linux的实时性重要指标进行测试分析;文献3和4对操作系统性能测试进行了研究;文献5探讨了Linux桌面操作系统的脆弱性测试框架与侧试方法，实现了一个脆弱性测试与管理平台;文献6提出了一个基于Linux桌面操作系统的稳定性测试框架;文献7和8探讨了Linux桌面操作系统性能测试方法及评价方法。然而，国内现在还缺乏完善的评测指标体系来指导和约束操作系统测评工作的开展。为了保证测评的充分性，获得良好的客观、公正的测评效果，有必要建立一套完善的桌面操作系统评测指标体系。本文以核高基重大专项的通用基础软件测试评估为背景，结合可信操作系统的评价标准(TCSEC)、ISO/IEC 9126等标准，充分听取国产操作系统各开发商意见与建议的基础上，建立了一套相对完善的测评指标体系，用于指导桌面操作系统测评工作的开展。2 桌面操作系统评测的意义在桌面操作系统领域，技术和产品发展趋势主要体现为功能的高度集成化、数据集中化管理、人性化的人机界面设计以及高安全性、广泛的硬件支持等。但是，随着桌面功能的不断完善和应用软件的层出不穷，桌面系统的规模迅速膨胀，复杂度大大增加，给用户带来了诸如安全性、可靠性等一系列的问题。特别是随着移动计算的不断发展，庞大的桌面系统与轻便的移动计算设备之间的矛盾日益增大。因此，如何能够有效控制桌面操作系统规模，减少本地应用程序和数据的存储量，保证桌面操作系统的整体质量也成为桌面操作系统的一个研究方向。桌面操作系统作为计算机上最基础的软件，其功能复杂，易用性要求高，质量测试重点体现在功能性、安全性、兼容性、效率和易用性上。为了保证测评的充分性，获得良好的测试效果，有必要建立一套完善的桌面操作系统评价指标体系，也是必需的，而国内现在还缺乏相关的标准和规范来指导和约束办公软件测试的开展。中国软件评测中心作为核高基重大专项的课题承担单位以及独立的第三方软件测试机构，在核高基专家组的指导下，充分听取国产操作系统各开发商意见与建议的基础上，建立了一套相对完善的测评指标体系，用于指导桌面操作系统评测的开展。3 桌面操作系统评测指标体系对桌面操作系统进行评测包括指标体系的构建、指标的标准化、评估方法的确定等重要环节。其中，指标体系的选取与建立是综合评价的重要基础，是有效评测的保证。研究桌面操作系统评测指标体系需要结合现有ISO/IEC9126质量模型的质量特性以及桌面操作系统本身的特点。由于国内外还缺乏相关的评测标准，而作为用户使用频度最高的操作系统，国产桌面操作系统的功能可以通过帮助文件和用户使用手册来获知其常用和部分不常用的功能。这将作为测试桌面操作系统的功能参考，通过对其功能进行梳理，抽取其中对桌面操作系统必需的功能来进行评测指标体系的指导。除功能外，还考虑了安全、可靠、效率、易用、可维护、可移植等方面，参考国家标准GB/T16260，把安全性提升到特性一级，建立了如图1所示的评测质量模型。图1 桌面操作系统评测质量模型3.1 功能性测试功能性测试主要检测两个方面内容：软件承诺的功能是否正确实现和用户所需的功能是否正确提供。由于操作系统发展的历史较长，对于用户需要的理解也越来越深刻，功能越来越强大。对于一般用户来说，往往只能用到一些基本的常用功能。而对于测试人员来说，需要尽可能发现和使用其全部功能。因此，需要像开发人员一样了解桌面操作系统的各项功能用法及目的，工作量巨大而且需要对桌面操作系统有极其深入的了解是功能测试的难点。功能的分类也是评价指标体系制定的难点之一。例如显示配置功能，在控制面板中有显示配置功能，从桌面上点击右键，选择属性也可以调成此功能。以各个桌面操作系统开发商均能认可的分类方式将各功能总结出来，不仅需要对桌面操作系统的各项功能有充分的了解，还需要与各开发商充分地沟通。目前，将功能性测试分为三部分，分别是适合性、互操作性和功能性的依从性。适合性是指为系统管理员、普通用户、开发人员等等不同类型的用户提供的一组合适的操作功能的能力。它包括中文输入、中文服务、安装、启动/关闭、控制面板、资源管理器、网络协议、常用工具及应用程序、系统面板的评测。桌面操作系统的互操作性包括三个方面：一是操作系统对常见的文件系统的读写能力和不同文件系统间的文件复制、移动的支持能力，二是操作系统对各种应用程序支持的能力，三是各种类型的操作系统之间通过网络互相访问的能力。功能性的依从性是使操作系统产品的功能遵循与中文符号、操作系统标准等有关标准或约定的软件属性，其目的在于发现操作系统可能存在的各种差错，进而修改软件错误，提高软件质量，包括国标GB18030、LSB标准。3.2 安全性测试桌面操作系统作为一个应用环境的基础平台，它的安全是整个信息系统安全的核心和基础。而且“核心电子器件、高端通用芯片及基础软件产品”科技重大专项2009年课题申报指南要求桌面操作系统的安全等级要达到GBT 20272-2006信息安全技术 操作系统安全技术要求第四级，可见安全桌面操作系统的重要性。桌面操作系统的安全性测试通过通用安全性测试和安全性的依从性来考察，其中通用安全性测试项是GBT 20272-2006中没有列出的一些重要指标。通用的安全性测试主要从身份鉴别、权限管理、访问控制、安全审计、数据保密性、安全协议、网络防护七方面来测试9。安全性的依从性主要是测试桌面操作系统对GBT 20272-2006的依从性。3.3 可靠性测试桌面操作系统的可靠性是指桌面操作系统不仅在功能上满足用户需求，而且要在发生异常后能够以最小的代价恢复到正常状态，主要从成熟性、容错性和易恢复性来测试。测试桌面操作系统的可靠性需要长时间的运行系统，通过长时间功能测试或者运行基准测试程序的同时对可靠性指标进行测试。测试难点在于制造错误，如使用中使操作系统发生异常、非法操作、突然断电等情况。3.4 易用性测试易用性测试指标从易理解性和易操作性两方面来考察，通过用户长期使用微软Windows系统后建立起来的对用户界面、文档、鼠标操作、快捷键等的使用习惯，被测的桌面操作系统应该能够符合用户已经建立起来的习惯。测试难点在于定义用户的习惯，除了长时间的使用外，还需要通过与开发商、用户的交流得到一些信息。易用性测试的另一方法是组织最终的用户试用，通过用户的反馈意见进行统计分析得出桌面操作系统是否易用，此时引导用户使用并有效收集、分析用户反馈，是测试结果有效性的重要保障。3.5 效率测试操作系统的效率不仅取决于操作系统本身的内核设计和程序算法，而且取决于操作系统的运行环境和参数配置，在不同的操作系统产品的效率评测对比中，通常会使用相同的测试环境和测试工具，而且会监控系统所占用资源的情况以及相应的性能指标。桌面操作系统的效率测试主要从响应时间、吞吐量、资源利用性、性能基准等方面来测试。测试的难点在于：对不同的操作系统，通过同样的方法和工具来测试，由于内部处理机制的不同，对测试包括的内容尚无统一认识。3.6 维护性测试作为基础软件产品的操作系统，必须提供对不同设备、不同网络环境、不同软件进行交互、组件配置和参数变更的能力，以修正、改进操作系统对环境、需求和功能规格变化的适应能力。操作系统的维护性测试主要从系统的易分析性、易改变性、稳定性来测试。易分析性是指在诊断操作系统运行环境配置、系统本身的缺陷或失效原因或识别待修改部分的能力，易改变性主要是检查操作系统参数是否易修改以及修改后是否影响操作系统的稳定运行，稳定性主要是测试操作系统各个版本升级后在功能上的完备性和可靠性以及版本之间差异的可查性。3.7 可移植性测试可移植性是指操作系统可以在不同硬件平台上移植，通过对硬件的适应性和操作系统的易安装性两方面特性来度量。硬件的适应性主要考察操作系统对主流的硬件产品的支持来测试硬件的适应性，包括整机、显示器、显卡、主办、声卡等方面。易安装性不仅仅指操作