大数据云计算时代软件测试所面临的挑战

1、大数据云计算时代软件测试所面临的挑战 随着大数据云计算的快速发展， 传统软件测试已经无法满足 大数据云计算的需求， 软件测试面临着全新的挑战， 这其中主要 包括大数据云架构处理数据的巨量性、 多样性和复杂性， 软件测 试ORACL问题和杀虫剂效应等，探索和研究新的软件测试的技 术和方法来应对大数据对软件测试所带来的困难和挑战， 具有十 分重要的现实意义。 一、传统软件开发和测试 软件测试伴随着软件开发模式的发展而发展，从上个世纪 50 年代开始软件开发经历了完全编码、构件化、服务和大数据 云计算四个阶段。 传统的软件开发和测试主要指前三个阶段， 完 全编码阶段： 属于简单的程序设计阶段， 代码

2、基本由编程人员手 工编写，软件通用性差，调试和测试简单。构件化阶段：是软件 开发由手工作坊式生产变成工业化生产的主要阶段， 此阶段软件 是由第三方在系统类库的基础上所开发的业务组件， 这种组件具 有高效、易用、高耦合、高复用和本地运行等特点，软件类似一 个黑匣子用户只能对其运行结构进行跟踪， 不能对其内核进行跟 踪和分析。 这个阶段软件测试主要是检查构件属性、 接口和不能 实现的特性等。软件服务阶段：随着通信和网络技术的发展，本 地组件需要提供远程服务， 远程访问者需要了解软件外部服务的 接口，以及输入、输出情况，软件测试变得更为复杂和不透明。 二、大数据云计算软件开发和测试 软件开发和测试第

3、四个阶段是大数据云计算阶段。 由于数据 规模呈几何级上升， 要从海量数据中挖掘出有价值的信息， 传统 软件系统无法实现海量数据的提取、存储、分析、处理和共享。 软件开发需要跨结构、跨系统，系统架构在PAAS上，数据存储 是分布的、异构的，用户对 PAAS服务内部结构很难深入了解， 因此，这个阶段软件测试更加复杂。数据处理流程分为采集、处 理与集成、分析、解释和应用等几个过程，数据源包括结构化、 半结构化和非结构化数据， 以半结构化和非结构化数据为主， 数 据处理与集成主要是清洗、去噪和整合，数据分析是大?稻荽 ? 理的核心，采用的技术有数据挖掘、数理统计、机器学习、智能 算法和云计算等， 采用

4、传统技术无法真正实现对大数据的处理和 分析。大数据处理是信息技术发展的热点和重点， 大数据云计算 架构的复杂性使得软件测试也非常复杂， 针对大数据测试研究还 比较薄弱。 三、大数据云计算时代软件测试面临的挑战 1. 大数据背景下软件测试的 ORACL问题日益突出。软件测 试的目的就是将软件实际运行的结果和事前预期的结果进行比 较，从而来判断运行结果是否正确，这就是软件测试的 ORACLE 问题。大数据时代， 很多场景下对大数据输出结果的验证不论采 用趋势分析法还是图论计算法都变得十分困难， 其输出结果正确 与否常常无法直接判断。 大数据的处理模式主要包括物理作用和 化学作用，物理作用下的大数据

5、处理主要在确保数据价值不变的 情况下，通过数据清洗来缩小数据规模，方便进行数据分析，这 种模式下数据处理测试不存在 ORACL问题。化学作用下的大数 据处理主要采用预测和快速计算方法，使得大数据测试 ORACLE 问题变得严重。 例如采用个性化推荐算法对用户推荐产品时， 到 底有多少用户会对算法所推荐的产品感兴趣是无法估计的， 这就 导致测试结果难以判定，使数据测试的ORACL问题变得突出。 2. 云计算架构对软件测试所带来的挑战。 目前大数据处理所 采用的框架大都是 Google公司的MapReduce该架构把数据处 理抽象成map和reduce两个过程，用户对分布式程序的设计主 要是实现m

6、ap()和reduce ()两个函数，而任务调度、数据分 片、机器容错、机器间通信等均由MapReduce框架来处理。因此， 用户所设计的功能没有框架自身所承担的功能丰富， 这无形中给 软件测试带来困难。主要表现在： ( 1)由于 JobTracker 采用动 态调度方式分配任务，无法预先知道任务在集群的哪个 TaskTracker节点中执行；(2)无法预先知道 map或者reduce 任务执行的节点位置；( 3)不像传统的软件测试可以在错误发 生之前设置断点；( 4)部分功能依赖分布式集群，虽然功能存 在，但是无法预测其所在节点。 这些都是传统软件测试所未曾碰 到过的问题。 3. 传统软件测

7、试平台难以满足大数据处理的需求。传统 C/S 和 B/S 架构的软件平台， 其性能测试借助协调控制器直接向服务 器发送响应请求， 实现服务器的压力测试。 对于服务器数量有限， 并发请求数在百、 千数量级的应用服务， 传统软件测试方法能满 足其需求。大数据时代，数据规模和用户数量急剧增长，服务器 的访问数量、 次数和频率也在逐步上升， 这就势必会造成服务系 统崩溃、服务丧失等现象，采用云架构可以缓解这种危机，但是 系统部署在千万级的服务器资源上，必然会给软件测试带来困 难。 4. 软件测试的杀虫剂效应日益显现。 软件测试的杀虫剂效应 是指测试软件越多， 软件的免疫力越强的现象。 跟农药杀虫相似， 如果长期使用同一种农药来杀虫， 则虫子就会产生抗药性， 再继 续使用这种农药就起不到杀虫作用了。 在构件化软件开发日趋频 繁的今天，软件开发中期发现的各种缺陷均可以通过验证和校验 的形式集成到各种构件中， 形成构件的内在属性， 其对已有的测 试方法会产生天然免疫力。 杀虫剂效应促使软件测试技术必须不 断的更新和升级。 通常情况下软件测试初期较少的测试用例就会 发现较多的缺陷， 在软件测试后期，