课件06-软件可靠性与安全性-测试评价

1、软件可靠性与安全性 第七部分 软件可靠性测评 提要 软件可靠性建模 软件可靠性测试 软件可靠性评估 3 2 1 3 3 软件可靠性测试 是面向失效的测试方法 为了满足用户对软件的可靠性要求, 通过对 软件进行测试, 发现并纠正软件中的缺陷, 提 高软件的可靠性水平, 并验证它能否达到用 户可靠性要求的软件测试方法 软件失效的统计特性 IBM关于缺陷与失效的统计研究数据 v客户所看到的客户所看到的57%以上的失效是由占缺陷以上的失效是由占缺陷 总数总数2%以下的缺陷引起的以下的缺陷引起的 v超过总数超过总数61%的缺陷只引起低于的缺陷只引起低于3%的客的客 户将会经历的失效户将会经历的失效 v不

2、同的缺陷在所引发的失效率上存在高达不同的缺陷在所引发的失效率上存在高达 4个数量级个数量级的巨大差异的巨大差异 软件可靠性测试目的 验证软件可靠性满足给定的要求 评估软件可靠性水平 预计软件可靠性水平 实现软件可靠性增长 软件可靠性测试时机 软件可靠性测试与其它测试类型的关系 v关注的缺陷类型关注的缺陷类型 v测试用例设计的依据测试用例设计的依据 建议的软件可靠性测试时机 v软件系统测试后期软件系统测试后期 软件可靠性测试类别 软 件 可 靠 性 验 证 测 试 ( S o f t w a r e Reliability Demonstration Testing) v在软件确认阶段进行，验证

3、软件需求规范在软件确认阶段进行，验证软件需求规范 中软件可靠性目标的满足情况，在测试过中软件可靠性目标的满足情况，在测试过 程中不进行软件缺陷消除程中不进行软件缺陷消除 软 件 可 靠 性 增 长 测 试 ( S o f t w a r e Reliability Growth Testing) v在软件交付前进行，通过可靠性测试暴露在软件交付前进行，通过可靠性测试暴露 软件缺陷，采取有效地措施排除失效率较软件缺陷，采取有效地措施排除失效率较 大的缺陷，以提高交付软件的可靠性大的缺陷，以提高交付软件的可靠性 软件可靠性验证测试方案 无失效运行时间间隔测试 (Failure-Free Execu

4、tion Interval Test) 定时截尾可靠性验证测试 (Fixed-Length Reliability Demonstration Test) 序贯可靠性验证测试(Probability-Ration Sequential Reliability Demonstration Test) 序贯可靠性验证测试演示图 12 010862 4 16 14 0 2 4 6 8 10 规格化的单位 失效数 继续继续 接受接受 拒绝拒绝 Fail. No. Mcalls at Failure Normalized Units 1 2 3 0.00375 0.00625 0.025 0.75 1.

5、25 5 Failure intensity objective: 200 failures / Mcalls 软件可靠性测试方法 用系统的预期使用域作为模型来指导测试用 例的选择或生成 v基于操作剖面的可靠性测试方法基于操作剖面的可靠性测试方法 v基于使用模型的可靠性测试测试基于使用模型的可靠性测试测试 根据失效等级、功能使用频度和重要性来测 试软件, 可对各种使用条件建模 v正常使用情况正常使用情况 v危险使用情况危险使用情况(高安全软件高安全软件) v恶意使用情况恶意使用情况(特殊安全需求特殊安全需求) 基于操作剖面可靠性测试方法 用操作剖面描述软件的使用 分层建立操作剖面 v客户剖面客

6、户剖面(CP, Customer Profile) v用户剖面用户剖面(UP, User Profile) v系统模式剖面系统模式剖面(SP, System mode Profile) v功能剖面功能剖面(FP, Function Profile) v操作剖面操作剖面(OP, Operational Profile) 每个操作对应若干个运行 剖面的定义 二维向量的集合，定义为： vProfile = (item1,p1), (item2,p2), , (itemn， pn) vitemi代表剖面中所包含的互不相交的元素中的一代表剖面中所包含的互不相交的元素中的一 个个, 有有: item1it

7、em2itemn vpi代表第代表第i个元素的权值或是发生的概率个元素的权值或是发生的概率, 有有: 1 1 n i i p 建立客户剖面 CP = (c1, pc1),(c2, pc2),(cn, pcn) 为客户剖面中的用户构建用户剖面 vUPc1=(u1,pc1_u1),(u2,pc1_u2),(um,pc1_um) vUPc2=(u1,pc2_u1),(u2,pc2_u2),(um,pc2_um) v vUpcn=(u1,pcn_u1),(u2,pcn_u2),(um,pcn_um) 建立用户剖面 对相同类型的用户进行合并, 若用户ui有m 个同类, 则用户ui出现的概率为： 得到用户

8、剖面 vUP = (u1,pu1)，(u2 pu2)，(um pum) n j cjuicjui ppp 1 _ 建立操作剖面 同理, 可以得到系统模式剖面、功能剖面和 操作剖面 vSP = (s1,ps1)，(s2,ps2)，(sn,psn) vFP = (f1,pf1)，(f2,pf2)，(fn,pfn) vOP = (o1,po1)，(o2 po2)，(on,pon) 操作剖面实例 确定操作模式 确定操作的发起者 选择表示方法(表格/图形) 创建操作表 确定出现率 确定出现概率 考虑特殊情况 操作表例子 操作发起者操作发起者操作操作 用户用户电话号码输入电话号码输入 系统管理员系统管理员

9、 增加用户增加用户 删除用户删除用户 电话网电话网 处理语音呼叫，无寻呼，有应答处理语音呼叫，无寻呼，有应答 处理语音呼叫，无寻呼，无应答处理语音呼叫，无寻呼，无应答 处理语音呼叫，有寻呼，有应答处理语音呼叫，有寻呼，有应答 处理语音呼叫，有寻呼，有对寻呼的应答处理语音呼叫，有寻呼，有对寻呼的应答 处理语音呼叫，有寻呼，无对寻呼的应答处理语音呼叫，有寻呼，无对寻呼的应答 处理传真呼叫处理传真呼叫 系统控制器系统控制器 审计电话号码数据库审计电话号码数据库 恢复硬件失效恢复硬件失效 操作出现频率 操作操作 出现率出现率 (每小时操作数每小时操作数) 电话号码输入电话号码输入10000 增加订户增

10、加订户50 删除订户删除订户50 处理语音呼叫，无寻呼，有应答处理语音呼叫，无寻呼，有应答18000 处理语音呼叫，无寻呼，无应答处理语音呼叫，无寻呼，无应答17000 处理语音呼叫，有寻呼，有应答处理语音呼叫，有寻呼，有应答17000 处理语音呼叫，有寻呼，有对寻呼的应答处理语音呼叫，有寻呼，有对寻呼的应答12000 处理语音呼叫，有寻呼，无对寻呼的应答处理语音呼叫，有寻呼，无对寻呼的应答10000 处理传真呼叫处理传真呼叫15000 审计电话号码数据库审计电话号码数据库900 恢复硬件失效恢复硬件失效0.1 操作出现概率 操作操作出现概率出现概率 电话号码输入电话号码输入0.10 增加订户

11、增加订户0.0005 删除订户删除订户0.0005 处理语音呼叫，无寻呼，有应答处理语音呼叫，无寻呼，有应答0.18 处理语音呼叫，无寻呼，无应答处理语音呼叫，无寻呼，无应答0.17 处理语音呼叫，有寻呼，有应答处理语音呼叫，有寻呼，有应答0.17 处理语音呼叫，有寻呼，有对寻呼的应答处理语音呼叫，有寻呼，有对寻呼的应答0.12 处理语音呼叫，有寻呼，无对寻呼的应答处理语音呼叫，有寻呼，无对寻呼的应答0.10 处理传真呼叫处理传真呼叫0.15 审计电话号码数据库审计电话号码数据库0. 009 恢复硬件失效恢复硬件失效0.000001 准备测试用例 估计当前版本所需新测试用例的数量 通过随机选取

12、测试的操作, 为每个操作对应若 干个运行 在被测系统之间分配新测试用例的数量 在每个系统的操作之间分配新测试用例的数 量 指定新的测试用例 将新测试用例加入测试用例集 充分性准则 依据可靠性要求和评估的置信度确定的执行 数量 测试剖面和操作剖面吻合 需求的覆盖 操作剖面特点 优点 v通过分解，可以处理规模较大的系统通过分解，可以处理规模较大的系统 v测试用例的规模较均匀测试用例的规模较均匀 不足 v测试执行缺乏连续性测试执行缺乏连续性 v高使用概率的功能被重复测试高使用概率的功能被重复测试 软件可靠性测试方法 基于使用模型的可靠性测试测试 v用用Markov链描述软件的使用链描述软件的使用 v

13、结构构造和统计分配结构构造和统计分配 v依据依据Markov模型上每个状态出边所关联的模型上每个状态出边所关联的 迁移概率，通过遍历使用模型的状态可以迁移概率，通过遍历使用模型的状态可以 生成测试用例生成测试用例 Markov模型 未激活未激活 终止终止 准备准备 状态状态1 状态状态2 状态状态3 状态状态4 S,1.00 G,0.50 B,0.30 R,0.20 G,1.00 A,0.50 B,0.40 R,0.10 R,0.30 C,0.25 D,0.50 E,0.25 F,0.70 建立Markov模型 用Markov链描述软件的使用 v结构构造结构构造 v统计分配统计分配 结构构造微

14、波炉 空闲 全功 率开 半功 率开 时间 设定 不可 运行 可以 运行 计时 运行 烹调 完成 全功率全功率 半功率半功率 全功率全功率 半功率半功率 定时定时 定时定时 定时定时 开门开门 关门关门 开门开门 关门关门 开始开始T0 超时超时 开门开门 统计分配微波炉 空闲 全功 率开 半功 率开 时间 设定 不可 运行 可以 运行 计时 运行 烹调 完成 全功率全功率,0.50 半功率半功率,0.50 全功率全功率,0.25 半功率半功率,0.25 定时定时,0.75 定时定时,0.75 定时定时,0.45 开门开门,0.20 关门关门,0.35 开门开门,0.10 关门关门,1.00 开

15、始开始T0,0.90 超时超时,0.98 开门开门,0.02 生成测试用例 通过触发当前状态上的事件, 完成期望的动 作, 产生状态转移, 来遍历使用模型, 生成测 试用例 遍历使用模型时, 依据当前状态上每个出边 所关联的迁移概率, 来确定需要触发的事件 确定需要触发的事件时, 需要同时考虑防护 的作用 充分性准则 依据可靠性要求和评估的置信度确定的执行 时间 测试剖面和操作剖面吻合 满足对状态图的覆盖要求 状态图覆盖要求 所有状态至少访问一次 所有事件至少触发一次 所有转换至少遍历一次(包括隐含) 所有基本路径至少覆盖一次(循环) 对防护(Guard)进行测试(MMC/DC、边界) Mar

16、kov模型特点 优点 v便于自动化便于自动化 v每次测试都是新的每次测试都是新的 不足 v状态图的空间爆炸问题状态图的空间爆炸问题 v以正常测试为主以正常测试为主 对使用模型的改进 对于操作剖面 v采用分类剖面刻画：功能剖面、数据剖面、采用分类剖面刻画：功能剖面、数据剖面、 环境剖面环境剖面 对于Markov模型 v多层状态图多层状态图 对使用模型的改进 将UML用于刻画使用模型 对UML进行改进, 加入统计分布特征 用例图与类图、状态图、时序图等相结合, 刻画嵌入式软件的各种运行特性, 用于指导 测试设计 测试过程控制准则 软件的每一个版本必须在唯一的统计实验中 进行检测 v一个版本的数据只

17、能用于评估该版本的可一个版本的数据只能用于评估该版本的可 靠性靠性 v不同版本的数据可用于描述测试过程不同版本的数据可用于描述测试过程 对不同的测试版本,应保持规格说明、环境状 况、性能评估依据的一致性 测试用例应该像被生成时那样使用, 不能在 测试集合中再挑选 测试准备 测试用例准备 v估计当前版本所需新测试用例的数量估计当前版本所需新测试用例的数量 v在被测系统之间分配新测试用例的数量在被测系统之间分配新测试用例的数量 v在每个系统的操作之间分配新测试用例的在每个系统的操作之间分配新测试用例的 数量数量 v指定新的测试用例指定新的测试用例 v将新测试用例加入测试用例集将新测试用例加入测试用

18、例集 测试过程准备 测试执行 分配测试时间 按次序执行测试 标识系统失效 v分析测试输出的偏离分析测试输出的偏离 v确定哪些偏离是失败确定哪些偏离是失败 v估计失效出现的时间估计失效出现的时间 测试记录的考虑 测试决策 可靠性验证测试 可靠性增长测试 特殊情况 v失效数据计算失效数据计算 v缺陷掩盖问题缺陷掩盖问题 加速测试 有效测试与无效测试 v通过测试分类优化测试用例集通过测试分类优化测试用例集 稀有操作和关键操作 v非稀有关键操作非稀有关键操作 v稀有非关键操作稀有非关键操作 v稀有关键操作稀有关键操作 稀有关键操作处理 基于功能重要度等级分类测试 v重要功能具有高的可靠性要求重要功能具

19、有高的可靠性要求, 需要提升需要提升 测试量测试量 混合测试的解决方法 v组合或缩减稀有操作组合或缩减稀有操作 v根据操作的关键程度加权处理操作剖面根据操作的关键程度加权处理操作剖面 v按照关键类别将操作分类按照关键类别将操作分类 v为稀有关键操作分配指定数量的测试用例为稀有关键操作分配指定数量的测试用例 提要 软件可靠性建模 软件可靠性测试 软件可靠性评估 3 2 1 3 3 软件可靠性建模基本情况 基于对软件失效特征的理解, 建立软件可靠 性模型, 试图量化软件可靠性 自1970年代以来, 已经开发了超过200种 模型, 但是在软件可靠性定量评价方面仍然 遗留着大量未解决的问题 没有一个适

20、应所有情况的单一模型, 也没有 任何模型是完备的, 甚至是典型的 建模的目的 预测达到规定目标还需要多少测试时间 预测测试结束时软件的期望可靠性 建模的基本思想 测试 时间 失效强度 目标值 预计完成时间 当前时间 当前值 说明失效过程对影响它的 主要因素的通用依赖形式 影响失效的主要因素 缺陷引入 缺陷消除 操作环境 失效的随机性 变量的值不确定, 有许多可能的值, 每个值都 有相应的发生概率 精确值不可预知, 平均值和离差是可知的 不与特定的概率分布相联系 受测试强度和使用剖面等因素的影响 软件失效的统计特性 时间时间 失效率失效率 硬件硬件 软件软件(理论理论) 软件软件(实际实际) 模

21、型的应用 预计模型估计模型 使用时机开发早期开发早期测试运行期测试运行期 使用目的初始可靠性和失效率初始可靠性和失效率连续可靠性评价连续可靠性评价 失效数据不依赖不依赖依赖依赖 输入数据过程或产品数据过程或产品数据失效数据失效数据 输出数据缺陷密度，总缺陷数缺陷密度，总缺陷数全部可靠性相关度量全部可靠性相关度量 模型性质静态静态动态动态 推断方法直接换算直接换算直接可测直接可测 实 时 性早期早期晚期晚期 精 确 度不确定不确定更好更好 模型的典型构成 模型假设 模型因素 数学函数 v描述可靠性与因素之间的关系描述可靠性与因素之间的关系 v通常为高阶指数或对数通常为高阶指数或对数 模型参数估计

22、方式 参数评估 v通过系统失效数据进行统计推导通过系统失效数据进行统计推导 参数预计 v根据软件产品属性和开发过程确定参数根据软件产品属性和开发过程确定参数 值值 模型参数估计方法 估计类别 v点估计点估计 v区间估计区间估计 估计方法 v最大似然法最大似然法 v最小二乘法最小二乘法 v贝叶斯法贝叶斯法 Limit Limit 模型的评价 论断的有效性 v基于当前数据基于当前数据, 预测失效行为的能力预测失效行为的能力 能力 v模型预测精确度能达到管理者、工程师、模型预测精确度能达到管理者、工程师、 用户要求的能力用户要求的能力 模型假设的质量 可应用性 简单性 模型的一般特性 随机过程 有缺

23、陷清除和无缺陷清除 确定参数 模型分类 时间域(Time domain) v日历时间日历时间 v执行时间执行时间 类型(Type) v到指定时间发生的失效数分布到指定时间发生的失效数分布 模型分类 类别(Category) v在无限时间内发生的失效数量是有限的还在无限时间内发生的失效数量是有限的还 是无限的是无限的 v对于有限失效，用类对于有限失效，用类(Class)表示，是失表示，是失 效强度的时间函数形式效强度的时间函数形式 v对于无限失效，用族对于无限失效，用族(Family)表示，是失表示，是失 效强度的预期出现失效数的函数形式效强度的预期出现失效数的函数形式 有限失效模型举例 类型

24、类 泊松二项式其他 指数 Musa(1975) Moranda (1975) Schneidewind (1975) Goel-Okumoto (1979) Jelinski-Moranda (1972) Shooman (1972) Goel-Okumoto (1978) Musa(1979) Keiller等等(1983) Weibull Schick-Wolverton (1973) Wagoner (1973) C1 Schick-Wlverton (1978) Pareto Littlewood (1981) Gamma Yamada-Ohba-Osaki (1983) 无限失效模型

25、举例 类型 族 T1T2T3泊松 几何 Moranda (1975) Musa- Okumoto (1984) 线性倒数 Littlewood- Verrall (1973) 多项式倒 数(二次) Littlewood- Verrall (1973) 幂 Crow(1974) 模型应用的考虑 没有普遍适用的可靠性增长模型 可靠性增长与具体应用相关 使用多个增长模型拟合观测数据, 选取与数 据最匹配的模型 提要 软件可靠性建模 软件可靠性测试 软件可靠性评估 3 2 1 3 3 评估过程 检查数据 用模型拟合数据 预测模型参数 确定拟合模型 评价模型的合理性 进行可靠性评估 检查数据 研究数据特

26、征 v数据类型数据类型(失效数、失效间隔失效数、失效间隔) v时间单位时间单位(小时、天、周、月等小时、天、周、月等) v数据跟踪系统数据跟踪系统 v数据可靠性数据可靠性 利用散点图(Scatter Diagram)分析数据统 计规律 调整时间单位, 减小数据噪声的影响 用模型拟合数据 基于对测试过程、数据、模型假设的理解来 选择拟合的模型 基于对数据统计趋势的分析选择拟合模型 尽量选择多个模型 观察在不同时间周期模型的拟合程度 预测模型参数 根据数据的性质确定使用的方法 v点估计点估计 v区间估计区间估计 考虑使用软件工具辅助 确定拟合模型 使用预测参数, 替换选择模型的参数值 进行反复拟合

27、试验 得到针对数据集的拟合模型 评价模型的合理性 进行拟合程度检验 vKolmogorov-Smirnov拟合度检验拟合度检验 D(n)=Maxx(|F*(x)-F(x)|) 进行可靠性评估 根据选择的模型进行可靠性评估 根据其他可得到的信息, 评价预测的合理性 v类似产品的真实情况类似产品的真实情况 v相同产品的前一个版本实际情况相同产品的前一个版本实际情况 v开发团队的主观评价开发团队的主观评价 推荐模型 基本执行时间模型(Musa, 简称: 基本模型) 对数泊松执行时间模型(Musa-Okumoto, 简称: 对数模型) 推荐模型的基本假设 失效是独立的, 并且被遇到的概率是均匀分 布

28、测试空间覆盖了使用空间(测试从完整的使 用输入集中选取) 每个运行的输入集是随机选取的 所有的失效有明确的定义并易于观察 导致失效的缺陷立即被修正, 否则重复出现 的失效不计算在内 基本模型 0 0 1)( 0 v ev ()01 0 ()0e 0 0 R(|) e 0e 0 0 1e 0 0 对数泊松模型 1ln 1 )( 0 ()0e 1 )( 0 0 R(|) 01 0()1 1/ 两种模型失效强度比较() 0 0 平均预期失效数 失效强度 () 对数泊松模型 基本模型 : 失效强度 0: 初始失效强度 : 在给定时间点上失效的总平均数 v0: 在无限时间范围内总失效数 两种模型失效强度

29、比较() 0 0 执行时间 失效强度 () 基本模型 对数泊松模型 : 失效强度 0: 初始失效强度 : 执行时间 v0: 在无限时间范围内总失效数 两种模型平均失效数比较() v0 基本模型基本模型 对数泊松模型对数泊松模型 : 执行时间 : 在给定时间点上失效的总平均数 v0: 在无限时间范围内总失效数 模型参数 参 数 模 型 基本模型 对数模型 初始失效强度初始失效强度00 失效强度变化失效强度变化 总失效数总失效数0 失效强度衰减率失效强度衰减率 模型参数预测(1/3) 初始失效强度0 v0 K0 总失效数0 v0 0 /B 失效强度衰减率 模型参数预测(2/3) 程序的线性执行频率

30、 v 程序的平均执行率程序的平均执行率/ 目标指令数目标指令数I 缺陷暴露率K v导致失效的导致失效的“程序段程序段”所占的时间比所占的时间比 模型参数预测(3/3) 固有缺陷数0 v缺陷播种缺陷播种 v通过测试确定缺陷密度，参照软件规模、通过测试确定缺陷密度，参照软件规模、 复杂度，根据经验公式推算复杂度，根据经验公式推算 v利用过程质量水平数据利用过程质量水平数据 缺陷衰减因子B v缺陷减少数缺陷减少数/出现的失效数出现的失效数 数据处理示例 总失效数: 136 失效时间(CPU秒)数据 v3, 33, 146, 227, 342, 351, 353,444, 556, 571, 709,

31、 759, 836 ., 88682 处理 v将失效数每将失效数每5个分为一组，获得失效强度、个分为一组，获得失效强度、 累计累计失效分布和平均失效时间累计累计失效分布和平均失效时间 v制表制表 v绘图绘图 数据表 累计失效数累计失效数累计时间累计时间失效强度失效强度时间时间 53420.014620171.00 105710.021834456.50 159680.012594769.50 2019840.0049211476.00 2530980.0044882541.00 3050490.0025634073.50 3553240.0181825186.50 4063800.0047355852.00 4576440.0039567012.00 50100890.0020458866.50 55109820.00559910535.50 60125590.00317111770.50 失效强度图示() 评估实例1(基本模型) 题：假定程序在无限的执行时间里将经历100 次失效, 在最近的 t 时间单位期间, 发生 50次失效。初始失效强度为10 次失效 /CPU小时。计算当前(在t) 的失效强度: 解： HourCPU failures v 5 100 50 110)50( 1)( 0 0 评估实例2 (