嵌入式通信软件可靠性测试.ppt

2020/6/9，1，1，专业化，规范化，标准化，电子化，可靠性测试，作者：彭远版本： v1.0，有计划，有记录，有审查，2020/6/9，2，专业化，规范化，标准化，电子化，定位和目标，是测试工程师学习后嵌入式通信软件可靠性测试的基础自学提案： tcp/ip协议详细解说卷1嵌入式软件测试可靠性测试，2020/6/9， 3、3、专业化、标准化、电子化、5、4、3、2、1、目录、嵌入式通信软件可靠性测试目的、嵌入式通信软件可靠性测试特点、嵌入式通信软件可靠性测试若干要素嵌入式通信软件可靠性测试注意事项、6、 嵌入式通信软件可靠性测试过程，8，7，如何测试嵌入式通信产品的可靠性，抛砖引玉的案例介绍，2020/6/9，4，专业化，规范化，标准化，电子化，嵌入式通信软件可靠性测试的目的，软件可靠性测试的主要目的是代表性的2 :通过软件可靠性测试发现影响软件可靠性的所有错误，及时纠正软件错误，提高软件质量。 嵌入式通信软件测试的主要目的是在典型使用环境中运行软件和可靠性测试，以发现影响通信软件功能、性能(包转发、块、延迟、纠正等)的错误，及时纠正软件错误，提高软件质量2020/6/9，5，5，专业化，规范化，标准化，电子化，二是嵌入式通信软件可靠性测试，嵌入式通信软件可靠性测试定义：开发的嵌入式通信系统，包括操作系统、协议实践、驱动程序和应用软件(1)嵌入式通信软件的可靠性定义：根据代表性的使用环境条件(包括硬件和软件、网络、操作、输入等)，在规定时间内嵌入式通信系统不会发生系统故障的概率。 (2)嵌入式通信软件可靠性估计：应用统计技术处理系统测试和运行中收集、观测到的故障数据，评估嵌入式通信系统的可靠性。 2020/6/9，6，6，专业化、规范化、标准化、电子化三个嵌入式通信软件可靠性测试的特点，软件可靠性测试与硬件可靠性测试不同，这主要是由于两者故障的原因。 硬件故障：硬件可靠性测试强调随机选择多个相同的产品并统计它们的正常运行时间，因为通常是部件老化的原因。 平均运行时间越长，硬件就越可靠。 软件故障：由于设计缺陷，软件输入决定是否遇到软件内部存在的故障。 在软件可靠性测试中，根据实际使用的概率分布随机选择输入，强调测试需求的复盖面。 软件可靠性测试强调测试输入与典型使用环境输入统计特性的一致性，强调功能、输入、数据域及其相关概率的预识别。 测试实例的抽样策略也不同，软件可靠性测试必须根据所使用的概率分布随机选择测试实例。 由此，可得到比较准确的可靠性估计，也有助于发现对软件可靠性有较大影响的故障。 另外，在软件的可靠性测试过程中，有必要比较正确地记录软件的执行时间。 对嵌入式通信软件进行可靠性测试需要多个测试环境。 硬件和软件可靠性测试的区别： 2020/6/9，7，7，专业化，规范化，标准化，电子化，三个嵌入式通信软件可靠性测试的特点，嵌入式通信软件和一般软件的区别在1 :特定硬件上运行，与硬件密切相关2 :功能主要是对数据进行(传送、块、延迟、修改)等动作。3 :不同模块之间有很大的相互关联性和影响性。 4 :嵌入式产品特性(硬件和软件集成)包括硬件、引导、驱动程序、操作系统、协议实践和应用系统。 某些应用程序需要通用PC应用程序的支持。 因此，嵌入式通信软件系统的可靠性测试包括硬件兼容性、引导兼容性、驱动程序稳定性、操作系统稳定性、协议实践稳定性兼容性、与相应的PC应用程序兼容性、2020/6/9、 8、8、考虑到专业化、规范化、标准化、电子化，嵌入式通信软件系统的可靠性在规定时间内以规定的条件完成规定的功能，不引起系统故障的概率.1.规定的时间软件的可靠性只出现在其执行阶段，可以将“执行时间”定义为“规定的时间”的测量值。 运行时间包括软件系统运行后的工作和挂起(打开时空闲)的累计时间。 软件执行环境和程序路径的选择的随机性，软件的失效是随机的事件，因此执行时间是随机的变量。 2 .规定的环境条件环境条件是指软件的执行环境。 包括执行软体系统时所需的各种支援元素，包括硬体、作业系统、网路环境、其他支援软体、资料传输、资料格式与范围输入，以及操作程序。 根据环境条件不同，软件的可靠性也不同。 更具体地说，将主要描述当软件系统被执行时的外部环境条件和对输入数据的要求，并且假定所有其它要素是理想的。 3 .规定的功能软件可靠性与规定的任务和功能有关。 由于您完成的任务不同，软件的执行配置文件也不同，因此调用的子模块可能不同(即程序路径的选择不同)。 要正确测量软件系统的可靠性，首先必须明确其任务和功能。 确定软件是否出现故障的标准是系统死机、系统无法启动、记录无法输入/输出、数据计算错误、决策不合理、影响其他模块或系统、软件功能被削弱或丢失的事件或状态。 四个嵌入式通信软件可靠的几个要素，2020/6/9， 9、专业化、规范化、标准化、电子化、5个嵌入式通信软件可靠性测试注意事项之一：功能识别功能识别目标：识别所有被测功能及执行这些功能所需的相关输入，识别各自的使用需求和相关输入的概率分布， 需要分析软件功能的所有集合这些功能之间的所有制约条件、功能之间的独立性、相互关系和相互影响，需要分析系统的不同运行模式、故障发生时的系统重建策略等对软件运行方式有较大影响的因素。 2 :定义失效等级1 .识别发生概率小但失效后危害大的功能需求。 2 .识别不确定失效原因，不统计的功能需求。 2020/6/9，10，专业化、规范化、标准化、电子化、五个嵌入式通信软件可靠性测试注意事项，3 :可靠性测试是输入域为：1，输入域的所有测量出的输入域发生概率之和必须超过软件可靠性要求。 2 .重要输入变量值的复盖。 3 .相关输入变量可能组合的霸权复盖，使得相关输入变量的相互影响不会导致软件故障。 4 .设计输入空间与实际输入空间之间的区域复盖，即非法输入域复盖。 5 .各种使用功能的垄断。 环境复盖物：必须复盖在测试时可能影响程序执行方式的所有条件(硬件和软件网络操作)。 2020/6/9，11，专业化、规范化、标准化、电子化，六个嵌入式通信软件可靠性测试过程， 嵌入式软件可靠性测试分为四个阶段：1.制定测试计划2 .制定测试计划3 .制定测试用例4 .执行测试5 .收集和分析测试数据6 .可靠性评估、2020/6/9、12、专业化、规范化、标准化、电子化、 7个嵌入式通信软件的可靠性测试难点，1 :依赖于测试嵌入式软件功能的未编码硬件功能，难以快速确定硬件和软件错误。二：嵌入式通信软件主要处理传输数据(输入部分)，因此强韧性测试难以实现(基于软件设计复盖尽可能多的数据类型)。 三：通信设备应尽量使用户透明，因此很难适应非常多的不同类型的系统，设计交叉测试平台的测试用例。 4 :根据消息系统测试的复杂性，难以确定性能测试和性能瓶颈，包括线程、任务、子系统之间的交互、同时容错和对时间的要求。 6 :实施测试自动化技术很难。 2020/6/9、13、专业化、规范化、标准化、电子化、8如何进行嵌入式通信产品的可靠性测试1 .制定测试计划和策略：本阶段的目标是识别软件功能需求，触发其功能输入和对应的数据域，加强相关概率分布和测试1 .分析功能需求，分析各种功能需求，识别与触发功能输入相关的数据域(包括合法和违法两部分)。 在分析过程中，请注意软件的运行模式是否不同。如果存在，则必须列出所有系统运行模式。 是否有影响程序执行方式的外部条件？ 如果存在，这些影响的程度是如何在功能要求之间独立的，还是相关的？ 如果关系密切，还是部分关系密切，如果两个功能密切，则可以将两个功能合并为一个功能。 如果功能部分相关，则必须列出相应输入变量的合法组合。 参考国家军用软件标准，2020/6/9，14，专业化，规范化，标准化，电子化，如何进行嵌入式通信产品的可靠性测试2 .制定测试计划：根据测试计划评估测试用途，制定适当的测试计划。 包括软件硬件测试设备的网络资源配置、任务分配(测试脚本、测试用例制作和评审、测试执行)、报告输出和可靠性评估。 2020/6/9、15、专业化、规范化、标准化、电子化、8是如何进行嵌入式通信产品可靠性测试的三.设计和制作测试用例：测试用例的设计和制作质量是可靠性测试能否取得成效的关键。 设计测试用例根据测试计划、测试计划、测试策略和软件设计说明，针对特定功能或组合功能设计测试计划并制作文档。 测试用例的选择可包括一般的、极限的和最大与最小的边界值。 由于测试的目的是暴露应用程序中隐藏的缺陷，软件运行的各种条件分支和逻辑结构、执行顺序、模块之间的联系、包类型的多样性、操作的多样性、复杂的操作环境相结合，在所有可能的输入和输出条件中确定测试数据，应用程序2020/6/9、16、专业化、规范化、标准化、电子化、8如何进行嵌入式通信产品的可靠性测试，4 .执行测试：应注意的是被测试软件的测试环境，包括硬件和软件环境、网络环境、设备物理环境尽可能模拟实际的使用环境，测试时按照测试计划和顺序测试各测试事例，判断软件的输出是否符合预期的结果。 测试时，请记录测试结果、执行时间、判断结果。 如果软件发生故障，还必须记录故障现象和时间。 在测试中，考虑进行输入比通常输入差(合理程度差)的输入的“强化输入”。 如果软件能够通过强化输入来信赖的话，只能说明通过正规输入来更加信赖。 为了获得更多可靠性数据，必须在多台计算机上同时运行软件，以增加累计运行时间。 2020/6/9，17，专业化，规范化，标准化，电子化，5 .数据采集和故障分析：软件可靠性数据是可靠性评估的基础。 应建立软件错误报告、分析和纠正措施系统。按照相关标准要求，制定软件错误报告和可靠性数据采集、存储、分析和处理规程，完全准确地记录软件测试阶段的软件错误报告，收集可靠性数据。 时间定义的软件的可靠性数据1，可以分为失效时间数据，记录一次失效发生的累计经验的时间2，失效间隔时间数据记录本次失效和上次失效的间隔时间3，将数据分组，记录某时间段发生了多少次故障4 .标记这四种数据可以相互转换。 每个测试记录必须包含足够的信息，包括a .测试时间b .包括测试用例的测试计划或测试说明c .参加与所有测试相关的测试结果(包括所有测试过程中出现的故障) d .测试的个人身份。 5、编写测试报告，如何进行嵌入式通信产品的可靠性测试，2020/6/9，18，专业化，规范化，标准化，电子化，测试活动结束后编写软件可靠性测试报告，测试项目和测试结果应当汇总到测试报告中。 必须参考GJB438A-97在创建时提供的软件测试报告格式，根据情况进行裁决。 测试报告必须包含a .产品徽标b .使用的配置(硬件和软件) c .使用的文档d .产品说明、用户文档、程序和数据测试结果列表不符合e .需求的项目列表f .测试的最后一天。 的双曲馀弦值。 8 .如何进行嵌入式通信产品可靠性测试，2020/6/9，19，专业化，规范化，标准化，电子化，6 .可靠性评估： ISO9000国家指出质量标准(ISO/IEC9126-1991 )的规定，软件产品可靠性的含义是： 一般采用以下简单有效的评估方法(1)成熟度测量错误发现率DDP(DefectDetectionPercentage ) 测试中发现的错误越多，在实际应用程序中发现错误的机会越少，软件也越成熟。 DDP=测试检测到的错误数/已知错误数已知错误数是测试检测到的错误数和可能检测到的错误数之和。 测试复盖率。 测试复盖率可以通过测试项目的数量、内容和数据量来测量。 测试复盖率可用表2所示测试指标评价。 通过调查这些指标的到达度，可以测定测试内容的复盖度成熟性测试方法：测试该软件本身的错误引起的频率。 测试由于意外事故的失误而引起的频率。 测试其他原因导致的错误频率。 如何进行八嵌入式通信产品的可靠性测试，2020/6/9，20，专业化，规范化，标准化，电子化，(2)容错性评估容错性评估分为控制容错性评估、数据容错性评估、硬件故障恢复容错性评估：容错性=以下各条款评估的和条数1 .控制容错性评估2 .数据的容错性测定非法输入数据的容错性对相互冲突的要求和非法组合的容许公差输出数据是否合理容许。 3 .硬件故障中可恢复性测量4 .故障后可恢复性测量8 .如何进行嵌入式通信产品可靠性测试2020/6/9，21，专业化、规范化、标准化、电子化；(3)易恢复测量与易恢复测量密切相关的测试是强度测试和鲁棒性测试。 强度测试又称力测量或极限测试，主要测试系统对空间强度和时间强度容忍极限的鲁棒测试又称异常测试，是重要的可靠性测试项目。 通过易于恢复的测试，使系统具有异常的抵抗力，同时能够控制系统的测试质量。容易恢复=以下各条款的评价的和条件数空间强度能够恢复的时间强度能够恢复的数据强度能够恢复异常通信能够恢复的数据破坏能够恢复的异常关机对于能够恢复的系统的程序和数据是否有足够的备份？ 系统损坏后，是否有能力恢复正常工作？ 是否具有自动检测和诊断系统故