边界破坏性虚拟运行测试指引

1、边界 &破坏性 运行测试指南&虚拟批准人刘岩审核人崔戈拟制人刘慧丰批准日期生效日期关 联 文 件沈阳东东系统集成有限公司更改记录序号发行日更改对象更改内容批准审查拟制01999. 5. 12新发行刘岩崔戈刘慧丰目录1. 目的. 2/92. 边界测试边界的含义 2/9边界测试项目实例 2/9边界测试内容的事先设定 4/9边界测试的实施日期 4/9确认条件的明确记录 4/9边界测试结果的保存 4/9由错误事例分析出的不合格内容 4/93. 破坏性测试破坏性的含义 6/9破坏性测试项目实例 6/9事前确定边界测试内容 8/9破坏性测试结果的保存 8/9从错误事例分析出的不合格内容 8

2、/94. 虚拟运行测试虚拟运行测试的含义 8/9虚拟运行测试的方法 8/9虚拟运行测试项目 8/9虚拟运行测试内容的事先设定 9/9虚拟运行测试结果的保管 9/91.目的本指南的目的是为了强化软件产品的测试内容，提高产品质量 具体内容如下：边界测试：确认系统边界值的测试。破坏性测试：系统异常情况的破坏性确认测试。虚拟运行测试：模拟系统实际运行状况的测试。2.边界测试边界的含义 系统资源耗尽的状态，叫做边界。例如：表上溢、文件上溢、CPU或管道超过负荷系数、内存满等边界测试项目实例边界测试项目为下述项目:No边界测试项目测试方法1依据最大值、最小值进 行测试使用各数据项目的最大值、最小值来进行上

3、下边界的测试， 目的是为了确认实际最大值、最小值时的处理是否与要求 的一致。确认事项输入错误：输入值检查（最大值、最小值）运算错误：运算精度（上溢、下溢）输出错误：输出精度（上溢、下溢）注意事项保证规范定义范围内的数值（最大、最小、精度）规范定义范围外的错误检查处理/错误处理/错误通知处 理。注输入许可的数据后，若出现运算错误或输出错误的话， 是设计有误，以不出现运算错误或输出错误为原则2表、文件的边界的溢出 测试让表或文件实际出现溢出，以确认溢出时的处理是否与目 标一致。注意事项确保需求规范定义范围内的数据容量。规范定义范围外的错误检查处理、错误处理和错误通知 处理。确保规范中没明确的内部表

4、/文件的容量（缓冲、栈、要 求列表等）。3用最大数据量进行负 荷、性能测试（主要测该测试为对处理大量数据时的系统负荷与性能的确认，应 事先考虑产生大量数据的机制。试批处理的执行速度）如果不在系统外部制作数据，则制作大量数据的负荷，会 对系统负荷、性能测试产生影响，也就不能掌握真的系统 负荷、性能。注意事项确保规范中定义的最大数据量时系统的动作和性能（即 在规定的时间内完成该处理）数据超出规范范围外时系统动作的确认（限定为不能防 止数据量超出规范范围外时）确保完成数据的处理。（防止数据被破坏）确保系统的周期性注不仅对规范规定限度内的性能进行定义，而且要对超过 规范允许时的系统的动作进行定义。4连

5、接最大数目终端时的 负荷、性能的测试（主 要做在线实时处理）此测试是多个终端同时输入数据时的系统负荷与性能的测 试，有使用实际终端、使用仿真器 2种方法。使用仿真器 时，在外部设置负荷仿真器，希望使用同时能够产生大量 数据的方法。注意事项确保规范中规定的最大数目的终端台数时的系统动作、 性能（瞬间处理负荷）确认规范规定范围外的系统动作（限定于不可能防止时） 应具备（或考虑）恢复功能。5矩阵测试（测试有效区 域的测试）没有覆盖机能的系统（如程序的输出依赖于多个输入条件 的组合的系统），虽然很难管理测试路径，但可以用在流程 上作标记的方法来管理。在现实中想要通过整个测试路径是相当困难的，可以通过

6、模拟实际运行的状况来扩大测试范围。6最大/最小值系列输入 值的边界测试 Mi n/Max值测试输入位数检查测试运算上溢，下溢测 试除法错误处理测试在最大/最小值系列的输入值的边界测试中，必须确认如下 每个项目：这是在每个输入项目中输入 Mi n/Max值后对上下边界的测 试，确认它是否与目标处理一致。必要时根据输入值的有 无符号来进行测试。这是在每个输入项目的输入位数有限制时进行的测试，根 据限制范围内位数的输入与限制范围外位数的输入来确认 是否与目标处理相一致。在每个输入项目中输入最大数据、最小数据来确认不发生 运算上溢或运算下溢。这是对输入项目进行除法运算时的错误处理测试，在输入 数据中输

7、入0时，确认不发生除法错误（根据被除数与除 数的位数的不同，成为上溢或下溢错误）输入文字种类测试输入文字数限制测试对输入项目中的“只有数值”、“带符号数值”、“半角文字”、 “全角文字”等有输入文字种类限制的项目，输入指定种类的文字与指定外的文字来确认是否与目标处理相一致。这是文字数据输入时的输入文字数的限制的测试， 确认“半角文子、全角文子 及半角与全角的混合文子输入，是 否与输入文字限制处置的目标处理相一致。7数据容量边界测试硬盘容量边界测试文件个数限制测试记录个数限制测试表尺寸上溢测试硬盘的数据容量的边界测试，需要确认如下项目： 确认规范中规定的硬盘所需文件数、文件容量及预备的空 间是否

8、能够保证。确认一下，硬盘卷中是否已备好所需文件数以及所需文件 数超过文件限制数时的处理。对于有记录数目限制的文件，确认其在超出时的处理。（对 于带关键字（Key）的文件，确认Key部分与数据部分的平 衡）确认发生表尺寸的上溢时的处理（不能破坏表、显示错误 信息、继续输入被终止等）。8通信系统边界测试一个电文长度的边界测试通信量的边界测试超时处理测试通信系统的边界测试应确认如下项目：确认规范中定义的文字数最大的电文，包含传送控制文字， 是否能够接收和发送。此测试为增加通信量时的边界确认测试，确认作为目标的 处理能力是否能够保证。确认通信系统的终端应答监视时间值和超时时的处理，是 否与目标处理相一

9、致。事前确定边界测试内容制作开发计划书时，在质量确认分析表中记述边界测试的目标内容边界测试的实施日期依据边界测试内容的等级，按单体测试、组合测试、综合测试的顺序，依次扩大进 行各等级的测试与确认。确认条件的明确记录很多时候边界测试要花费大量时间与精力来制作测试条件，所以制定一套严密的测试实施计划与确认条件是非常重要的。例如：在文件环境为数万记录的文件边界测试中，若制作记录生成器的话就不必修 改文件环境，但因记录生成条件复杂而不能制作记录生成器时，将文件环境缩小后实施 边界测试。负荷测试按照性能管理表的要求进行实际测试、确认。边界测试结果的保存边界测试中所使用的数据或测试工具应保存好，以便在今后

10、对系统进行修改或解决错误时可以再利用。从错误事例分析出的不合格内容以下举出几例错误作为参考：1） 上/下限检查中的NG例N不合格现象正确方法O1因分析电文用的文件地址成为 0, 无限循环进行读/与指针检查，使 数据不能传送到终端。设计方法：文件指针的检查中必须有>0的条件。 测试方法：如果文件地址（文件为空）为 0是正确 的，则必须测试文件空的状态。2在输入时末指定值的项目（缺省=0）,错误地解释为0,被处理， 所以结果不止确。设计方法：使缺省值标识符化，对标识符进行初始 化和判断，防止误用。测试方法：对于输入项目中需要缺省值的所有项目， 实行有输入值与缺省值（省略输入）时的测试确认。3

11、要进行下月处理时，因在继续处 理中将月曰检查只处理了日期， 所以在月变化时，日期一缩小， 便成为对上月的处理。5/25?6/4 >4/4设计方法：在日期检查中，一定要判断年、月、日。 测试方法：因为是日期的检查，所以要测试年变化、 月变化、日变化及闰年。2）表/文件的边界、上溢处理 NG例NO不合格现象正确方法1因写入文件时未检查返回值，所 以即使发生文件溢出，也继续处 理。设计方法：一定要检查文件的写入结果，而 且按照此值进行处理。（有可能发生文件满 时，设计相应的处理方法）测试方法：将文件做成满的状态后确认处理 是否正确。2接收文件溢出，电文丢失。设计方法：传送的接收文件变满，表示系

12、统 出现异常，设计成能够通知对方不能接收与 接收文件已满的警告，并进行处理。测试方法：使接收文件成为满的状态后，确 认能否按规范处理。3接收开始时检查文件是否有剩余 空间，认为无时发出警告、然后 要返回到处理开头，却进入了接 收处理。设计方法：这是从异常状态恢复到原位时的 错误，应按符号的指示回到原位。测试方法：确认接收文件满时是否按规范进 行处理。4DISK?FD保存功能一直保存到了 文件区域外的数据，因此FD?DISK 复元功能恢复文件内容时，发生 了文件上溢。设计方法：将读写数据的缓冲初始化后读入 数据，写入后使其能够通过一般的初始化例 行程序。测试方法：将数据从DISK保存到FD时，以

13、 比较程序来比较相互内容。或是将相互的内 容Dump下来后进行确认。3）多重记录处理的NG例NO不合格现象正确方法1传送格式变换中的逻辑文本长 为256位数的话，跨帧时附加设计方法：与逻辑文本长相对比、物理文本 长由于电路控制符的附加而变长、对追加电FTX发送队列满。路控制符后的物理文本长进行判断。测试方法：对物理文本长大于逻辑文本长的 情况，确认是否为正常处理。4）初始化的NG例NO不合格现象正确方法1错误的产生使再输入时的初始值设置 遗漏，因此导致数据内容不一致。设计方法：作为初始化处理后的输入处理， 错误的恢复也要使用一般的初始化处理。 测试方法：确认输入错误发生后再输入时 是否正确进行

14、了初始化。2特定的程序中遗漏了初始化处理，在 重复进行此处理多次时，产生文件垃 圾（因没有初始化），所以文件变满。设计方法：作为初始化后的输入处理和输 入后的再处理可以设计成通常的初始化。测试方法：以输入处理单位确认文件的内 容，确认初始化是否正常。3图像处理用的工作区域的初始化不全 面，检查不出图像范围的结束，成了 死循环状态。设计方法：把工作区域结束标志查出条件 作为数据的结束或工作区域的结束。测试方法：在工作区域满时，数据中无数 据结束的情况下继续处理。4画面的切换回前画面，再回到下一个 画面时，缓冲中残留前回内容，因把 此内容写入到文件中，成了错误数据。设计方法：明确设计出上位画面与下

15、位画 面或下位画面上位画面的切换时何时实施 区域的初始化。测试方法：反复进行上位切换到下位画面、 下位切换到上位画面的动作，转储文件的内 容后，确认其结果是否正确。5处理对象改变时，忘记了特定关键字 的改变处理，用原值继续处理。设计方法：设计时就该明确在何时改变（更 新）处理关键字。测试方法：依次转换处理关键字时，确认 其结果是否正确继续处理之后，以同一处 理关键字转换处理key，确认其结果是否 正确6遗漏了特定领域的初始化，所以仍显 示出原来的数据。设计方法：应在设计时明确进行初始化的 时间。测试方法：带着特定条件输入之后，确认 其它输入处理是否正常。3 破坏性测试破坏性的含义 用切断电源操

16、作、异常值及随机键操作等输入的数据进行的测试， 叫做破坏性测试。破坏性测试项目实例NO 破坏性测试项目丨测试方法1切断运行中的硬件设备 的电源，进行障碍恢复测 试。是对运行过程中因停电或机器故障而发生电源切断时 的恢复测试、确认电源恢复后，是否能够进行恢复的 测试。2网络系列机器的电源OFF 障碍恢复测试。用网络系列机器的电源切断进行个别恢复测试。3恢复测试（自动，手动）这是包含硬件、基本软件、应用软件的系统恢复测试， 确认系统的退出再构成冉开机。4随机键操作测试。往输入项目里随便输入数据后确认，能否实施符合目 标的处理。最近通过终端画面来进行输入处理的越来越多，因此 输入项目中的文字类型（数

17、字、ANK文字等）检查是非 常重要的。5异常值数据测试通过本测试来确认输入异常值数据后，错误检查正常 与否。规范中虽明确记述，但对于通过像传送等手段从别的 系统输入的数据来说，很有可能混入规范外的数据，所 以需要注意.6错误处理测试通过本测试来确认错误处理与错误恢复，还应对整个 单体测试中的错误处理进行确认有些机器出错很难发生（必须破坏机器）,这时可以设 想发生了错误后，确认恢复处理.而且还需要确认，从电源切断到恢复的处理过程.7互斥处理测试通过本测试来确认互斥处理的妥当性，由于终端台数 的增多，多个终端可能同时处理同一个记录，这时需要 对它进行互斥处理的确认8接口测试通过本测试来确认接口部分

18、的正常与异常恢复.接口中有机器或设备等外部接口部分与软件包等内部接 口 ,这两种接口应在单体测试级中实施.9闰年对应测试必须对实施闰年处理的功能进行确认处理.10最大/最小值系列破坏性 测试异常键输入处理末输入处理（只输入 返回键）符号输入处理往数值键输入项目里输入指定键外的英文假名 等。不用输入数据，而只进行回车键的输入。 进行带+、符号的数值输入。11障碍测试通信系列中的电路障 碍接收电文的数据异常 处理终端异常时的替换处 理在通信系列的电路障碍测试中，确认从障碍到恢复的 过程。*对于发生电路障碍时，接收发送的电文由于电路恢 复、再发送等不会出现丢失的确认。接收电文中混入异常数据时的异常检

19、查确认。对于输出处理中的输出终端异常时，指定将其切换 到另外的终端中进行输出的确认。12双系统切换的测试 双磁盘双系统的异常检查中的切换功能的测试。双DISK片系列中发生异常时，应放弃异常片而继续运双CPU转。还要确认只用单片DISK就能启动系统。工作中CPU发生异常，将系统切换到待机系统的 CPU 中，确认系统疋否能够启动。事前设定破坏性测试内容制作开发计划书时，在质量确认分析表里明确记述破坏性测试的目标内容破坏性测试结果的保存妥善保管破坏性测试中所使用过的数据或测试工具，以便在以后进行系统修改时使 用。从错误事例分析出的不合格内容以下举出几例错误作为参考:1）任意输入的数据的NG例NO不合格现象正确方法1若将汉字域中的光标设成全角 时，ANK域中的光标也变成全角。（与使用多种窗口时的光标形状 管理不同）设计方法：若输入项目中有输入文字类型条件 时，确认是否为此输入类型中的文字类别数 据。测试计算方法：往输入项目中输入任意数据 后，确认能否检查出错误。2） 互斥处理NG例NO不合格现象正确方法1更新计数器时，因没进行互斥处 理，所以计数器值变少，其它JOB 变为等待状态。设计方法：不直接操作互斥领域，以宏使其隐 藏，来防止互斥错误。测试方法：使互斥领域成占有状态后，确认关 联任务是否进入互斥等待2操作员选定“等待修改”后，想 进行“修改”时，因数据已被其 它终端处理、删除，所