嵌入式测试

嵌入式测试来源：中科永联高级技术培训中心 嵌入式软件测试/嵌入式测试或叫交叉测试（cross-test）的日的与非嵌入式软件是相同的。但是，在嵌入式系统设计中，软件正越来越多地取代硬件，以降低系统的成本，获得更大的灵活性，这就需要使用更好的测试方法和工具进行嵌入式和实时软件的测试。 通常嵌入式系统对可靠性的要求比较高。嵌入式系统安全性的失效可能会导致灾难性的后果，即使是非安全性系统，由于大批量生产也会导致严重的经济损失。这就要求对嵌入式系统，包括嵌入式软件进行严格的测试、确认和验证。随着越来越多的领域使用软件和微处理器控制各种嵌入式设备，对门益复杂的嵌入式软件进行快速有效的测试愈加显得重要。软件测试的目的是保证软件满足需求规格说明。系统失效是系统没有满足个或多个正式需求规范中所要求的需求项。嵌入式软件有其特殊的失效判定准则，但是，嵌入式软件测试的日的与非嵌入式软件是相同的。在嵌入式系统设计中，软件正越来越多地取代硬件，以降低系统的成本，获得更大的灵活性，这就需要使用更好的测试方法和工具进行嵌入式和实时软件的测试。一、嵌入式软件的测试方法一般来说，软件测试有7个基本阶段，即单元或模块测试、集成测试、外部功能测试、回归测试、系统测试、验收测试、安装测试。嵌入式软件测试在4个阶段上进行，即模块测试、集成测试、系统测试、硬件/软件集成测试。前3个阶段适用于任何软件的测试，硬件/软件集成测试阶段是嵌入式软件所特有的，目的是验证嵌入式软件与其所控制的硬件设备能否正确地交互。 1、白盒测试与黑盒测试一般来说，软件测试有两种基本的方式，即白盒测试方法与黑盒测试方法，嵌入式软件测试也不例外。白盒测试或基本代码的测试检查程序的内部设计。根据源代码的组织结构查找软件缺陷，一股要求测试人员对软件的结构和作用有详细的了解，白盒测试与代码覆盖率密切相关，可以在白盒测试的同时计算出测试的代码的覆盖率，保证测试的充分性。把100的代码都测试到几乎是不可能的， 所以要选择最重要的代码进行白盒测试。由于严格的安全性和可靠性的要求，嵌入式软件测试同非嵌入式软件测试相比，通常要求有更高的代码覆盖率。对于嵌入式软件，白盒测试一般不必在目标硬件上进行，更为实际的方式是在开发环境中通过硬件仿真进行，所以选取的测试工具应该支持在宿主环境中的测试。黑盒测试在某些情况下也称为功能测试。这类测试方法根据软件的用途和外部特征查找软件缺陷，不需要了解程序的内部结构。黑盒测试最大的优势在于不依赖代码，而是从实际使用的角度进行测试，通过黑盒测试可以发现白盒测试发现不了的问题。因为黑盒测试与需求紧密相关，需求规格说明的质量会直接影响测试的结果，黑盒测试只能限制在需求的范围内进行。在进行嵌入式软件黑盒测试时，要把系统的预期用途作为重要依据，根据需求中对负载、定时、性能的要求，判断软件是否满足这些需求规范。为了保证正确地测试，还须要检验软硬件之间的接口。嵌入式软件黑盒测试的一个重要方面是极限测试。在使用环境中，通常要求嵌入式软件的失效过程要平稳，所以，黑盒测试不仪要检查软件工作过程，也要检查软件换效过程。 2、目标环境测试和宿主环境测试在嵌入式软件测试中，常常要在基于目标的测试和基于宿主的测试之间作出折衷。基于目标的测试消耗较多的经费和时间，而基于宿主的测试代价较小，但毕竟是在模拟环境中进行的。目前的趋势是把更多的测试转移到宿主环境中进行，但是，目标环境的复杂性和独特性不可能完全模拟。在两个环境中可以出现不同的软件缺陷，重要的是目标环境和宿主环境的测试内容有所选择。在宿主环境中，可以进行逻辑或界面的测试、以及与硬件无关的测试。在模拟或宿主环境中的测试消耗时间通常相对较少，用调试工具可以更快地完成调试和测试任务。而与定时问题有关的白盒测试、中断测试、硬件接口测试只能在目标环境中进行。在软件测试周期中，基于目标的测试是在较晚的“硬件/软件集成测试”阶段开始的，如果不更早地在模拟环境中进行白盒测试，而是等到“硬件/软件集成测试”阶段进行全部的白盒测试，将耗费更多的财力和人力。二、嵌入式软件的测试工具用于辅助嵌入式软件测试的工具很多，下面对几类比较有用的有关嵌入式软件的测试工具加以介绍和分析。 1、内存分析工具在嵌入式系统中，内存约束通常是有限的。内存分析工具用来处理在动态内存分配中存在的缺陷。当动态内存被错误地分配后，通常难以再现，可能导致的失效难以追踪，使用内存分析工具可以避免这类缺陷进入功能测试阶段。目前有两类内存分析工具软件和硬件的。基于软件的内存分析工具可能会对代码的性能造成很大影响，从而严重影响实时操作；基于硬件的内存分析工具价格昂贵，而且只能在工具所限定的运行环境中使用。 2、性能分析工具在嵌入式系统中，程序的性能通常是非常重要的。经常会有这样的要求，在特定时间内处理一个中断，或生成具有特定定时要求的一帧。开发人面临的问题是决定应该对哪一部分代码进行优化来改进性能，常常会花大量的时间去优化那些对性能没有任何影响的代码。性能分析工具会提供有关的数据，说明执行时间是如何消耗的，是什么时候消耗的，以及每个例程所用的时间。根据这些数据，确定哪些例程消耗部分执行时间，从而可以决定如何优化软件，获得更好的时间性能。对于大多数应用来说，大部分执行时间用在相对少量的代码上，费时的代码估计占所有软件总量的5%-20%。性能分析工具不仅能指出哪些例程花费时间，而且与调试工具联合使用可以引导开发人员查看需要优化的特定函数，性能分析工具还可以引导开发人员发现在系统调用中存在的错误以及程序结构上的缺陷。 3、GUI测试工具很多嵌入式应用带有某种形式的图形用户界面进行交互，有些系统性能测试足根掘用户输入响应时间进行的。GUI测试工具可以作为脚本工具有开发环境中运行测试用例，其功能包括对操作的记录和回放、抓取屏幕显示供以后分析和比较、设置和管理测试过程。很多嵌入式设备没有GUI，但常常可以对嵌入式设备进行插装来运行GUI测试脚本，虽然这种方式可能要求对被测代码进行更改，但是节省了功能测试和回归测试的时间。 4、覆盖分析工具在进行白盒测试时，可以使用代码覆盖分析工具追踪哪些代码被执行过。分析过程可以通过插装来完成，插装可以是在测试环境中嵌入硬件，也可以是在可执行代码中加入软件，也可以是二者相结合。测试人员对结果数据加以总结，确定哪些代码被执行过，哪些代码被巡漏了。覆盖分析工具一般会提供有关功能覆盖、分支覆盖、条件覆盖的信息。对于嵌入式软件来说，代码覆盖分析工具可能侵入代码的执行，影响实时代码的运行过程。基于硬件的代码覆盖分析工具的侵入程度要小一些，但是价格一般比较昂贵，而且限制被测代码的数量。三、嵌入式软件测试策略 在嵌入式领域目标系统的应用系统日趋复杂，而由于竞争要求产品快速上市，开发技术日新月异，同时硬件发展的日益稳定，而软件故障却日益突出，软件的重要性逐渐引起人们的重视，越来越多的人认识到嵌入式系统的测试势在必行。提到嵌入式软件测试，首先要简单介绍一些软件工程的一些观点，现在，被普遍接受的软件的定义是：软件(software)是计算机系统中与硬件(hardware)相互依存的另一部分，它包括程序(program)、相关数据(data)及其说明文档(document)。其中程序是按照事先设计的功能和性能要求执行的指令序列；数据是是程序能正常操纵信息的数据结构；文档是与程序开发维护和使用有关的各种图文资料。 对于一般商用软件的测试，嵌入式软件测试有其自身的特点和测试困难。由于嵌入式系统的自身特点，如实时性(Real-timing)，内存不丰富，I/O通道少，开发工具昂贵，并且与硬件紧密相关CPU种类繁多，等等。嵌入式软件的开发和测试也就与一般商用软件的开发和测试策略有了很大的不同，可以说嵌入式软件是最难测试的一种软件。嵌入式软件测试使用有效的测试策略是唯一的出路，它可以使开发的效率最大化，避免目标系统的瓶颈，使用在线仿真器节省昂贵的目标资源。自从出现高级语言，开发环境与最终运行环境通常都是存在差异的，嵌入式系统更是如此。开发环境被认为是主机平台，软件运行环境为目标平台。相应的测试为host-target测试或cross-testing。讨论嵌入式软件测试首先就会遇到一个问题：为什么不把所有测试都放在目标上进行呢？因为若所有测试都放在目标平台上有很多不利的因素： 1）测试软件，可能会造成与开发者争夺时间的瓶颈，避免它只有提供更多的目标环境。 2）目标环境可能还不可行。 3）比起主机平台环境，目标环境通常是不精密的和不方便的。 4）提供给开发者的目标环境和联合开发环境通常是很昂贵的。 5）开发和测试工作可能会妨碍目标环境已存在持续的应用 从经济上和开发效率上考虑，软件开发周期中尽可能大的比例在主机系统环境中进行，其中包括测试。 确定host-target测试环境后，开发测试人员又会遇到以下的问题： 1）多少开发人员会卷入测试工作（单元测试，软件集成，系统测试）? 2）多少软件应该测试，测试会花费多长时间？ 3）在主机环境和目标环境有哪些软件工具，价格怎样，适合怎样? 4）多少目标环境可以提供给开发者，什么时候? 5）主机和目标机之间的连接怎样？ 6）被测软件下载到目标机有多快? 7）使用主机与目标环境之间有什么限制（如软件安全标准）? 任何人或组织进行嵌入式软件的测试都应深入考虑以上问题，结合自身实际情况，选定合理测试策略和方案。 对于嵌入式软件测试或叫交叉测试（cross-test），在测试的各个阶段有着通用的策略： 1单元测试 所有单元级测试都可以在主机环境上进行，除非少数情况，特别具体指定了单元测试直接在目标环境进行。最大化在主机环境进行软件测试的比例，通过尽可能小的目标单元访问所有目标指定的界面。 在主机平台上运行测试速度比在目标平台上快的多，当在主机平台完成测试，可以在目标环境上重复作一简单的确认测试，确认测试结果在主机和目标机上没有被他们的不同影响。在目标环境上进行确认测试将确定一些未知的，未预料到的，未说明的主机与目标机的不同。例如，目标编译器可能有bug，但在主机编译器上没有。 2集成测试 软件集成也可在主机环境上完成，在主机平台上模拟目标环境运行，当然在目标环境上重复测试也是必须的，在此级别上的确认测试将确定一些环境上的问题，比如内存定位和分配上的一些错误。在主机环境上的集成测试的使用，依赖于目标系统的具体功能有多少。有些嵌入式系统与目标环境耦合的非常紧密，若在主机环境做集成是不切实际的。一个大型软件的开发可以分几个级别的集成。低级别的软件集成在主机平台上完成有很大优势，越往后的集成越依赖于目标环境。 3系统测试和确认测试 所有的系统测试和确认测试必须在目标环境下执行。当然在主机上开发和执行系统测试，然后移植到目标环境重复执行是很方便的。对目标系统的依赖性会妨碍将主机环境上的系统测试移植到目标系统上，况且只有少数开发者会卷入系统测试，所以有时放弃在主机环境上执行系统测试可能更方便。 确认测试最终的实施舞台必须在目标环境中，系统的确认必须在真实系统之下测试，而不能在主机环境下模拟。这关系到嵌入式软件的最终使用。 包括恢复测试、安全测试、强度测试、性能测试，已超出了软件测试的范畴，本文暂不讨论。 使用有效的cross-test测试策略可极大的提高嵌入式软件开发测试的水平和效率，当然正确的测试工具使用也是必不可少的，总结一下，应用以上测试工具进行.Cross-test时的策略： A)使用测试工具的插装功能（主机环境）执行静态测试分析，并且为动态覆盖测试准备好一插装好的软件代码。 B)使用源码在主机环境执行功能测试，修正软件的错误和测试脚本中的错误。 C)使用插装后的软件代码执行覆盖率测试，添加测试用例或修正软件的错误，保证达到所要求的覆盖率目标。 D)在目标环境下重复（B），确认软件在目标环境中执行测试的正确性。 E)若测试需要达到极端的完整性，最好在目标系统上重复（C），确定软件的覆盖率没有改变。 通常在主机环境执行多数的测试，只是在最终确定测试结果和最后的系统测试才移植到目标环境，这样可以避免发生访问目标系统资源上的瓶颈，也可以减少在昂贵资源如在线仿真器上的费用。另外，若目标系统的硬件由于某种原因而不能使用时，最后的确认测试可以推迟直到目标硬件可用，这为嵌入式软件的开发测试提供了弹性。设计软件的可移植性是成功进行cross-test的先决条件，它通常可以提高软件的质量，并且度软件的维护大有益处。以上所提到的测试工具，都可以通过各自的方式提供测试在主机与目标之间的移植，从而使嵌入式软件的测试得以方便的执行。 使用有效的cross-test测试策略可极大的提高嵌入式软件开发测试的水平和效率，提高嵌入式软件的质量。四、结论嵌入式系统在人类生活中发挥着重要的作用，包括飞行控制器这样的控制系统，以及洗衣机这样的家用电器。日前，嵌入式系统中软件的比重越来越大，也越来越复杂，保证嵌入式软件的可靠性正面临严峻的挑战。大多数软件测试方法都可以直接或间接地用于嵌入式软件的测试，但是由于操作系统的实时和嵌入式特性，嵌入式软件测试也面临一些特殊的问题。虽然日前已经有一些针对嵌入式软件的测试和调试工具，但是在有些方面仍存在不足，包括许多任务操作系统的并发、非侵入式的测试和凋试、嵌入式系统的软件抽象等。对于嵌入式软件测试技术的研究人选测试工具有待开发，仍须要做很多进一步的工作。在嵌入式软件开发过程中，一般来说，花在测试和花在编码的时间比为3:1(实际上可能更多)。这个比例随着你的编程和测试水平的提高而不断下降，但不论怎样，软件测试对一般人来讲很重要。 很多年前，一位开发人员为了对嵌入式有更深层次的理解，向Oracle询问了这样的一个问题:我怎么才能知道并懂得我的系统到底在干些什么呢?Oracle面对这个问题有些吃惊，因为在当时没有人这么问过，而同时代的嵌入式开发人员问的最多的大都围绕“我怎么才能使程序跑的更快”、“什么编译器最好”等肤浅的问题。所以，面对这个不同寻常却异乎成熟的问题，Oracle感到欣喜并认真回复了他:你的问题很有深度很成熟，因为只有不断地去深入理解才有可能不断地提高水平。并且Oracle为了鼓励这位执着的程序员，把10条关于嵌入式软件开发测试的秘诀告诉了他:1.懂得使用工具2.尽早发现内存问题3.深入理解代码优化4.不要让自己大海捞针5.重现并隔离问题6.以退为进7.确定测试的完整性8.提高代码质量意味着节省时间9.发现它，分析它，解决它10.利用初学者的思维这十条秘诀在业界广为流传，使很多人受益。本文围绕这十条秘诀展开论述。一、懂得使用工具通常嵌入式系统对可靠性的要求比较高。嵌入式系统安全性的失效可能会导致灾难性的后果，即使是非安全性系统，由于大批量生产也会导致严重的经济损失。这就要求对嵌入式系统，包括嵌入式软件进行严格的测试、确认和验证。随着越来越多的领域使用软件和微处理器控制各种嵌入式设备，对门益复杂的嵌入式软件进行快速有效的测试愈加显得重要。就象修车需要工具一样，好的程序员应该能够熟练运用各种软件工具。不同的工具，有不同的使用范围，有不同的功能。使用这些工具，你可以看到你的系统在干些什么，它又占用什么资源，它到底和哪些外界的东西打交道。让你郁闷好几天的问题可能通过某个工具就能轻松搞定，可惜你就是不知道。那么为什么那么多的人总是在折腾个半死之后才想到要用测试工具呢?原因很多，主要有两个。一个是害怕，另一个是惰性。害怕是因为加入测试用具或测试模块到代码需要技巧同时有可能引入新的错误，所以他们总喜欢寄希望于通过不断地修改重编译代码来消除bug,结果却无济于事。懒惰是因为他们习惯了使用printf之类的简单测试手段。下面来介绍一些嵌入式常用的测试工具。1.源码级调试器Source-level Debugger 这种调试器一般提供单步或多步调试、断点设置、内存检测、变量查看等功能，是嵌入式调试最根本有效的调试方法。比如VxWorks TornadoII提供的gdb就属于这一种。2.简单实用的打印显示工具printf printf或其它类似的打印显示工具估计是最灵活最简单的调试工具。打印代码执行过程中的各种变量可以让你知道代码执行的情况。但是，printf对正常的代码执行干扰比较大(一般printf占用CPU比较长的时间)，需要慎重使用，最好设置打印开关来控制打印。3.ICE或JTAG调试器In-circuit Emulator ICE是用来仿真CPU核心的设备，它可以在不干扰运算器的正常运行情况下，实时的检测CPU的内部工作情况。像桌面调试软件所提供的:复杂的条件断点、先进的实时跟踪、性能分析和端口分析这些功能，它也都能提供。ICE一般都有一个比较特殊的CPU，称为外合(bond-out)CPU。这是一种被打开了封装的CPU，并且通过特殊的连接，可以访问到CPU的内部信号，而这些信号，在CPU被封装时，是没法“看到”的。当和工作站上强大的调试软件联合使用时，ICE就能提供你所能找到的最全面的调试功能。但ICE同样有一些缺点:昂贵;不能全速工作;同样，并不是所有的CPU都可以作为外合CPU的，从另一个角度说，这些外合CPU也不大可能及时的被新出的CPU所更换。JTAG(Joint Test Action Group)虽然它最初开发出来是为了监测IC和电路连接，但是这种串行接口扩展了用途，包括对调试的支持。AD公司为Blackfin设计的Visual Dsp+就支持高速的JTAG调试。4.ROM监视器ROM Monitor ROM监控器是一小程序，驻留在嵌入系统ROM中，通过串行的或网络的连接和运行在工作站上的调试软件通信。这是一种便宜的方式，当然也是最低端的技术。它除了要求一个通信端口和少量的内存空间外，不需要其它任何专门的硬件。并提供了如下功能:下载代码、运行控制、断点、单步步进、以及观察、修改寄存器和内存。因为ROM监控器是操作软件的一部分，只有当你的应用程序运行时，它才会工作。如果你想检查CPU和应用程序的状态，你就必须停下应用程序，再次进入ROM监控器。5.Data监视器Data Monitor 这种监视器在不停止CPU运行的情况下不仅可以显示指定变量内容，还可以收集并以图形形式显示各个变量的变化过程。6.OS监视器Operating System Monitor 操作系统监视器可以显示诸如任务切换、信号量收发、中断等事件。一方面，这些监视器能够为你呈现事件之间的关系和时间联系;另一方面，还可以提供对信号量优先级反转、死锁和中断延时等问题的诊断。7.性能分析工具Profiler 可以用来测试CPU到底耗在那里。profiler工具可以让你知道系统的瓶颈在那里、CPU的使用率以及需要优化的地方。8.内存测试工具Memory Teseter 可以找到内存使用的问题所在，比如内存泄露、内存碎片、内存崩溃等问题。如果发现系统出现一些不可预知的或间歇性的问题，就应该使用内存测试工具测测看。9.运行跟踪器Execution Tracer 可以显示CPU执行了哪些函数、谁在调用、参数是什么、何时调用等情况。这种工具主要用于测试代码逻辑，可以在大量的事件中发现异常的那些。10.覆盖工具Coverage Tester 主要显示CPU具体执行了那些代码，并让你知道那些代码分支没有被执行到。这样有助于提高代码质量并消除无用代码。11.GUI测试工具GUI Tester 很多嵌入式应用带有某种形式的图形用户界面进行交互，有些系统性能测试足根掘用户输入响应时间进行的。GUI测试工具可以作为脚本工具有开发环境中运行测试用例，其功能包括对操作的记录和回放、抓取屏幕显示供以后分析和比较、设置和管理测试过程(Rational公司的robot和Mercury的Loadrunner工具是杰出的代表)。很多嵌入式设备没有GUI，但常常可以对嵌入式设备进行插装来运行GUI测试脚本，虽然这种方式可能要求对被测代码进行更改，但是节省了功能测试和回归测试的时间。12.自制工具Home-made tester 在嵌入式应用中，有时候为了特定的目的，需要自行编写一些工具来达到某种测试目的。本人曾经编写的视频流录显工具在测试视频会议数据流向和变化上帮了大忙,帮公司找到了几个隐藏很深的bug。二、尽早发现内存问题内存问题危害很大，不容易排查，主要有三种类型:内存泄露、内存碎片和内存崩溃。对于内存问题态度必须要明确，那就是早发现早“治疗”。在软件设计中，内存泄露的“名气”最大，主要由于不断分配的内存无法及时地被释放，久而久之，系统的内存耗尽。即使细心的编程老手有时后也会遭遇内存泄露问题。有测试过内存泄露的朋友估计都有深刻地体验，那就是内存泄露问题一般隐藏很深，很难通过代码阅读来发现。有些内存泄露甚至可能出现在库当中。有可能这本身是库中的bug，也有可能是因为程序员没有正确理解它们的接口说明文档造成错用。在很多时候，大多数的内存泄露问题无法探测，但可能表现为随机的故障。程序员们往往会把这种现象怪罪于硬件问题。如果用户对系统稳定性不是很高，那么重启系统问题也不大;但，如果用户对系统稳定很高，那么这种故障就有可能使用户对产品失去信心，同时也意味着你的项目是个失败的项目。由于内存泄露危害巨大，现在已经有许多工具来解决这个问题。这些工具通过查找没有引用或重复使用的代码块、垃圾内存收集、库跟踪等技术来发现内存泄露的问题。每个工具都有利有弊，不过总的来说，用要比不用好。总之，负责的开发人员应该去测试内存泄露的问题，做到防患于未然。 内存碎片比内存泄露隐藏还要深。随着内存的不断分配并释放，大块内存不断分解为小块内存，从而形成碎片，久而久之，当需要申请大块内存是，有可能就会失败。如果系统内存够大，那么坚持的时间会长一些，但最终还是逃不出分配失败的厄运。在使用动态分配的系统中，内存碎片经常发生。目前，解决这个问题最效的方法就是使用工具通过显示系统中内存的使用情况来发现谁是导致内存碎片的罪魁祸首，然后改进相应的部分。由于动态内存管理的种种问题，在嵌入式应用中，很多公司干脆就禁用malloc/free的以绝后患。内存崩溃是内存使用最严重的结果，主要原因有数组访问越界、写已经释放的内存、指针计算错误、访问堆栈地址越界等等。这种内存崩溃造成系统故障是随机的，而且很难查找，目前提供用于排查的工具也很少。总之，如果要使用内存管理单元的话，必须要小心，并严格遵守它们的使用规则，比如谁分配谁释放。三、深入理解代码优化讲到系统稳定性，人们更多地会想到实时性和速度，因为代码效率对嵌入式系统来说太重要了。知道怎么优化代码是每个嵌入式软件开发人员必须具备的技能。就象女孩子减肥一样，起码知道她哪个地方最需要减，才能去购买减肥药或器材来减掉它。可见，代码优化的前提是找到真正需要优化的地方，然后对症下药，优化相应部分的代码。前面提到的profile(性能分析工具，一些功能齐全IDE都提供这种内置的工具)能够记录各种情况比如各个任务的CPU占用率、各个任务的优先级是否分配妥当、某个数据被拷贝了多少次、访问磁盘多少次、是否调用了网络收发的程序、测试代码是否已经关闭等等。但是，profile工具在分析实时系统性能方面还是有不够的地方。一方面，人们使用profile工具往往是在系统出现问题即CPU耗尽之后，而profile工具本身对CPU占用较大，所以profile对这种情况很可能不起作用。根据Heisenberg效应，任何测试手段或多或少都会改变系统运行，这个对profiler同样适用!总之，提高运行效率的前提是你必须要知道CPU到底干了些什么干的怎么样。四、不要让自己大海捞针大海捞针只是对调试的一种生动比喻。经常听到组里有人对自己正在调试的代码说shit!可以理解，因为代码不是他写的，他有足够的理由去shit bug百出的代码，只要他自己不要写出这种代码，否则有一天同组的其它人可能同样会shit他写的代码。为何会有大海捞针呢?肯定是有人把针掉到海里咯;那针为何会掉在海里呢?肯定是有人不小心或草率呗。所以当你在抱怨针那么难找的时候，你是否想过是你自己草率地丢掉的。同样，当你调试个半死的时候，你是否想过你要好好反省一下当初为了寻求捷径可能没有严格地遵守好的编码设计规范、没有检测一些假设条件或算法的正确性、没有将一些可能存在问题的代码打上记号呢?关于如何写高质量请参考林锐的高质量c+/c编程指南或关于C的0x8本“经书”。如果你确实已经把针掉在海里是，为了防止在找到之前刺到自己，你必须要做一些防范工作，比如戴上安全手套。同样，为了尽能地暴露和捕捉问题根源，我们可以设计比较全面的错误跟踪代码。怎么来做呢?尽可能对每个函数调用失败作出处理，尽可能检测每个参数输入输出的有效性包括指针以及检测是否过多或过少地调用某个过程。错误跟踪能够让你知道你大概把针掉在哪个位置。五、重现并隔离问题如果你不是把针掉在大海了，而是掉在草堆里，那要好办写。因为至少我们可以把草堆分成很多块，一块一块的找。对于模块独立的大型项目，使用隔离方法往往是对付那些隐藏极深bug的最后方法。如果问题的出现是间歇性的,我们有必要设法去重现它并记录使其重现的整个过程以备在下一次可以利用这些条件去重现问题。如果你确信可以使用记录的那些条件去重现问题，那么我们就可以着手去隔离问题。怎么隔离呢?我们可以用#ifdef把一些可能和问题无关的代码关闭，把系统最小化到仍能够重现问题的地步。如果还是无法定位问题所在，那么有必要打开“工具箱”了。可以试着用ICE或数据监视器去查看某个可疑变量的变化;可以使用跟踪工具获得函数调用的情况包括参数的传递;检查内存是否崩溃以及堆栈溢出的问题。六、以退为进猎人为了不使自己在森林里迷路，他常常会在树木上流下一些标记，以备自己将来有一天迷路时可以根据这些标记找到出路。对过去代码的修改进行跟踪记录对将来出现问题之后的调试很有帮助。假如有一天，你最近一次修改的程序跑了很久之后忽然死掉了，那么你这时的第一反映就是我到底改动了些什么呢，因为上次修改之前是好的。那么如何检测这次相对于上次的修改呢?没错，代码控制系统SCS或称版本控制系统VCS(Concurrent Version Control,CVS是VCS的演化版本)。将上个版本check in下来后和当前测试版本比较。比较的工具可以是SCS/VCS/CVS自带的diff工具或其它功能更强的比较工具，比如BeyondCompare和ExamDiff。通过比较，记录所有改动的代码，分析所有可能导致问题的可疑代码。七、确定测试的完整性你怎么知道你的测试有多全面呢?覆盖测试(coverage testing)可以回答这个问题。覆盖测试工具可以告诉你CPU到底执行了那些代码。好的覆盖工具通常可以告诉你大概20%到40%代码没有问题，而其余的可能存在bug。覆盖工具有不同的测试级别，用户可以根据自己的需要选择某个级别。即使你很确信你的单元测试已经很全面并且没有dead code,覆盖工具还是可以为你指出一些潜在的问题，看下面的代码:if (i = 0 & (almostAlwaysZero = 0 | (last = i)如果almostAlwaysZero为非0,那么last=i赋值语句就被跳过，这可能不是你所期望的。这种问题通过覆盖工具的条件测试功能可以轻松的被发现。总之，覆盖测试对于提高代码质量很有帮助。八、提高代码质量意味着节省时间有研究表明软件开发的时间超过80%被用在下面几个方面:1.调试自己的代码(单元测试)2.调试自己和其他相关的代码(模块间测试)3.调试整个系统(系统测试)更糟糕的是你可能需要花费10-200倍的时间来找一个bug,而这个bug在开始的时候可能很容易就能找到。一个小bug可能让你付出巨大的代价，即使这个bug对整个系统的性能没有太大的影响，但很可能会影响让那些你可以看得到的部分。所以我们必须要养成良好的编码和测试手段以求更高的代码质量，以便缩短调试的代码。九、发现它，分析它，解决它这世界没有万能的膏药。profile再强大也有力不从心的时候;内存监视器再好，也有无法发现的时候;覆盖工具再好用，也有不能覆盖的地方。一些隐藏很深的问题即使用尽所有工具也有可能无法查到其根源，这时我们能做的就是通过这些问题所表现出来的外在现象或一些数据输出来发现其中的规律或异常。一旦发现任何异常，一定要深入地理解并回溯其根源，直到解决为止。十、利用初学者的思维有人这样说过:“有些事情在初学者的脑子里可能有各种各样的情况，可在专家的头脑里可能就很单一”。有时候，有些简单的问题会被想的很复杂，有些简单的系统别设计的很复杂，就是由于你的“专家思维”。当你被问题难住时，关掉电脑，出去走走，把你的问题和你的朋友甚至你的小狗说说，或许他们可以给你意想不到的启发。总结:嵌入式调试也是一门艺术。就想其它的艺术一样，如果你想取得成功，你必须具备智慧、经验并懂得使用工具。只要我们能够很好地领悟Oracle这十条秘诀，我相信我们在嵌入式测试方面就能够取得成功。基于模块化设计的嵌入式软件测试方法 摘要：分析嵌入式软件的特点，综述传统的软件测试方法；针对嵌入式软件的特点，提出嵌入式软件的四级测试流程和集成测试的测试模型，并结合开发数控系统的实例进行分析。 关键词：模块化设计嵌入式软件软件测试测试方法测试模型数控系统 嵌入式设计已经成为工业现代化、智能化的必经之路，嵌入式产品已经深入到各行各业。嵌入式系统的专用程度较高，系统的整体继承性相对较小，为了保证系统的稳定性，软件的测试成为嵌入式开发的一个重要环节。由于嵌入式软件自身的特点，传统的软件测试理论不能直接用于嵌入式软件的测试，因此，研究嵌入式软件的测试有重要意义。1 基本概念简述1.1 模块化设计 软件的设计是以一定的方法为基础的。面对越来越复杂的软件开发任务，人们提出了各种软件设计的模型。从用户需求和系统要实现的任务功能出发，把大型的软件划分为相对较小的模块。为了减少模块与模块之间的关联性，模块之间的逻辑结构相对独立，无函数的交叉调用，数据传递由全局变量完成，这就是模块化设计的基本思想。模块化设计的核心是模块的独立性，主要包括功能独立性和结构独立性，这使得软件开发的分工易于实现。软件测试是软件开发中的关键环节，基于模块化设计的软件测试模型简单，查错和纠错都易于实现。下面以单链路数据传递的软件模型说明模块化软件设计的软件测试的基本原则。 在图中，函数（）定义为软件模块到软件模块的接口函数，用来通过终端显示由模块进入模块的数据。如果模块执行后发生错误，则由模块和模块的数据接口函数（）判断是否是模块出来的数据就是错误的。如果（）不错，则证明模块存在错误；如果（）传递数据错误，再察看（）传出的数据是否错误，如果不错则证明模块存在错误。用此依次前推孤立错误的方法，即可以很容易地定位错误所在的模块。这就是模块化设计时软件测试的基本原则。1.2 嵌入式系统 嵌入式系统开发有其自身的特点。一般先进行硬件部分的开发，主要包括形成裸机平台，根据需要移植实时操作系统，开发底层的硬件驱动程序等。硬件平台测试通过后，应该软件的开发调试是基于该硬件平台进行的，这同时也是对硬件平台的一个测试。整个嵌入式系统开发流程如图所示。 因此可以说，嵌入式系统的开发过程是一个软硬件互相协调，互相反馈和互相测试的过程。一般来说，在嵌入式系统软件中，底层驱动程序、操作系统和应用程序的界线是不清晰的，根据需要甚至混编在一起。这主要是由于嵌入式系统中软件对硬件的依赖性造成的。嵌入式软件对硬件的依赖性要求，软件测试时必须最大限度地模拟被测软件的实际运行环境，以保证测试的可靠性。底层程序和应用程序界限的不清晰增加了测试时的难度，测试时只有确认嵌入式系统平台及底层程序正确的情况下才能进行应用程序的测试，而且在系统测试时，错误的定位较为困难。软件的专用性也是嵌入式软件的一个重要特点。由于嵌入式软件设计是以一定的目标硬件平台为基础的、面向固定的任务进行的，因此，一旦被加载到目标系统上，功能必须完全确定。这个特点决定了嵌入式应用软件的继承性较差，延长的系统的测试时间，增加了测试费用。嵌入式软件的另外一个重要特点就是实时性。这是从软件的执行角度出发说明的，也就是说嵌入式软件的执行要满足一定的时间约束。嵌入式系统中，应用软件自身算法的复杂度和操作系统任务调度，决定了系统资源的分配和消耗，因此，对系统实时性进行测试时，要借助一定的测试工具对应用程序算法复杂度和操作系统任务调度进行分析测试。可见嵌入式软件与传统的面向对象和面向过程的软件相比有其自身的特点。针对这些特点对嵌入式软件的测试进行研究是必要的，有意义的。1.3 嵌入式软件测试 软件测试是从经济、效率的角度出发，对软件代码进行质量、正确性保证的一个过程。软件测试是软件开发中的一个重要环节，也是软件从开发过程到应用过程的关键一环。嵌入式软件也不例外，图给出了嵌入式软件测试的统一测试模型。软件测试逐渐成为一门成熟的学科，前人针对面向对象和面向过程的非实时软件的测试作了大量的研究，其中大部分方法可以用到嵌入式软件的测试。 根据不同的指标，软件测试方法有不同的划分方法。从软件开发过程中测试所处的不同阶段可分为模块测试、集成测试和系统测试。根据是否需要运行目标代码分为动态测试和静态测试；根据目标代码的可见性可分为白盒测试（结构测试）和黑盒测试（功能测试）。在软件的测试中，每种测试方法都不是孤立的。为了最经济最有效地达到测试的目的，各种测试方法往往是互相嵌套的。例如，在软件的单元测试阶段，可以用黑盒测试和白盒测试的方法分别进行动态测试。 值得一提的是，近年来软件测试中，测试代码的覆盖率逐渐成为软件测试的统一标准，因此不管采用何种测试方法，尽可能地提高软件测试中的代码覆盖率是必需的。软件测试代码覆盖率是基于白盒测试方法的，因此，为了提高软件测试的代码覆盖率，测试人员必须清楚源代码的结构，拥有程序设计文档，以便设计测试用例使测试尽可能地覆盖程序内部结构的每条语句，提高代码的覆盖率。2 基于模块化设计的嵌入式软件四级测试流程 根据嵌入式系统的开发流程，为了最经济地实现系统的功能，采用自顶向下、层层推进的方法对嵌入式系统进行测试，提出了如图所示的基于模块化设计的嵌入式软件四级测试流程。在四级测试中，本测试阶段以前的测试完成后，当发现错误时，可排队此测试阶段以前的错误，在本测试阶段内查找错误。这并不是一个绝对准确的方法，但最大限度地节了错误定位的时间。2.1 系统平台测试 这部分包括硬件电路测试、操作系统及底层驱动程序的测试等。硬件电路的测试需要用专门的测试工具进行测试。这里不再多述。操作系统和底层驱动程序的测试主要包括测试操作系统的任务调度、实时性能、通信端口的数据传输率。该阶段测试完成后，系统应为一个完整的嵌入式系统平台，用户只需添加应用程序即可完成特定的任务。2.2 模块测试 把大型的嵌入式软件系统划分为若干个相对较小的任务模块，由不同的程序员分别同时对其进行编码。编码完成后，把各个模块集成起来前，必须对单个模块进行测试。由于没有其它数据模块进行数据传递的支持，该阶段测试一段是在宿主机上进行的（宿主机有丰富的资源和方便的调试环境）。此阶段主要是进行白盒测试，尽可能地测试每一个函数、每一个条件分支、每一个程序语句，提高代码测试的覆盖率。由于只有单个模块正确才有整体集成的必要性，因此，单个模块测试时测试一定要充分、完整。模块测试阶段，测试用例的构造不但要测试系统正常的运行情况，还要进行边界测试。边界测试就是进行某一数据变量的最大值和最小值的测试，同时进行越界测试，即输入不该输入的数据变量测试系统的运行情况。理想的嵌入式系统是不应该由用户的信息交互导致死机的，这也是嵌入式设计的一个基本要求。因此，不论进行何种测试，系统死机都该被作为测试错误处理。在模块测试阶段，由模块化编程的基本思想，根据模块内部的紧凑程序，也可以把大的模块划分成小的模块。在程序内部，小模块之间数据传递的入口设计接口函数，用于快速地定位错误。用此模块嵌套的思想进行软件测试，需要模块内部结构清晰，数据链路简单。2.3 集成测试 单个软件模块测试正确之后，将所有模块集成起来进行测试。本阶段主要是找出各模块之间数据传递和系统组成后的逻辑结构的错误。在宿主机上采用黑盒与白盒相结合的方法进行测试，要最大限度地模拟实际运行环境，可以屏蔽掉一些不影响系统执行的和数据传递的难以模拟的函数。集成测试是模块化设计软件的测试优点充分体现的阶段。集成测试前，应该由程序员根据模块之间的数据的输入输出编写模块接口函数，这需要负责不同软件模块的程序员共同协调完成，然后将模块接口函数集成到接收数据模块的入口处。由前面的分析可知，单链路数据传递的软件模块集成测试时容易定位错误所在的软件模块。一个软件模块的数据不一定只有另外一个模块提供，即软件模块的数据链路不一定只是单链路的，测试时可以把复杂链路结构的数据传递划分为单链路结构数据传送进行错误定位。修改输出数据的软件模块时，可能导致输入数据的软件模块引入新的错误，因此在这里引入关联矩阵确定修改某一模块后需要重要测试的模块。 假定模块化设计的嵌入式系统软件由软件模块i(i=1,2,，m,n)组成，m表示矩阵的行号，n表示矩阵的列号。图所示的矩阵即为其关联矩阵。 在关联矩阵中，Aij=1表示Aj接受了Ai输出的数据，故修改了Ai重新测试Ai的同时也需重新测试Aj。 集成测试是在拥有程序设计文档、程序结构和数据结构时，对软件模块在集成中出现的错误进行测试。集成测试时，根据模块接口函数定位错误修改代码，根据关联矩阵确定重新测试的软件模块。图给出了模块化设计的嵌入式软件集成测试模型。2.4 系统测试 集成测试完成后，退出宿主机测试环境，把系统移植到目标机上来，完成应用到现场环境中，从用户的角度对系统进行黑盒测试，验证每一项具体的功能。由于测试者对程序内容程序执行情况一无所知，因此本测试阶段的错误定位比较困难。系统测试阶段应该进行意外测试和破坏性测试，即测试系统正常执行情况下不该发生的激发活动和人为的破坏性的测试，进一步验证系统性能。系统测试阶段不应该确定错误后立即修改代码，应根据一定的错误发生频率，确定测试周期，在每个测试周期结束时修改代码，进行反复测试；否则，不但增加了完全测试的任务量，而且降低了测试的可信度。2.5 测试结果分析 测试结果的分析可以定位错误，指导程序员修改代码，同时指出测试进行的程序并进一步指明测试方向。测试结果的分析是一个由测试结果和测试预得结果进行分析、比较和定位错误的过程。测试结果的分析是一次测试的最后环节，分析时应该考虑软件的运行环境和实际运行环境的差异以及各种外界因素的影响等。2.6 测试用例的构造与管理 测试用例是为了测试目标程序设计的包括输入项和预得结果的一种文件，根据测试环境和测试目标程序的不同，可分为某种格式的文档或某种输入行为（如一次按键）等。测试用例的构造要尽可能覆盖所有可能的取值范围，使测试尽可能地覆盖所有程序代码，提高代码的测试覆盖率，同时又不作多余、重复和无意义的测试。在嵌入式软件测试的不同阶段，要构造不同的测试用例；在系统平台测试阶段，要构造针对系统任务调度、实时性能和底层驱动程序的测试用例；在模块测试阶段，应构造针对某一模块进行测试的测试用例；在集成测试阶段，针对系统集成时数据传递、结构斜接的问题构造相应的测试用例；在系统测试阶段，要构造针对某项功能的或多项功能结合在一起的测试用例，或使用已经在同类产品上已经验证正确的测试用例。测试用例是可复用的。此外大型的软件开发过程中，测试用例的种类繁多，应该按一定的方法进行管理。用数据库的来管理测试用例是一个很好的选择。根据测试阶段将测试用例进行划分，然后用关键字唯一确定。这样在使用、修改和保存测试用例时都很方便，直接用查询的方式就可以调出测试用例。3 数控系统软件测试 本数控系统采用处理器，操作系统采用实时操作系统，是一个典型的嵌入式系统。由于数控系统较为复杂，开发过程中将任务进行了详细的划分，软件的开发采用模块化开发。模块的划分及数据流向如图所示。 根据图所示的软件模块和数据流向可构造关联矩阵，如图所示。 开发过程中，几个模块由不同的程序员分别进行编码，分别由程序员进行模块测试，并按白盒测试的方法进行覆盖测试。最后集成测试前，根据关联矩阵，程序员协作编写了模块接口函数（A1-A2）、（）、（）、（）、（）、（）、（）、（）、（），然后根据图所示的测试模型和图所示的关联矩阵对系统进行了集成测试。分析可知，一些关键模块，如译码模块和刀补模块的测试代码覆盖率达到之上。图所示的整个系统经过系统测试之后性能稳定，图为其加工的零件，目前该系统已经小批量生产。4 结论 文章对嵌入式软件的特点和传统的测试方法作了分析之后，提出了四级测试流程和集成测试的模型。此测试方法用于工程机械控制器和数控系统开发的测试。测试的效率和可靠性满足要求。文中的单链路数据传递的错误定位、模块接口函数、关联矩阵等方法也可以用于面向对象的和面向对象的软件系统。嵌入式