全志芯片tinatest使用说明

1、,全志科Copyright2019Allwinners.版本日制/修订,全志科Copyright2019Allwinners.版本日制/修订内容描目1. 概述 11.1编写目. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2适用范.目1. 概述 11.1编写目. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2适用范. . . . . .

2、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3相. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.TinaTest简. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.1简介 . . . . . . . . . . . . . . .

3、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22.2使能. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.3.1测试说明文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4、. . . . . .33. TinaTest的使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43.1配置树简述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43.2TinaTest命令说明. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5、 .53.2.1命令说明. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53.2.2示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53.2.2.1显示配置文件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53.2.2.2 执行单个测试用. . .

6、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.2.2.3 执行一类测试用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83.2.2.4 执行多类测试用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. TinaTest配置说明. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7、 . . . . . . . . . . .4.1修改配置项 ,i全 科Copyright2019Allwinners.4.1.1直接修改配置文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.1.1配置格式简述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.1.2配置项配置值类型 . . . . . . . . . . . . . . . . . . . . . . . . . . .

8、 . . . . . . .4.1.1.3示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.1直接修改配置文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.1.1配置格式简述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.1.2配置项配置值类型 . . . . . . . . .

9、. . . . . . . . . . . . . . . . . . . . . . . . .4.1.1.3示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.2通config修改配置项. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.2.1示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10、 . . . 4.2配置项说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.2.1配置项分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.2.2配置项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.2.2局部信. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.2.4全局信. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12、. . . . . 5. 测试用例. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1 测试用例分. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.1一级分. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.2多级分.

13、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.1添加测试用例源码（可选） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.2基于C/C+的. . . . . . . . . . . . . . . . . . . . . . .

14、. . . . . . . . . . . . 5.2.2.1json相关的API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.2.2交互API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .,全 科Copyright2019Allwinners.5.2.2.3其余API . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15、. . . . . . . . . . .5.2.3基于的. . . . . . . . . . . . . . . . . . . . . . 5.2.2.3其余API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.3基于的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.3.1json相关的API . . . . . . . . . . . . . . . . . . .

16、 . . . . . . . . . . . . . . .5.2.3.2交互API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.4 测试用例属性文件（private.conf）及快/注销测试用例 . . . . . . . . . . . .5.2.4.1add_testcase.sh使用说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.4.2del_testcase.sh使用说明 .

17、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.5测试用例源码自编译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.5.1 源码中有. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.5.2 源码中无. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

18、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ,全 科Copyright2019Allwinners.1. 概1.1 本文档主要介绍全志科Tina Linux SDK 的测TinaTest，1. 概1.1 本文档主要介绍全志科Tina Linux SDK 的测TinaTest，包括TinaTest 的使用的差异性配置，TinaTest 测试用例分类，TinaTest 如何添加测试用例等1.2 TinaLinuxSDKV2.5之后的版本1.3 TinaLinu

19、x的开发、测。,1全志科Copyright2019Allwinners.2. TinaTest简2.1 开发的一套用Tina Linux SDK 的测。TinaTest 集成Tina SDK 的2. TinaTest简2.1 开发的一套用Tina Linux SDK 的测。TinaTest 集成Tina SDK 的几乎所有的测试用例，集成多个输出插件以适应各种测试环境，并对外提供许高度自定义的配置方法且2.2 包$TestTools 2.3 TinaTest 目录结TinaTest的目录位于目录结构如下. config ：TinaTest的kconfig相关文 doc ：TinaTest框架及

20、其测试用例的说明文src ：TinaTest的源testcase ：测试用例的集 tools ：常用的工具集合，包括快/注销测试用例,2全 科Copyright2019Allwinners.2.3.1 测试说明文TinaTest 的测试用例说明文档目录位于其目录2.3.1 测试说明文TinaTest 的测试用例说明文档目录位于其目录结构如下. base ：TinaTest的功能测试说明文 stress ：TinaTest的压力测试说明文 spec ：TinaTest的性能测试说明文说明文档首先按功能分类，分为功能测试、性能测试、压力测试。在功能之下再按模块进行分类例如CPU、显示、电源等等。通

21、过查看对应功能和模块的文档，能够详细了解如何利用进行相应的测试,3全 科Copyright2019Allwinners.3. TinaTest的使3.1 TinaTest 的配置文件以json 的格，在设备端的路径在编译 PC 中会3. TinaTest的使3.1 TinaTest 的配置文件以json 的格，在设备端的路径在编译 PC 中会根据配置动态生成配置文件，临时文件保存在tina/out/ 4.2.2.2 局部信配置类说用例开始执行日期和结束日期 (时间用例使用资源情实时显示测试用例的 log(默认会收集log，并在用例结束显示4.2.2.3 局部限配置类说重定向文件为用例的标准输入

22、(优先级stdin 4.2.2.2 局部信配置类说用例开始执行日期和结束日期 (时间用例使用资源情实时显示测试用例的 log(默认会收集log，并在用例结束显示4.2.2.3 局部限配置类说测试用例循环执行次数(小于0 无效用例单独执并行执行(同时执行run_times 个用例有可能重启(非易失地保存用例数据单次执行用例执行时长限制，格式：秒分时天。例如：0002（2天）当测试用例超时，是否判断为 行失败，格式当测试用例有一次执行就退4.2.2.4 全局信插子配置类说无在命令行终端显示测试信设备端以markdown格式保存测试信息的路径等待PC 和小机端连接后，再执行当测试完成时退,全 科Co

23、pyright2019Allwinners.插子配置类说mtime 全局信息配置项-outlog 信间插子配置类说mtime 全局信息配置项-outlog 信间结果以rrd 数据格式输出的目结果以csv数以绝对值形以百分比形数数忽略匹配项(ignore)or 选择匹配项(select) df - 匹配的设备名, ALL 表示所有df - 匹配的挂载点, ALL 表示所有 df - 匹配的文件系统, ALL 表示所有忽略匹配项(ignore)or 选择匹配项(select) disk - 支持正则表达的设备名统计的文件匹配文件名(支持通 参考find命令匹配文件大小(参考find 命令匹配文件修

24、 时间(参考find命令一次的时间间隔(=0 无效一次的超时时一次的ttl 上限(0-,全科Copyright2019Allwinners.5. 测试用5.1 5.1.1 一级分分说节点路基本功能测试，其中/base/production 为量产测试用例5. 测试用5.1 5.1.1 一级分分说节点路基本功能测试，其中/base/production 为量产测试用例性能相关的测压力老化测配置文tinatest.json 面，配置文件结构类config 配置界面都按分类归类，配置界面参考：tinatest 1级/ base:demo:spec:stress:5.1.2 多级分允许添加多级分类，例

25、如量产测试用例/base/production/udisktester 的一级分类是 base，二级分是 production，配置文件结构类似,全 科Copyright2019Allwinners./: : production: demo: : : 5.2测试用例的源/: : production: demo: : : 5.2测试用例的源码路径为目录结构与测试用例路径（见 3.1 配置树简述）呈现一一对应关系，目录结构如下.sa demo- demo-TinaTestC/C+ 格式的测试用例，支持 C/C+ 源码的自动编译，同时提供快速,全 科Copyright2019Allwinners

26、.册/注销测试用例工具。添加测试用例有 3 个步骤1添加源码（可选2添加测试用例属性文册/注销测试用例工具。添加测试用例有 3 个步骤1添加源码（可选2添加测试用例属性文3调用快工5.2.1 添加测试用例源码（可选1. 测试用例源码支持C/C+ 格式2.TinaTest 以测试用例的返回值作测试不通过的判定，当返回值为 0，表示测试通过，反之，表3. 当测试仅仅是一句命令无须其他源码时，则可不添加源码。以/stress/reboot 为例测试只需一行命令rootTinaLinux:/#echo=rebootnow=&reboot-此时不需要添加源码，只需要在测试用例属性文件（见测试用例属性文件

27、（private.conf）及快/注销测试用例）中的设d=echo=Goingtoreboot=;reboot-4. 对复杂的测试用例，必须添加测试源码时，测试用例源码的路径必须与测试用例路径匹配测试用例路径 /base/production/udisktester 为例，其源码必须保存在对应路径文件夹中5.TinaTest 为测试用例提供了部分 API，用于获取配置文件信息和系统信息。获取配置文件tinatest.json 的配置值：一般在定义了私有配置项时，获取私有配置项的值来控制测试用例的执行流（见测试用例属性文件（private.conf）及快案，启动介质等/注销测试用例。获取系统信息

28、：获取内核版本，,全 科Copyright2019Allwinners.5.2.2 基于C/C+ 5.2.2.1 json 相关的structmjson_valuemjson_fetch(constchar函数原功能描注意事keypath:测试用例路失败则mjson_value.type获取任意类型配置项的务必检查mjson_value.type, 当为mjson_type_error 时, 此结构体无效, 使用5.2.2 基于C/C+ 5.2.2.1 json 相关的structmjson_valuemjson_fetch(constchar函数原功能描注意事keypath:测试用例路失败则

29、mjson_value.type获取任意类型配置项的务必检查mjson_value.type, 当为mjson_type_error 时, 此结构体无效, 使用会导致段错:函数原(constcharkeypath:测试用例路成功返回相应的值, 失败返回-返回说功能描获型配置项的:(co stchar函数原参数说明 keypath: 测试用例路返回说明 成功返回true/false(1/0),失败返回-功能描述 获取bool型配置项的函数原doublemjson_fetch_double(constchar返回说功能描keypath:测试用例路成功返回相应的值, 失败返回-获取double 型配

30、置项的,全 科Copyright2019Allwinners.函数原型 doublemjson_fetch_double(constchar函数原char*mjson_fetch_string(constcharkeypath:测试用例路成功返回相应的字符串指针, 失败返回 获取字符串型配置项的功能描注意事务必检查返回, 段错误。指针内存不需要(不能函数原型 doublemjson_fetch_double(constchar函数原char*mjson_fetch_string(constcharkeypath:测试用例路成功返回相应的字符串指针, 失败返回 获取字符串型配置项的功能描注意事务

31、必检查返回, 段错误。指针内存不需要(不能函数原char*mjson_fetch_array(constchar功能描注意事keypath:测试用例路成功返回相应的二维字符串指针, 失败返回 获取字符串数组型配置项的务必检查返回, 否段错误，第一个字符串为字符串个数(不算第一个字符串)。字符串示例: 函数获取有效字符串个数，指针内存不需要 (不能) 放5.2.2.2 交互使用前提：测试用例需包含头文#include函数原task(constcharask,char参数说明 ask：该测试用例向用问题eg1: ask=PleaseentertheWiFireply：指向一块内存空间，用于存放用户

32、输入的回,全 科Copyright2019Allwinners.函数原task(constcharask,char：成功 -：发送失败该测试用例向用户提出问题（ask，并获取用户的回答串口：函数原task(constcharask,char：成功 -：发送失败该测试用例向用户提出问题（ask，并获取用户的回答串口：打印提示信返回说交互形DragonMAT：弹框，用户输入数据后，点击提函数原ttips(constchar功能描交互形：成功 -：发送失败DragonMAT：DragonMAT 界面中，该测试用例对应区域显示 tips 字符ttrue(constchar函数原参数说tips：该测试用

33、例向用问eg1: tips=Couldyouseethiseg2: tips=Couldyousoundthemusic返回说交互形：用户选择 是：用户选择 否-：发送失该测试用例向用户提问，用户根据问题，选择（是否串口：打印提示信息DragonMAT：该测试用例对应区域显示 tips 字符串，并出现是和否按钮，让用户点击选函数原tupfile(constcharfilepath,constchartips：该测试用例向用户提示的信：成功 -：失参数说返回说,全 科Copyright2019Allwinners.函数原tupfile(constcharfilepath,constchar功能描

34、交互形将设备端的文件上传到 PC 端。PC 端文件保存目录串口：暂不支持该接: 函数原tupfile(constcharfilepath,constchar功能描交互形将设备端的文件上传到 PC 端。PC 端文件保存目录串口：暂不支持该接: /result_dir/0/目函数原tshowing(constcharfilepath,constcharfilepath：设备端要上传tips：该测试用例向用参数说路问功能描交互形：用户选择 是：用户选择 否-：发送失到PC 端，PC 端显示并询问用户tips 问题（比如：是否清晰正确显示信息 文件上传: filename，上自动显PC /result

35、_dir/0/目3. 询问用户，且出现是和否按钮，用户点击选5.2.2.3 其余:char函数原功能描注意事无务必检查返回是否为 NULL，指针内存由测试用，否则造成内:char函数原参数说无,全 科Copyright2019Allwinners.函数原char功能描注意事成功返回有效字符串，失败返回 获取方案代号务必检查返回是否为 NULL，指针内存由测试用，否则 成内函数原char功能描注意事无成功返回有效字符串，函数原char功能描注意事成功返回有效字符串，失败返回 获取方案代号务必检查返回是否为 NULL，指针内存由测试用，否则 成内函数原char功能描注意事无成功返回有效字符串，失败

36、返回 获取引导系统设务必检查返回是否为 NULL，指针内存由测试用，否则造成内5.2.3 基于5.2.3.1 json 相关的mjson_fetchkeypath1keypath2函数原keypath:测试用例路径配置成功返回有效字符串，失败无任何显获取配置项的值，例如：mjson_fetch /demo/demo-参数说功能描:函数原返回说功能描无获取内核版本，例如3.10.65,全 科Copyright2019Allwinners.:函数原型 参数说明 返回说明 成功返回有效字符串，失败无任何显示功能描述 获取方案代号，例如azalea-m2ultra函数原返回说功能描无成功返回有效字符串

37、，失败无任何显获取引导系统设备，emmc/sdcard/nand/nor-flash，其中 sdcard:函数原型 参数说明 返回说明 成功返回有效字符串，失败无任何显示功能描述 获取方案代号，例如azalea-m2ultra函数原返回说功能描无成功返回有效字符串，失败无任何显获取引导系统设备，emmc/sdcard/nand/nor-flash，其中 sdcard 代表卡启5.2.3.2 交互使用方法与C 接口类似。其交互形式与3.2 C 互形式相同命task参数说ask：该测试用例向用问题eg: taskPleaseentertheWiFi：成功 ：失 （ask，返回说功能描ttips命返

38、回说功能描：成功 ：失败该测试用例向用户提示信息,全 科Copyright2019Allwinners.命ttrue返回说功能描tips：该测试用例向用问：用户选择 是：用户选择 否该测试用例向用户提问，用户根据问题，选择命ttrue返回说功能描tips：该测试用例向用问：用户选择 是：用户选择 否该测试用例向用户提问，用户根据问题，选择（是否命tupfilefilepath：成功 ：失败将设备端的文件上传到 PC 端。PC 端文件保存目录参数说返回说功能描命tshowimgfilepathfilepath：设备端要上传参数说路tips：该测试用例向用户提示的信返回说功能描：用户选择 是：用户

39、选择 否设备端上到PC 端，PC 端显并询问用户tips 问题（比如是否清晰正确5.2.4 测试用例属性文件（private.conf）及快/注销测试用private.conf 为测试用例的属性配置文件，每一个测试用例都应有一个对应的private.conf，放在试用例源码目录，private.conf 的编写规则见图 5-1 add_testcase.sh 使用说明快工具位于/注销测试用例,全 科Copyright2019Allwinners.快测试用例只需要执行./add_testcase.sh 测试用例属性配置文件（private.conf快测试用例只需要执行./add_testcase

40、.sh 测试用例属性配置文件（private.conf路径快速注销测试用例只需要执行./del_testcase.sh 测试用例属性配置文件（private.conf路径5.2.4.1 add_testcase.sh 使用说1: addtestcase显示界例如，在添加了/demo/demo-c 的源码 demo-c.c 后，编写的private.conf 如下,全 科Copyright2019Allwinners. INFO = falseLIMIT=d=demo-c run_times = 3表示默认关闭局部信息相关的配置 INFO = falseLIMIT=d=demo-c run_ti

41、mes = 3表示默认关闭局部信息相关的配置默认关闭局部限制相关的配置3默认试用例的命令是：demo-4默认执行次数是3执测试用例工具$ ./tools/add_testcase.sh testcase/demo/demo-在正确执行了 add_testcase.sh 后，主要在kconfig 中修改和添加对应的Config.in 文件demo- 测试用例后，即可通过界面命令进行使能，配置等$,全 科Copyright2019Allwinners.5.2.4.2 del_testcase.sh 使用说2: deltestcase显示界特殊使用场景一：在执行 测试用例后，5.2.4.2 del_testcase.sh 使用说2: deltestcase显示界特殊使用场景一：在执行 测试用例后，若要修改测试用例路径（即