新能源汽车远程监控系统压力测试方法研究.pdf

基金项目基金项目：国家“863”计划基金资助项目(2011AA11A265)；同济-IBM 联合研究课题基金资助项目(20112739) 作者简介作者简介：张新丰(1980)，男，讲师、博士，主研方向：汽车电子技术；沈勇，副教授、博士；章桐，教授、博士；魏臻， 工程师 收稿日期收稿日期：2012-03-26修回日期修回日期：2012-06-08E-mail：zhangxinfeng 新能新能源源汽车远程监控系统压力测试方法汽车远程监控系统压力测试方法研究研究 张新丰张新丰 1， ，沈沈勇勇 1， ，章章桐桐 1， ，魏魏臻臻 2 (1. 同济大学新能源汽车工程中心，上海 201804；2. 上海燃料电池汽车动力系统有限公司，上海 201804) 摘摘要要：监控车辆数量增多、服务器系统负载增加等因素会导致新能源汽车远程监控系统稳定性变差。针对该问题，提出一种基 于虚拟车载终端的新能源汽车远程监控系统压力测试方法。 采用虚拟车载终端和虚拟 Web 用户联合测试的方法， 记录数据丢帧率、 准确率及传输延时。通过测试案例，得到上述指标与系统容量的关系，表明使用该方法能有效测试新能源汽车远程监控系统的极 限容量。 关键词关键词：新能源汽车；远程监控系统；压力测试；虚拟车载终端；丢帧率；任务分配表 Study on Stress Test Method of Clean Energy Automobile Remote Monitoring System ZHANG Xin-feng1, SHEN Yong1, ZHANGTong1, WEI Zhen2 (1. Clean Energy Automotive Engineering Center, Tongji University, Shanghai 201804, China; 2. Shanghai Fuel Cell Vehicle Powertrain Co., Ltd., Shanghai 201804, China) 【Abstract】A virtual on-board terminal based remote monitoring system stress test method is proposed, according to the stability problem caused by the increasing number of monitored automobile and system working load. The method of data generation together by virtual on-board vehicle terminal and virtual user is adopted. Data frame lost rate, accuracy rate, and transport time delay are recorded as stress tests result. Stress test demonstration is applied and the quantified relationship between the test index and system capacity is found. Example result shows that virtual on-board vehicle terminal based remote monitoring system stress test method is feasible to predict systems limit capacity. 【Key words】clean energy car; remote monitoring system; stress test; virtual on-board vehicle terminal; frame lost rate; task allocation table DOI: 10.3969/j.issn.1000-3428.2013.06.067 计算机工程 Computer Engineering 第 39 卷第 6 期 Vol.39 No.6 2013 年 6 月 June 2013 开发研究与工程应用开发研究与工程应用 文章编号文章编号：10003428(2013)06030404文献标识码文献标识码：A中图分类号中图分类号：TP33 1概述概述 远程监控系统在新能源汽车整车性能监测、可靠性耐 久性评估、故障报警、零部件评价等方面具有重要的功能， 为保证新能源汽车示范运营、质量改进及系统优化发挥了 重要的作用1。随着国家对新能源汽车开发支持力度增加， 企业对新开发车辆的质量改进需求日益增强，监控车辆增 多，使用该系统的用户增加，服务器承受的载荷越来越大， 因此，对该系统进行压力测试十分必要。压力测试能充分 评估系统的响应速度、最大顺畅连接数等性能指标，并能 预测系统承受的工作极限，对于保证监控系统在实际运行 时的正常工作起着至关重要的作用。 目前，已有较成熟的压力测试手段和方法2-4，且有较 多商业测试软件， 如Mercury Interactive公司的Roadrunner、 IBM公司的Rational Performance Tester5、Segue公司的Silk Performer6以及开源代码的JMETER7等压力测试软件工 具。这些测试工具的一般原理是利用脚本的录制和回放， 模拟用户的操作，测试过程中将被测系统通过模拟上千万 用户实施并发负载及实时性能监测的方式确认和查找问 题。但与一般的Web应用程序相比，新能源汽车远程监控 系统不仅存在Web访问用户，还有来自车载终端的大量数 据上传，现有的测试软件无法完全模拟车辆实际示范运行 下服务器的工作载荷。 本文分析了新能源汽车远程监控系统运行环境和使用 情况，制定了基于虚拟车载终端的测试方法，提出数据丢 帧率、准确率及传输延时的计算方法，并开发了模拟车载 终端的软件，对当前使用的监控系统服务器进行实验案例 研究。 第39卷第6期305张新丰，沈勇，章桐，等：新能源汽车远程监控系统压力测试方法研究 2压力测试实验设计压力测试实验设计 通过分析确定系统有可能出现压力峰值的情况，并根 据该情况实际特征确定测试的方法。 2.1系统使用特征分析系统使用特征分析 新能源汽车远程监控系统主要用于针对新能源汽车(包 括混合动力汽车、纯电动汽车及燃料电池汽车)示范运营期 间的运营和监控，系统包括车载终端、监控服务器及公共 通信基础设施等，其系统构架如图1所示。 图图1远程监控系统结构远程监控系统结构 远程监控系统需要将车载终端上传到数据接收下来并 存入数据库，监控用户通过Web浏览器查看这些数据。 远程监控系统的主要业务内容及时间分布规律可用任 务分配表来表示，以2010年世博会期间新能源汽车的规模 示范运营为例，其任务分配表如图2所示。 图图2远远程监控系统服务器任务分配表程监控系统服务器任务分配表 服务器任务包括3个部分：系统的数据备份，Web访 问和车载终端数据上传。其中，Web并发用户和车载终端 并发用户使服务器产生工作负荷，尤其是在12:0017:00之 间，系统可能出现访问用户高峰。 2.2测试流程设计测试流程设计 根据系统分析结果可知，远程监控系统压力最大时间 段内，访问系统的用户不仅包括登录Web网站的用户，还 包括向监控系统传递数据的车载终端。由于目前的远程监 控服务器承担了通信服务器、数据库服务器、Web应用服 务器3种服务器的功能，因此对监控服务器的压力测试方 案如图3所示。 客户机1 通信服务器 数据库服务器 Web应用服务器 远程监控系统服务器 GPRS网 局域网 客户机2客户机3 图图3远程监控系统服务器压力测试方案远程监控系统服务器压力测试方案 客户机1通过局域网与服务器相连，采用通用的Web 压力测试工具，模拟并发Web用户；客户机2、客户机3 通过GPRS无线网络与远程监控系统服务器连接；使用虚 拟车载终端模拟车辆上传实时运行数据，对监控服务器进 行压力测试。 压力测试实验的目的就是通过模拟大量终端的访问， 判断现有的监控系统构建能否满足新能源汽车示范运营对 监控系统的要求，并对监控服务器的优化提供方法和依据。 数据帧的丢帧率、准确率和传输延时是测试最关心的 3个系统指标；另外，CPU使用率、磁盘I/O使用率、内存 使用率和网络流量使用率是系统服务器工作特性的关键参 数，是改进硬件配置、优化服务程序的依据，因此，上述 7个参数随虚拟车载端并发用户变化的规律是实验测试所 需记录的重要数据。 3系统性能测试方法系统性能测试方法 3.1空中协议数据单元空中协议数据单元 车载远程通信单元以“快照”方式提取总线上的数据， 编码为一个空中协议数据单元，然后在一定周期、以TCP 协议数据帧的方式发送到服务器，空中协议数据单元的格 式如图4所示。 图图4空中协议数据单元编码空中协议数据单元编码 在图4中，N为汽车的VIN (Vehicle Identification Number)码，是标识一辆整车的唯一代码，占用17 Byte； Pi为车辆状态参数信息集，占用80 Byte；Di为故障码集， 占用16 Byte；G为位置信息集，占用12 Byte。 由于新能源汽车包括混合动力汽车、纯电动汽车、燃 料电池电动、氢发动机汽车和其他新能源汽车，各种不同 类型汽车具有不同的零部件，因此，具有不同的状态参数 和故障代码。 |1,2, i imP(1) 其中，为所有被监控车辆的空中协议集；Pi为一具体型 号的新能源汽车的参数集合，车辆状态参数集Pi为： , |1,2, ii j pjnP(2) 其中，pi,j为状态参数；n为协议数据单元中状态参数的数 目，如果比特数不满80则其余位使用1填充。故障代码集 D定义为： 123 (,)= d ddD(3) 其中，dj为故障代码，有： ,1,2,3;1,2, ji djim(4) 306计算机工程2013 年 6 月 15 日 其中， i 为一具体型号的新能源车所定义的故障代码集。 车辆的定位信息一般采用全球定位系统或者北斗自主导航 定位系统，定位信息集G为： , , , , )= g s l t v a( ,G(5) 其中，g为协调世界时间(UTC)；s为时间信息；l、t分别为 经纬度；v为车辆速度；a为车辆航向信息。 3.2数据模拟器数据模拟器 数据模拟器用于产生合法的数据，即符合空中协议数 据单元的远程数据。 3.2.1VIN码生成 车辆VIN码是一个17位字符组成的车辆识别号， 它包 含了车辆的生产厂家、年代、车型、车身型式及代码、发 动机代码及组装地点等信息。由于本文监控系统只是利用 VIN码识别车辆，因此保证生成模拟数据时唯一即可。采 用直接指定其前13个字符并将最后4个字符作为变量加以 编号的方法生成。 如指定前13位为“SIMULATIONCAR” ， 后4位从“0001”到“9999”一直递增。这种方法的缺点 是当模拟车辆超过10 000时，需要在不同电脑上运行2次 虚拟终端软件。 3.2.2状态数据与故障数据生成 对状态数据集Pi和故障数据集Di，可利用不同的函数 产生随时间变化的模拟数据，不同数据产生方法如表1所 示。其中，v为所产生的模拟数据；v0为通过对话框设定的 初始值；N为等于报文发送次数的一个递增变量；T为设定 的报文发送周期，rand()和sin()分别为随机函数和正弦 函数。 表表1状态数据产生方法状态数据产生方法 编号产生方法参数值产生式 1固定值v=v0 2递增值v=N%256 3随机值v=rand(1,0)256 4正弦值v=sin(2T)256 利用表1方法产生的数据可以直接在监控系统的虚拟 仪表上观测接收数据的曲线，很直观地判断接收数据的准 确性。 3.2.3定位数据生成 对车辆定位数据，使用经纬度值(l,t)来表示，其计算方 法如下： ( ) 1,2, ( ) ll iv iM tt iv (6) 其中，l(i)、t(i)分别为事先设定的第i个地点的经纬度坐标 值；v为通过对话框设定的车速。 3.3系统性能的计算方法系统性能的计算方法 监控系统数据服务程序与车载终端建立Socket连接后 开始接收数据， 并通过远程数据单元中的VIN码识别车辆， 将一条完整的记录放置到数据库中；如果没有任何Socket 连接，则任务空闲等待。通过数据库记录的数据和虚拟车 载终端中数据模拟器产生的数据进行对比，即可获得系统 的性能指标。 3.3.1数据丢帧率计算 数据帧的丢帧率L为： LRS 1/nn (7) 其中，T为发送周期；nR、nS分别为单位测试时间段内接收 到的帧数和发送的帧数。nR可以通过对数据库中带有时间 标记(GPS的UTC时，在模拟器中该数值是由计算机系 统时间换算成)的数据帧进行计数得到，nS则需要通过记录 发送起始时间和发送周期进行计算，对比可以求出单个 车辆： nS=(tets)/T(8) 其中，te、ts分别为测试结束和测试开始时刻。由于无线通 信的质量与无线信号强弱、车辆运动速度有关，即与车辆 当时所处位置和速度密切相关。 3.3.2数据准确率计算 通过Web网页的虚拟仪表，可以直接观察接收到的数 据与模拟发送的数据的差异，从而得到数据的准确性，这 种方法能快速发现问题，但无法定量分析准确率。 如图4所示，在空中协议数据单元的设计上，采用累 加和校验方法，最后一位校验位是前127位数字累加和的 256的余数。因此，通过累加和校验位可对空中协议数据单 元的准确性进行判别。 数据准确率定义为： CCR /nn(9) 其中，nC为单位时间内接收到且通过累加和检验的帧数。 由于TCP协议本身具有错误校验功能，因此数据错误往往 来自于缓冲读写、数据格式转换等操作。 3.3.3传输延时计算 在空中协议信息帧装入GPRS模块的发送缓冲前将 UTC时间(在虚拟终端中， 即为本地计算机系统时间)tS写入 数据帧，并且在接收到数据帧时，记录下接收时刻tR，那 么传输延时tT为： TRS ttt(10) 由于发送和接收是在不同的时间系统中，因此测试时 必须利用网络授时工具(国家授时中心的网络授时服务8， 广域精度优于300 ms)，将这2个时间系统进行同步。 4实验测试实验测试与分析与分析 实验对一个应用于2010年世博会期间示范运营的新能 源汽车进行远程监控的服务器进行压力测试。 4.1实验环境实验环境 4.1.1服务器及测试机硬件配置 远程监控系统服务器采用一台IBM小型计算机，用于 测试的2台客户机都是DELL台式个人电脑，其软硬件配 置如表2所示。 第39卷第6期307张新丰，沈勇，章桐，等：新能源汽车远程监控系统压力测试方法研究 表表2测试环境配置表测试环境配置表 参数CPU主频/GHz核数磁盘/GB网络/(Mbs1)内存/MB操作系统 服务器2.2741001004 096Windows Server 2003 客户机12.4022401003 072Windows Vista 客户机2/客户机32.4022401003 072Windows Vista 在IBM服务器上，运行的数据库软件为微软的SQL Server 2000，Web服务器为Tomcat6.09，终端通信服务软 件为自己开发的DBServer.exe程序。 4.1.2虚拟车载终端模拟软件开发 通过软件能使计算机自动产生规定个数的虚拟车载终 端，模拟产生汽车实时运行的状态数据、故障数据和定位 数据。虚拟车载终端模拟软件的控制流程及界面如图5所示。 (a)软件流程(b)虚拟终端模拟软件界面 图图5虚拟车载终端模拟程序控制流程及界面虚拟车载终端模拟程序控制流程及界面 软件启动开始，先根据界面提示设置好虚拟车载终端 数量、报文发送周期T、服务器地址、端口、车辆起始VIN 码、初始状态数据v0、数据模拟发生函数类型、故障码及 故障频率等；点击“开始”后，程序首先获取上述参数， 并逐一产生虚拟终端登录连接远程监控服务器，通过设定 的参数方法，产生模拟数据，并按3.1节所述拼装成报文， 发送到服务器。 4.2实验流程实验流程 在上述软硬件环境下，构建一个尽可能真实的运行环 境。在客户机1上模拟20个Web用户，其中，20%用户为 VIP，40%为工作人员，40%为车主，另外设置1名2名系 统管理员，这些客户都停留在车辆定位界面或虚拟仪表界 面；在客户机2、客户机3上使用虚拟车载终端来模拟车载 TCU。虚拟终端数量从0逐步增加。在测试中，通过管理 员身份登录Web服务器，利用虚拟仪表定性判断数据准确 性，通过对比虚拟终端数据产生规律和虚拟仪表的数据可 以判断数据的准确性。这种方法快速有效，但只能定性观 察系统是否正常工作。 4.3实验结果及分析实验结果及分析 测试用虚拟终端数据更新数据率为1 Hz，数量从每秒 0个增加到100个，持续5 min，逐步增加到500个。在测试 过程中发现，当虚拟终端数达到400个时，已经出现个别虚 拟终端“#号终端Socket发送数据失败！ ”错误，该错误说明 服务器没有响应虚拟终端的IP数据包；当数量加到500时， 出现大量的上述错误。对系统的性能指标进行分 析，在不同 虚拟终端下平均丢帧率、 数据准确率及传输延时如图6所示。 图图6压力测试实验的系统性能指标压力测试实验的系统性能指标 在虚拟终端达到500个以上时，丢帧率急速上升，达 到40%以上，主要原因是通信服务程序无法及时响应IP包 造成断线，这时系统性能已达极限；而数据的准确率在 99.7%以上，说明在数据传输、读写、转换及存储过程中， 出现差错非常小，可以忽略，而传输延时变化不大。 直接使用Windows性能分析器，查看CPU使用率、磁 盘I/O使用率、内存使用率和网络流量使用率4个参数， 记 录的结果如图7所示。 图图7压力测试中各计算机单元的使用率压力测试中各计算机单元的使用率 从图7所示结果判断，处理器、内存及网络使用率基 本上随着虚拟终端的增加呈线性规律， 而硬盘I/O读写使用 率则在虚拟终端超过500时迅速增加，甚至超过了90%的 极限10。可以判断，该服务器的瓶颈在硬盘，最大的可能 在于通信服务程序， 即DBServer.exe应用程序频繁读写SQL Server 2000数据库而没有优化所致。通过压力测试，提出 以下改进意见：(1)优化DBServer.exe通信服务软件的内存 管理模式，在内存中建立Socket句柄与VIN码的映射表， 避免频繁地从数据库读取VIN码表进行对照；(2)优化 DBServer.exe的数据库存储模块，采用批处理操作。 (下转第311页) 第39卷 第6期 311 袁普及，王 成，黄凌凡：基于元数据的检测与校准业务信息系统 表表表表1 优化前后系统对比优化前后系统对比优化前后系统对比优化前后系统对比 系统 数据交互性 数据处理响应速度 数据安全性 维护升级 单机版系统 (C/S架构) 数据交互性差 30万条数据记录：耗时20 s； 200万条数据记录：耗时3 min； 1 000万条数据记录，耗时12 min 数据安全性差 维护升级复杂 网络版系统 (B/S架构) 数据量级从30条、200万条到1 000万条时， 交互性越来越差，用户体验越来越差 30万条数据记录：耗时80 s； 200万条数据记录：耗时6 min； 1 000万条数据记录：无法处理响应 数据安全性差 维护升级复杂 检测与校准业务 信息系统 (C/S、B/S架构) 交互性好，用户体验好 30万条数据记录：耗时35 s； 200万条数据记录：耗时3 min； 1 000万条数据记录，耗时16 min 数据安全性好 维护升级简单 5 结束语结束语结束语结束语 根据检测与校准技术提高和检测与校准实验室业务发 展需要，针对传统的检测与校准系统在数据交互和数据处 理响应能力上的不足，本文提出了一种采用元数据驱动、 元数据数据库技术、动态建库和Web动态展现等多种技术 构建的检测与校准业务信息系统，并将其应用到检测与校 准实验室。该系统具有良好的数据交互性和较快的数据处 理响应速度，为检测与校准的发展提供了强有力的支撑。 较之传统的检测与校准系统，该系统提高了检测与校准技 术人员的工作效率，规范了检测与校准实验室的工作。 参考文献参考文献参考文献参考文献 1 韩 超. 计量管理系统的设计与实现D. 北京: 北京邮电 大学, 2011. 2 温 旭. 航天企业分布式计量业务管理系统的研究与设 计D. 北京: 清华大学, 2009. 3 车 虹. 数据仓库的元数据管理D. 上海: 复旦大学, 2005. 4 Summitek Instruments Inc., Englewood, Co Automated Test and Data ManagementJ. Microwave Journal, 2006, 49(5): 284-290. 5 楼 笑. 基于元数据管理的 OLAP 系统设计与实现D. 南京: 东南大学, 2005. 6 李 杰, 林财兴, 谢甘第. 基于.NET 平台的试飞试验数据 管理系统的设计与实现J. 机电一体化, 2006, 12(3): 11-14. 7 牛守明. 遥感海量数据管理系统研究与实现D. 济南: 山东科技大学, 2005. 8 王素丽. TDM: 工程数据管理平台J. 计算机工程与设计, 2008, 29(22): 33-34. 9 中国国家标准化委员会. GB/T19001-2008 质量管理体系要 求S. 2008. 10 ISO, IEC. ISO/IEC17025: 2005-2005 检测和