（光学工程专业论文）汽车试验数据管理及重用技术研究.pdf

study on vehicle test data management and reuse a thesis submitted to chongqing university in partial fulfillment of the requirement for the degree of master of engineering by ye changjing supervisor: prof. deng zhaoxiang major: automobile engineering college of mechanical engineering of chongqing university , chongqing, china april 2008 中文摘要 i 摘 要 汽车试验数据对汽车研发有重要的参考意义，是企业重要的技术积累。由于 试验自身的特点，造成了当前数据管理分散，容易丢失或被修改的现状，影响试 验数据的有效性。企业可能需要进行重复性的试验工作，对整车的研发过程产生 消极的影响。本文建立一个可基本实用的汽车试验数据管理系统 tdm（test data management system）用于管理汽车研发工程中产生的试验数据。 试验数据管理没有出现成熟的商业产品主要是因为各个企业的研发流程不 同，系统需要定制个性化的需求。通过对企业用户试验流程、操作习惯和数据样 本进行分析调查，获取了详细的系统需求；通过对需求的分析，总结了汽车试验 数据管理的基本特点。对需求进行了详细的分析，确定了 tdm 系统的功能，划分 了系统的功能模块。对 tdm 系统进行了总体方案设计、系统架构设计以及实施方 案设计，确定了系统的 c/s 设计模型和数据库设计的指导原则。对 tdm 系统的数 据库进行了设计和实现，总结了对象到关系数据库的映射规则，对对象到关系数 据库的映射实现方法进行了阐述。确定了试验数据的安全模型，实现了对汽车试 验数据的结构化管理并保证数据的有效性和安全性。确定了系统的数据重用框架， 使历史试验数据能够快速应用到当前数据分析处理过程中，充分发挥历史数据的 作用。设计了四个数据显示控件分别用于显示点数据、线数据、云图数据和模态 数据；控件可以将数据以图表的形式显示出来并提供用户交互功能帮助试验分析 人员发现数据特征和隐含的规律信息。 tdm 系统以 oracle 9i 数据库为基础， 管理的内容为整车及其相关部件的试验 数据。根据当前企业用户的操作习惯，对系统管理的试验数据进行导航；用户可 以很方便地定位目标数据；能够对多种格式的数据文件进行解析并转换为自定义 的格式，并将转换后的试验数据保存到数据库中进行统一管理，支持 lms 文件、 head 格式的 xls 文件的批量导入， 支持用户自定义格式文件的导入和用户界面的 手动输入；实现了对数据对象的访问控制；提供了有效的数据分析和数据重用支 撑环境。 通过汽车试验数据管理系统的研制，总结了当前汽车研发部门试验数据的基 本特点，提出了一个可行的量纲解决方案用于处理各种数据源量纲不统一的问题； 建立了完整的用户权限控制机制保证数据的有效性和安全性；解决了非开源试验 数据 lms 文件的数据筛选和导入问题；实现了历史试验数据的重用。结合显示控 件的开发过程探讨了数据重用技术的特点及其在数据管理系统中的运用；研究了 数据可视化及数据对比显示技术的实现；总结了试验数据工程数据库的特点，并 重庆大学硕士学位论文 ii 就试验数据管理系统的发展前景和改进方向提出了建议。 关键词：数据管理，工程数据库，数据可视化，数据重用，访问控制 英文摘要 iii abstract test data has virtual means to automobile design since it results from lots of repetitious work and can be an important reference to design processes. however, these data can easily be modified or deleted with the reason that test data has various formats and it is managed base on the operate system (os) file system which has very limited ability of user access control. this situation may give a negative effect to data analysis and lead to more repetitious work; a database management system (dbms) is established in this paper to manage test data generated in automobile design processes. test data management changes with customers as each enterprise has its own special requirements according to their development procedures, so there are no commercial products available at present. test data are organized separately and their schemas are complex and variable，which demand engineering data management systems to be able to manage data centralized，to be both customizable and extensible based on a broad survey on users operate custom and the analysis of typical test data files, a detailed system requirement was concluded including basic characters of test data management and the necessity of engineering database (edb) establishment. based on the analysis of requirement, a software solution is established including conceptual design, function module partition, overall design, architecture design， scheme design. the c/s mode and guiding principles of database design were determined. rules how to map objects into relational database were summarized after the designing of oracle database. a security model was established in tdm, which can support structural management for various kinds of test data with the guarantee of data security and data validation. a framework of data analysis and reuse was presented and users can give a rapid use of historical data during data analysis processes. four data controls were designed to show test data in diagram. the features and implied information behind test data can easily be found with the assistant of user interactive interface and other tools provided by controls. tdm is a software product that manages formatted test data that used to analyze automobile performance during the automobile development processes. these data is result from the test of engine, car body, suspension system, drive line system，and other car components. the data import module can identify many data files with various 重庆大学硕士学位论文 iv formats and reorganize them in order to add them into database with uniform format. other modules also play an important role to keep datas validity and security. based on oracle 9i database, tdm can arrange data in a logical way with the support of data import function. uses can easily locate the target data items just by mouse clicking or using searching module with the implementation of data navigation. the characters of automobile test data were summarized through the development of tdm. a doable solution of data quantity management was proposed to solve the problem that different test data files have different quantity definition. the way to import lms data into tdm was also realized by using lms test.lab automation. an approach to protect test data from illegal operation was proposed. how to reuse historical data and give them full potential are discussed combing with display control design process. these special characters of engineering data base (edb) are summarized. farther development and improvement of tdm are also proposed in this article. keywords: data management, edb, data visualization, data reuse, access control 目 录 v 目 录 中文摘要中文摘要 . i 英文摘要英文摘要 . iii 1 绪论绪论 . 1 1.1 课题背景及意义课题背景及意义 . 1 1.1.1 汽车试验数据的管理现状 . 1 1.1.2 重用技术的重要性 . 2 1.1.3 专业试验数据管理系统的作用 . 3 1.2 国内外研究现状国内外研究现状 . 4 1.3 本文的研究内容本文的研究内容 . 5 1.4 本文的组织结构本文的组织结构 . 6 1.5 本章小结本章小结 . 6 2 试验数据管理系统的总体设计试验数据管理系统的总体设计 . 7 2.1 汽车试验数据的特点汽车试验数据的特点 . 7 2.2 企业需求描述企业需求描述 . 8 2.2.1 企业现状 . 9 2.2.2 数据模式分析 . 10 2.2.3 数据安全需求 . 12 2.3 系统功能定义系统功能定义 . 13 2.4 系统架构与开发平台系统架构与开发平台 . 15 2.4.1 b/s 结构和 c/s 结构 . 15 2.4.2 系统架构的选择 . 17 2.4.3 开发平台的选择 . 18 2.5 数据库设计方案数据库设计方案 . 19 2.5.1 工程数据库 . 19 2.5.2 基于关系数据库的工程数据库 . 20 2.5.3 工程试验数据库与传统商业数据库的不同点 . 22 2.6 客户端数据管理方案客户端数据管理方案 . 23 2.7 本章小结本章小结 . 26 3 试验数据管理系统的功能模块开发试验数据管理系统的功能模块开发 . 27 3.1 数据库设计数据库设计 . 27 3.2 数据抽象数据抽象 . 30 重庆大学硕士学位论文 vi 3.2.1 数据实体的类定义 . 30 3.2.2 数据库操作类 . 31 3.2.3 主要功能类定义 . 32 3.3 系统基础信息管理系统基础信息管理 . 32 3.3.1 试验类别管理 . 33 3.3.2 数据量纲管理 . 33 3.3.3 试验件管理 . 35 3.4 数据安全控制数据安全控制 . 36 3.4.1 数据访问控制方法 . 36 3.4.2 基于数据对象的访问控制 . 37 3.4.3 数据的发布删除审批机制 . 39 3.5 系统主窗体设计系统主窗体设计 . 41 3.5.1 数据导航管理 . 41 3.5.2 用户分析数据管理 . 43 3.6 b/s 架构设计架构设计 . 45 3.7 本章小结本章小结 . 46 4 面向数据重用的试验数据管理系统的开发面向数据重用的试验数据管理系统的开发 . 47 4.1 数据重用技术数据重用技术 . 47 4.1.1 设计重用技术 . 47 4.1.2 面向分析的数据重用 . 48 4.1.3 数据重用需求 . 48 4.2 试验数据导入试验数据导入 . 49 4.2.1 数据模式的转换 . 50 4.2.2 数据对象持久化 . 51 4.2.3 excel 文件导入 . 53 4.2.4 lms 文件导入 . 54 4.3 试验数据的可视化试验数据的可视化 . 57 4.3.1 显示控件的基本要求 . 58 4.3.2 一维控件 . 59 4.3.3 二维控件 . 61 4.3.4 三维控件 . 62 4.3.5 模态显示控件 . 62 4.4 试验数据搜索试验数据搜索 . 64 4.4.1 数据检索的要求 . 64 目 录 vii 4.4.2 数据检索模块的设计 . 65 4.5 本章小结本章小结 . 66 5 总结与展望总结与展望 . 67 5.1 工作及研究总结工作及研究总结 . 67 5.2 下一步的工作下一步的工作 . 68 致致 谢谢 . 69 参考文献参考文献 . 71 附附 录录：作者在攻读硕士学位期间发表的论文目录作者在攻读硕士学位期间发表的论文目录 . 75 重庆大学硕士学位论文 viii 1 绪 论 1 1 绪 论 1.1 课题背景及意义 随着计算机技术的发展，计算机的应用已从初期的以科学计算为主逐渐发展 为以数据处理为主。计算机在制造业中的应用已从单一的计算机绘图发展到应用 cad/cam 进行新产品全过程开发的集成技术， 以信息流驱动产品生命周期的全过 程，并逐步走向 cims1-4。 汽车行业是一个试验密集型的行业，一个成熟的产品需要通过反复的试验进 行设计验证。随着我国汽车企业信息化技术的普及和产品研发力度的增大，在新 产品开发中产生的试验数据量逐步增大。对这些数量巨大的试验数据进行有效的 管理可以保证产品开发知识被重新利用。由于试验数据是新产品开发过程中基本 的依据，也是产品改进的重要参考，所以对企业来说试验数据是宝贵的经验财富。 鉴于试验数据本身的特点，如果管理不当，容易产生数据分析过程滞后，准确性 不够，信息不畅通等一系列问题，导致决策失误，浪费大量的人力物力5, 6。试验 数据管理系统使技术人员可以准确快速地定位需要的试验数据，给设计人员开发 新产品提供参考，提高产品设计开发的准确率。试验研究人员可以根据本企业产 品历次试验的结果、其它企业产品的试验结果、国内外同行的试验结果数据进行 对比分析，形成本企业的产品标准。 1.1.1 汽车试验数据的管理现状 目前国内各整车及零部件企业都已加大了对研发的投入，在研发过程中，各 种工程数据正在以令人难以想象的速度急剧膨胀，其中包括试验数据，仿真数据， 计算数据等。由于数据特点的不同、采集仪器的不同，这些工程数据分散在各种 计算机、存储设备、仪器设备上，以各类电子文件的方式进行保存、整理、交流 和传播。由于数据种类繁多，格式不统一，导致数据检索困难，流向不明，缺乏 安全性，难于共享，所有这些都给数据管理造成了巨大的压力7。 现在汽车研发试验数据的管理手段不一，部分数据使用计算机来管理，部分 靠人工管理8。某些试验数据容易使用现有的数据模型来表达，这样人们就把这部 分数据存放到数据库中，使用数据库技术来管理。例如：汽车研发过程中的样车 尺寸或油耗值，其数据模式在形式上和关系模型一致，每一个采集参数都对应关 系模型表中的一个字段，而一个时间点上所采集的若干参数的码值恰好是关系表 中的一个元组。因此，可以采用关系数据库中的表来实现该类工程试验数据的管 理。但是有很多其它类型的数据，如：数组、曲线簇等类型的数据，现在所有成 熟的商用数据库系统都无法有效的管理它们4, 9-11。因而，这些数据只能通过保存 重庆大学硕士学位论文 2 在数据文件或印刷文档中，依靠数据管理员来实现数据的正常管理12。 由于工程试验数据是分散管理的，并且存储介质也是多样化的，这对数据的 有效组织带来了困难。这不仅导致了用户无法看到所有数据的统一视图，也给数 据的日常管理维护工作带来了巨大的压力。在非数据库的存储环境下，数据的共 享、并发访问变得很困难，数据的完整性、一致性、安全性等都需要由数据管理 员来保证，数据的快速查找也无法实现，数据的冗余也会增加。 综上述，当前松散型的“文件化”数据管理方式存在着以下严重缺点： 效率低下：试验人员常常花费大量的时间从海量的数据文件中寻找需要的 工程数据。由于工程数据的文件类型和数据格式不一致，试验人员需要以手工的 方式对数据进行挑选和整理，这种数据处理手段原始，手工操作环节多，是一个 非常耗时耗力的过程； 差错率高：由于存在大量的手工操作，难免会在某一环节发生差错，造成 数据版本不统一或数据丢失，数据安全隐患大。其影响轻则降低数据的有效性， 重则损害数据的准确度，造成更大的不良后果； 不易检索，难以共享，数据利用率低：由于手工操作造成的效率低下和易 出差错，使得工程数据往往被束之高阁不再使用，很难为以后的工作提供参照， 并且可能造成不必要的重复试验； 无法进行数据挖掘：花费大量人力、物力、财力和时间获得的海量工程数 据中，蕴藏着丰富的信息，简单的文件管理无法通过数据挖掘去揭示那些有价值 的信息； 安全保密性差：由于数据缺乏统一的保存和管理，以文件方式分散地保存 在个人的计算机或文件柜里，易受到未经授权地访问、修改，并导致重要数据的 泄密。 1.1.2 重用技术的重要性 随着市场竞争的日趋激烈，产品生命周期不断地缩短，能否在第一时间里推 出自己的产品往往成为企业获得竞争优势的关键要素。另据统计显示，在绝大多 数新产品开发中， 40%是重用过去的零部件设计， 40%只是对现有零部件稍做修改， 完全新的设计仅占 20%。由此可以看出重用在产品开发中的重要作用。重用可以 有效地缩短产品开发周期，提高设计质量。虽然重用技术在软件领域的研究已有 较长的历史，但在工程设计领域有意识的研究重用问题还是近几年的事。 经过多年的数据库技术的发展，现在市场上主要有三类成熟的数据库产品： 关系数据库、层次数据库、网状数据库。基于这些数据库产品的管理系统都缺乏 可扩展性，不能适应试验数据模式的逐渐演变。试验数据模式一旦变化，原有的 数据库管理系统将无法统一管理新旧模式的数据，于是只能为新模式的数据再开 1 绪 论 3 发一个数据库应用系统，这不仅造成数据库系统的重复建设，还导致新旧模式的 数据之间很难集成，无法进行统一的分析处理，限制了工程试验数据的有效利用 12。 工程试验进行的首要目的是对试验数据进行分析，从中找出数据变化的规律， 以便于指导进一步的工程设计、制造和试验。但是一方面，因为各种工程试验的 差异很大，产生的试验数据都有自身独特的分析处理方式和流程，不可能有一种 通用的处理模式和处理程序。另一方面，在现有的环境下，对数据分析程序的管 理和对数据的管理一样，往往是各自为政，没有统一管理的环境，并且缺乏数据 分析的支撑设施，各种数据不能在统一的可视化环境中显示，造成各种试验数据 分析技术随时间不断流失。 因此，试验数据管理系统在实现一定的数据管理功能（统一管理、数据共享、 并发访问、一致性和完整性检查等）的基础上，还有自身独特的需求： 能有效地组织和管理大批量的、异构的、多版本的历史试验数据； 能贯穿于长期的工程试验中，支持试验数据模式的演变，并保持新旧模式 之间的数据操作的兼容性； 能有效地集成分布的试验数据，包括基地内实验室之间和基地之间； 能为试验数据的有效分析提供方便的处理支撑环境。 1.1.3 专业试验数据管理系统的作用 各种各样的工程试验数据以记录的方式保存在数据库中，消除了管理大量数 据文件所面临的繁琐程序，实现了数据的共享。通过对工程数据进行分类，可以 快速准确地从海量的数据中找到所需数据。基于数据库的操作，能充分有效地对 工程数据进行各种后处理，避免了以往基于文件的手工操作环节，从而大大提高 工作效率并减少了差错。系统管理员能对系统中的数据设置周密的和多层次的权 限控制策略以及数据备份和恢复机制，保证了数据的安全性和抗灾能力，避免因 数据丢失造成无谓的重复试验。工程技术人员可以方便快捷地查询试验数据，通 过可视化组件分析数据，对试验结果进行评估，加强设计、仿真和试验环节的结 合。通过查看零部件以往的试验数据，能帮助工程技术人员确定零部件是否适用 于某些新的应用环境，避免不必要的重复设计和试验，实现快速设计，提高复杂 系统零部件的复用性。数据库中的试验数据不会因为时间的变迁或人员的流动而 丢失，便于企业积累知识。当数据积累到一定程度时，通过数据挖掘技术可以更 多的揭示蕴藏其中的许多重要信息，如从产品设计到制造过程中未被发现的知识。 分布式数据管理系统的使用使各个部门能充分及时地了解设计及试验的说明和要 求，确保任务的完整性和准确性。通过试验数据管理系统的实施，必将进一步提 高汽车制造企业的试验水平、缩短研制周期、降低研制经费，为产品的研发提供 重庆大学硕士学位论文 4 有力的保障。 1.2 国内外研究现状 试验数据与其它类型的数据有很大的不同，数据的形式和格式多种多样，数 据量庞大。不同用户对试验数据管理和使用的需求也各不相同并且不断变化。由 于试验数据的这些特点，很难按照定制软件的开发模式开发出一个成功的试验数 据管理系统。对企业来说，自主开发定制的试验数据管理系统往往有下述问题： 开发周期长：一般需要多年的时间； 缺乏灵活性：难以适应试验数据不断变化的特点，系统的生命周期较短； 难以维护： 对开发系统的软件开发人员产生极大的依赖， 系统维护周期长， 研发成本高； 风险高：极可能造成投资和时间的浪费13。 虽然现在许多企业都意识到试验数据管理的重要性，也在这方面做了许多的 尝试，包括自行开发或由第三方开发了一些针对试验数据管理的软件系统。但由 于对试验数据管理复杂性和特殊性的认识不够深刻，开发出来的软件系统往往存 在着实用性， 可操作性， 灵活性和性能方面的诸多问题， 因而不能真正发挥作用13。 近些年来，许多企业都上了 pdm 来进行产品的相关数据管理，收到了很好的 效果。目前市场上成熟的商用数据管理系统很多，pdm 技术在全球广泛应用于机 械、电子、航空、航天以及非制造业领域14, 15。汽车工业也已经在全球范围内开 始实施 pdm 技术（如福特、通用等）。但在 pdm 系统中，bom 的生成和管理是 其核心应用，相关的数据具有典型的结构化特征，且有较强的相似性；而汽车试 验数据管理更多涉及到 cae/cat 方面，其数据特征与源于 cad/cam 的 pdm 系 统有很大差异，其数据的结构化特征不明显；随分析和试验类别的不同，数据之 间也很少有相似性，所以直接立足现有 pdm 系统进行试验数据管理功能的扩充， 有很大的技术难度，不能实现充分的融合。另一方面，从数据的安全性角度看， pdm 系统中是按照产品和产品状态（如发布、修订等）进行权限定义的；而试验 数据管理主要是从数据的作用域（限定为某种类型的数据）和控制权（只读、可 更改等）进行权限定义，所以 pdm 的安全机制也不适用于汽车试验数据的管理。 由于 pdm 软件的管理对象与汽车试验数据有很大的不同，故当前使用的 pdm 软 件不适合汽车试验数据管理，企业需要一个能够满足其具体需求的试验数据管理 系统，并要求系统有较好的扩充性能。 国内的汽车企业和其它研究机构对数据管理也进行了一些探索型的研究，通 过分析发现这些系统主要专注于试验