TDM系统中数据导入功能的设计和实现_第1页
TDM系统中数据导入功能的设计和实现_第2页
TDM系统中数据导入功能的设计和实现_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

TDM系统中数据导入功能的设计和实现

摘要:TDM系统的数据导入功能需要采用三层结构以适应保密需求;数据导入性能是关键指标，而Oracle数据库系统的外部表特性可以大大提高数据导入性能。

关键词:试验数据管理;TDM;数据导入;ETL

1背景

进入到21世纪以来，我国的TDM(试验数据管理)技术领域展现出蓬勃的生机，越来越多的行业和单位开始关注该技术和相关的解决方案，如航空、航天、兵器、船舶、汽车等。TDM系统正在成为企业提高试验管理水平、缩短科研周期、降低科研经费的重要手段。

作为一个综合数字化管理平台，TDM系统涉及很多复杂的功能和技术，而数据导入功能就是其中之一。

试验数据导入功能就是从各种格式的海量试验数据文件中快速提取目标数据、再转换清洗后装载到数据库中。

目前试验数据管理的需求状况决定了数据导入功能的重要性。

(1)试验数据格式多变

目前国际和国内的试验数据采集设备多种多样，并且还没有形成统一的标准，而且许多客户单位也大量采用非标设备，于是采集的试验数据格式也就多种多样。这对TDM系统的导入功能带来了很多的挑战。

(2)试验数据量很大

试验作为产品研发生命周期的重要工作，其地位日渐增强，试验产生的数据量也呈几何数量级增长。TDM系统的导入性能也就成为一个关键指标。

2数据导入功能特点

同许多ETL工具一样，TDM系统的导入功能包括extract(抽取)、transfer(转换)、clean(清洗)和load(装载)等几个步骤。

但是，试验数据管理的特殊需求决定了它又具有自身的特点。除了前面提到的数据格式多样、数据量大之外，单位保密要求对于产品架构设计产生了很大的影响。

许多单位，尤其是国防单位，都有严格的保密制度。在信息化系统的部署方面，普通用户计算机一般是不允许直接访问数据库的，只有指定的服务器才有权限直接访问数据库。这就决定了传统的C/S两层结构不能适应客户需求，B/S三层结构则成为必须的选择。

3三层结构解决方案

我们把系统分为三层结构:用户层、应用层和数据层，如图1所示。其中用户层为数据导入客户端工具;应用层为基于J2EE平台的应用服务器和FTP服务器，J2EE服务器提供WebService，包括WebService和JavaBeans等J2EE组件;FTP服务器提供对上传文件的管理功能，并提供多线程的文件

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论