企业数据总线技术架构说明

1、数据总线技术框架说明（转）目录1 描述以及约定1.1 约定1.1.1 应用， 在本文中的应用是指一个application ， 他可以是一个windows 应用程序，也可以是一个web 站点，也可以是一个移动终端应用程序。1.1.2 ws 服务，在文本中是指Web Services 服务1.2 CXF类库，是指 Apache CXF Services Framework 问题的提出现在的企业中存在各种应用（系统）和各种数据存储需求，但是各个应用之间的数据不能实现可控的数据共享，而且各个应用之间由于涉及到开发技术以及和环境的限制也为企业的数据共享设置了障碍，这种现状阻碍了企业各个应用之间和数据交

2、换和共享，也阻碍了企业对数据可控，数据管理，数据安全方面的需求，那么我们就需要有一种具有无关平台，无关应用，无关空间逻辑的一种数据集成和分配的系统，来管理企业现有的数据调用数据总线1.3 数据总线定义数据总线（DataBus）是集成各个原始数据库并对外提供一种有规则的，可控的数据链接存储服务1.4 实现目标1.4.1 集成原始数据库，能够对现有的数据库进行添加，删除操作1.4.2 对外进行数据存储服务功能，能够对外部数据存储服务，包括数据查询，数据删除，数据修改，数据存储过程以及函数的执行1.4.3 对应用来源（访问者）进行管理，能够对应用来源进行添加，启用，停用，授权，更改授权，删除等操作1

3、.4.4 能够新增，删除，修改API 函数，能新增，修改，删除，启用，停用API 函数，以实现对外部调用的响应的逻辑控制，这些API 的类型包括数据库的查询，修改，删除，存储过程以及函数执行等数据库操作1.4.5 对访问者的操作可控，能够对访问者的进行权限控制，包括查询，修改，删除操作的库范围，表范围，行范围，列范围的的执行权限，以及对访问的操作的时间进行控制，如可以对来源为新企的应用定义为只能在数据库A的ta,tb 表进行全时段的访问，而对于表tc， td 可以在 12:00 到18： 00 进行修改和删除操作1.4.6 对访问记录可查询，可监控，能够对各个访问者的操作记录进行历史查询，和实

4、时的监控访问者的操作1.4.7 连接安全措施，能有有效的加密连接，保证即使网络被监听情况也能保证数据的安全性，完整性，可校验性1.4.8 跨平台，跨语言，跨空间特性，能有效的支持任何平台和任何语言的远程调 用1.4.9 数据安全隔离，能够有效的隔离访问者对数据的直接操作，保证数据的安全 性2 技术框架2.1 总线程序物理层级架构新企灵狐中铁企业数据总线（企业信息总线）2.2总线程序物理拓扑结构IV数据库服务器2数据库服务器3总 线 服 务 器 调 用 数 据 库 的 数 据 实 现 数 据 的 链 接 存 储各 个 企 业 的新企服务器企业总线管理员负 责分配维护API函 数，以及规则的定i总

5、线服备器2.3总线程序架构逻辑模块层级视图灵狐服务器口 5用户终端AP I 实 现 系 统 运 作中铁服务器企业应用访问来 源以及 连接安 全审计(Secu rityChecke r)API函数服务宿主(API HOST访问逻辑控制层(Business Control )数据库访问层(Database Support)日志记录监视器(SystemMonitor)企业数据库2.4总线程序架构数据流逻辑视图3程序模块说明3.1模块图示3.2服务宿主 API层3.2.1 公共查询模块3.2.1.1 描述，公共查询模块，负责查询现有API实例，包括状态，函数参数说明，示例代码，服务控制人，调用方等信息

6、3.2.1.2 实现逻辑，主要根据系统中的API对外提供查询服务，让调用方能够得到技术支持3.2.2 API实例管理模块3.2.2.1 描述，API实例管理模块，负责管理 API实例的发布，启用状态，访问 信息，访问权限控制，状态查询等3.2.2.2 实现逻辑，通过 API实例管理模块实现 API实例的维护，控制等，能 有让管理员控制 API实例3.2.3 API 接口及类生成模块3.2.3.1 描述，API接口及类生成模块，能够根据管理模块的指令生成API发布所需的接口和类的Java代码3.2.3.2 实现逻辑，根据程序的接口定义以及通用类来实现，自动生成可编译的Java代码3.2.4 Ja

7、va 及时编译模块3.2.4.1 描述，Java及时编译模块，能够根据指定的Java文件和构建路径，编译Java代码为 Class或是Object3.2.4.2 实 现 逻 辑 ， 使 用 jdk 提 供 的 JavaCompiler ， 采 用 重 写SimpleJavaFileObject, ForwardingJavaFileManager, URLClassLoade勺方 式自定义编译 java代码为 Class使用DynamicClassLoader实现动态实 例对象3.2.5 API 函数构造模块3.2.5.1 描述， API 函数构造模块，能够实现API 函数的构造和发布功能，可

8、将构造的 API 函数发送的API 宿主模块3.2.5.2 实现逻辑，使用 CXF类库提供的ServerFactoryBean构造服务元，并在构造过程中添加拦截器回调和访问逻辑，以实现安全功能3.2.6 API 对外服务宿主模块3.2.6.1 描述，API对外服务宿主模块，能提供 webServices服务让外部从指定 的入口点进行访问，从而提供服务3.2.6.2 实现逻辑，通过构建模块构建ServerFactoryBean,使用 Create产生Server,配置按照构建模块的定义配置Endpoint,实现ws服务来提供外部访问3.2.7 访问及安全控制模块3.2.7.1 描述，访问及安全控

9、制模块为API 宿主模块的回调，它按照安全连接的规则定义，进行安全认证，可实现 x509证书，UserToken,自定义 密匙的方式的认证3.2.7.2 实现逻辑，按照API 宿主模块定义的Endpoint 的 InInterceptor ，OutInterceptor 的回调，来实现输出和输入的认证和处理3.2.7.3 图示3.2.7.43.3规则逻辑层1.1.1 逻辑控制管理模块1.1.1.1 描述，此模块能够维护逻辑规则，添加，删除，启用，停用逻辑规则 层，以及获取逻辑规则宿主的运作状态实时信息和日志1.1.1.2 实现逻辑，通过配置逻辑规则宿主的入口和各个逻辑规则层实现逻辑 规则的控制

10、，通过调用状态监控模块实现状态和日志的读取1.1.2 逻辑规则生成模块1.1.2.1 描述，能够响应逻辑控制模块的调用，生成逻辑规则控制模块的指定 的控制规则，并添加的逻辑控制宿主，实现逻辑规则的添加1.1.2.2 实现逻辑，根据程序定义的接口和通用类生成规则类的实例，并添加 到逻辑控制宿主1.1.3 逻辑规则控制宿主模块1.1.3.1 描述，此模块能提供唯一入口点，供外部调用，并通过工厂反射的模 式，松耦合的形式调用顺序的调用逻辑规则层，每一个逻辑规则层会 按照程序定义接口进行执行并返回1.1.3.2 实现逻辑，通过唯一的入口点调用实现集成控制，并在入口点执行环 境通过ClassLoader

11、来实例规则层并且调用来实现规则的控制1.1.4 逻辑规则状态监控模块1.1.4.1 描述，此模块通过逻辑规则控制宿主模块入口的回调来实现状态的读 取，并记录日志信息，以实现所有操作的可回溯1.1.4.2 实现逻辑，此模块定义唯一无阻拦式回调函数，供宿主模块入口点回 调，通过函数的回调信息，获取当前状态并记录和处理3.4 数据连接管理模块3.4.1 数据连接管理模块3.4.1.1 描述，此模块能够管理数据数据库实例的挂载和卸载，数据库驱动的 添加，并调用数据连接模块实现数据库操作的挂起3.4.1.2 实现逻辑，通过配置指定的数据库实例信息和开关，以供连接模块的调用，来实现连接数据库的控制3.4.

12、2 数据连接模块3.4.2.1 描述，此模块指定唯一的入口点供调用来实现数据库的操作3.4.2.2 实现逻辑，通过管理模块配置信息和入口调用信息，来判断数据库的 连接类型并动态载入连接驱动，通过驱动模块操作数据库3.5 客户端连接3.5.1 连接方式，客户端通过 soap协议，调用API实现数据库的访问3.5.2 访问安全，客户端通过私匙（或证书）加密， IP, MAC,密码信息到服务端, 服务端认证后提供服务，客户端接受传入连接需要验证通过客户端私匙加密服务端的IP, MAC,密码信息，这样就是实现了传入和传出安全验证3.5.3 通过平台化，客户端提供各种语言（。 Net, java, VC

13、）的帮助类库，辅助客 户端完成访问，客户端可以完全不关心实现逻辑（当然客户也可以自定义访 问，以为soap协议是通用的）4大致技术细节定义和约定4.1接口约定API操作返回结果?接口 ？特性特性操作操作特性特性特性操作操作操作1.1.1.11.1.1.2 实现方式，通过 API函数的参数实现传入参数的指定，当执行结果为 数据集的时彳宛返回DataTableResult,当执行单值返回结果是返回SingleResult,当执行无返回结果是返回VoidResult4.1.2 传入参数控制，每个函数的传入参数必须的原子数据类型，int, string等4.1.3 大数据量性能控制，系统单次最大返回的数据元素数量为5000行*500歹U,以避免程序形成资源锁4.1.4 异常控制，在系统中会使用外围异常控制，所以不会导致程序崩溃，程序会 打印所有异常信息到异常信息记录中，以被查阅和调试4.1.5 系统稳定性，需测试最高压力为企业实际业务数据量的3-5 倍数据请求压力验证4.2 可扩展性约定4.2.1 能够在不更改系统逻辑框架的范围内，进行后期开发，并为后期开发预留可 扩展接口和模块5 总结5.1 数据总线系统能有效的解决企业数据管理松散，数据共享，数据安全，系统整合，跨平台及跨语言应用等方面带来