企业数据开放平台建设思路

1、企业数据开放平台建设思路摘要：随着企业信息系统的运营及发展，与外围平台间的数据共享越来越密切，越来越多的企业信息系统将会开放内部核心数据资源，提供给第三方系统接入，便于共同开发数据资源。那么设计一个开放数据提供平台，把自己的数据资源准确及时的推送给第三方系统尤为迫切。企业数据开放平台的管理系统主要负责系统中各类数据的维护与管理，其中数据同步模块是企业数据开放平台的重要组成部分。关键词：企业数据开放平台设计中图分类号：TP3文献标识码：A文章编号：1007-9416（2015）04-0195-02企业数据开放平台是以提供基础数据服务为目的，为下游接入的子系统，提供标准化的接口，并实现与数据开放相

2、关的运营管理；整个系统分为上游数据源管理、下游接入系统管理，鉴权服务，数据同步服务等组成部分。上游数据源管理主要对数据提供方配置数据过滤规则，经过加工转换之后换成开放平台的标准格式数据。下游接入系统管理主要为接入方配置所需的数据模型，配置数据同步规则。鉴权服务主要对下游系统颁发访问令牌，只有通过合法授权才能正常访问数据。数据同步服务是数据开放平台最复杂及最核心的功能模块，完好的同步机制能保证数据同步的完整性、及时性及正确性。1数据开放平台组成图1显示了企业数据开放平台功能模块及上下游系统的关系。从图1可以看到完整数据开放平台的全貌，最顶层的是上游系统，上游系统是数据源，提供基础数据，通过数据适

3、配层的数据转换，把数据存储到数据中心。下游系统通过数据开放平台提供的数据同步服务取得数据资源。由此可见数据适配器及数据同步模块起承上启下的作用，是数据开放平台重点建设的功能模块。数据适配器的设计思路。由于数据由多个上游系统产生。不同的上游系统提供的硬件设施、网络环境、数据库管理系统，业务支撑系统、业务规范等很有可能都不一样，单一的依赖传统系统软件或工具已不能满足数据同步的需求，迫切需要设计一种企业级的应用解决方案，能够屏蔽复杂的数据结构和业务关系，使不同的网元间数据简单顺畅的流动到企业数据开放平台。数据适配器主要功能就是对上游系统提供统一的数据访问接口，对下直接与企业数据开放平台的数据库交互。

4、在系统支撑上数据适配器设计要求包括以下几个原与平台无关性：无论上游数据库管理系统处于何种环境，都能通过调用平台开放的接口，把数据存储到数据中心。可扩展性：设计的适配器能满足后续业务的扩展。如：能在不改变现有接口的协议上支持数据中心表字段的增加。可复用性：设计的适配器除了满足现有的接入的上游系统之外，能满足后续更多接入的上游系统。在业务及管理上数据适配器设计要求包括以下几个原则支持数据规则的配置。系统能灵活支持不同的上游系统不同的数据过滤规则。数据适配器在接收到上游系统的数据时，从配置规则里匹对所需要的数据，只有复合规则的数据才进行入库保存。支持数据的转换。上游系统通过适配器同步数据时，对于特殊

5、字段的值能够根据配置的转换逻辑进行个性处理，以便兼容到上游系统的特殊业务。支持数据的加工。上流系统同步数据时，对于不完整的数据，适配器能够自动根据配置的数据加工逻辑，对数据进行自动填充处理，使数据达到完整性。不能随便变更数据中心的业务约束。业务数据的业务规则应以数据中心的为准。当上游系统与数据中心的业务约束有冲突时，数据中心应该把这部分数据进行屏蔽或过滤处理。数据同步的设计思路数据中心的下游系统，是数据消费者。下游系统通过数据开放平台的同步机制来获取数据，因此设计可靠稳定及时的数据同步机制是数据同步建设的目标。数据同步建设的思路包括以下几点：1）对于所有下游系统必须经过合法授权才能访问数据。2

6、）对于所有下游系统必须要限定访问数据的范围和访问的频率，防止不必要的数据传输及过于频繁的请求访问，造成数据中心服务器压力问题。3）数据中心不允许下游系统反向更新数据，数据的录入及更新都在数据中心的上游系统执行。同步机制的选择，以下两种是业界常用的数据同步方案主动同步的方案具体来说由数据中心主动发起同步流程如下1）数据中心向下游系统发通知，告知下游系统数据有更新；2）下游系统收到通知后向数据更新请求数据；3）数据中心收到请求数据后，向下游系统发送数据；4）下游系统收到数据后进行入库保存。3.1.2被动同步方案具体来说由下游系统主动发起数据同步的请求流程如下1）下游系统向数据中心发起数据更新请求；

7、2）数据中心收到请求后，向下游系统发送数据；3）下游系统收到数据后进行入库保存。数据同步模块应该建立监控机制。监控包括性能监控、业务监控、预警等，主要监控数据请求、数据处理、系统压力三个方面。并提供预警机制，通过配置相关预警规则、实现业务异常的展现及处理等。4规范管理制定标准接口协议规范Webservice是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XML（标准通用标记语言下的一个子集）标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。对于数据适配器及数据同步接口非常适合采Webservice的形式。制定全流程管理规范无论是上

8、游系统、还是下游系统从零开始到成功接入到数据开放平台必定会有涉及以下内容：（1）业务评估。对于上游系统，企业数据开放平台必须充分评估上游系统的数据是否是数据中心需要的数据。对于下游系统，企业数据开放平台应该协助下游系统，评估数据中心的提供数据能否满足下游系统的业务要求。2）同步方案的选择。原则上无论是上游还是下游系统，均以数据开放平台的标准接口协议来实现数据的同步。不允许为了某个下游系统而改变现有的同步机制。但如果某个上游系统过于强势，已经有成熟的数据同步解决方案时，可以在数据适配器与此上游系统之间架设一层数据中转后台，这个数据中转后台等于为此上游系统单独服务的，用于平滑它的接入，数据适配器直

9、接对接这个数据中转后台。3）接入配置。系统应该设计有接入方的管理功能，对于上游系统能够配置数据适配置器的过滤规则、数据的转换规则、容错处理规则等。对于下游系统能够配置数据消费者需要哪些数据、数据消费者的授权码，数据加密的密钥、消费者IP等等。4）配合上下游系统的开发联调实施。对于上游系统接入，需要验证上游系统同步过来的数据是否正确入库，入库的数据能否正常流转到下游系统。如果开放平台还为上游系统独立开发了数据中转后台，还需要验证上游的业务系统是否正确的把数据同步到数据中转后台。对于下游系统，一般需要验证数据中心的数据是否正常流转到下游系统，一般而言开发的联调工作在于下游系统，但也需要数据开放平台配合实施。5）上线前数据割接。对于上游接入的系统，需要把上游存量数据做一次割接。上游系统割接数据之后，数据中心会把数据复制多份给下游系统，系统顺间暴发巨量的数据同步，对于数据中心性能会是一个考验。因此割接宜在系统压力最轻的时间段内执行（如晚上10点过后）。另外在割接上游系统的数据时务必保证数据的正确性，如果数据割接存在问题那么造成数据回滚的成本会相当大。对于下游系统，系统上线前宜采用文件的形式做一次历史数据的全量割接，这样对数据中心的压力是最小的。6）上线后的运营管理。无论是上游系统，还是下游系统，在运营过程中肯定会提出很多优化建议或业务需求。对于这些建议