数据架构设计（数据架构组）

1数据架构设计（数据架构组）

1.1概述

LL1总体描述

相对于业务架构和应用架构，数据架构在总体架构中处于基础和核心地位。

因为信息系统支撑下的海关业务运作状况，是通过信息系统中的数据反映出来

的，数据信息系统管理的重要资源。因此构建海关的IT总体架构时，首先要考

虑数据架构对当前业务的支持。理想的IT总体架构规划逻辑上是数据驱动的，

即：首先根据业务架构分析定义数据架构；然后根据数据架构结合业务功能定义

应用架构；最后根据应用架构与数据架构的定义，来设计技术架构。

1.1.2数据架构蓝图

逻辑蓝图

数据规划

数据数据分片、路由.结果集处理，数据

OLTP.OLAP.数据同步

数据定义接入动态扩展，故障切换、数据同步服务

数据分类统_数据集成数据

MapReduceOLAP

计算（ETL）挖掘(CEP)

数据分布技

术统一存储

实结构化数据非结构化数据

数据建模

现

在线事务处理在线分析处理大规模分布式

里集争流

内

市市市计

存

算

仓库

OldSQLNewSQLNoSQL

OLTP/OLAPOLTP/OLAP大规模、非结构化

商用开源关系数据库列存MPPHadoopstorm

核心交易非核心管理只读在线分析MapReducejjSJbS

数据治理信息资源目录元数据主数据数据标准规范数据质量数据安全数据生命周期

图：数据架构总体逻辑蓝图

数据架构的六个统一，即统一数据规划、统一存储、统一计算、统一服务、

统一接入、统一数据治理。

物理蓝图

CD

L

数据区核心交换机数据区核心交换机

颉金内存数据库大数据平台数据仓库

Mn,ilViITTYIIiTiWiffiTH1(

'Fil”“，，i«”i”《，《‘，”，ii；；।

存储充法Q、储交换机虚拟带库

1

ISAN存储阵歹VSSD加速

1।

图4--1-1

•通过万兆连接核心交换区,实现网络高速交换，确保可靠性

•各服务器均双线连接数据区核心交换机，消除单点故障

•结构清晰，层次分明

1.1.3设计原则

1、整体性原则

共享服务平台必须根据统一的总体方案的统筹规划，按总署、直属海关、隶

属海关的功能划分实行多级部署，同时按照职责分工进行建设和管理，保证三个

层级的部署构成一个整体，各部分通信畅顺，信息共享，形成一个全国性的共享

服务平台。

2、标准化原则

总署统一制定信息资源共享服务的技术标准、通信协议标准、数据交换报文

标准，提供数据访问功能、基本业务逻辑处理功能的标准组件。系统的开发、集

成按照规定的标准进行，保证海关共享服务平台的结构一致性和技术规范性。

3、安全与效率并重原则

总结和汲取超大业务量海关的成功经验，采取充分足够的技术手段和管理制

度，在保证共享服务平台与海关业务应用系统之间高速的数据交换，在保证共享

服务平台良好运行效率的同时，保证海关业务运行网和业务管理网的信息安全和

运行安全。

系统设计方面要充分考虑共享服务平台数据量大、负荷高等因素，严格控制

程序流程设计、严把程序编制质量、同步制定配套的系统运行管理办法，确保共

享服务平台运行的高效性和稳定性。

4、系统功能与职责分工相适应原则

平台多方共建，发挥各方面的积极性，信息系统、业务系统与业务管理或操

作运行的主体之间的关系和分工必须明确。

5、一致性原则

共享服务平台在体系架构上必须与金关业务解决方案的框架保持一致，在系

统开发建设的设备选型、开发技术、认证授权、门户框架、数据定义、参数管理、

通信协议、网络结构、安全运维等方面必须与金关总体技术方案保持一致，保证

共享服务平台成为现代海关综合管理系统的有机组成部分。

注:整体统筹原则

数据层和应用层解耦

数据的高可靠

服务的高可用

1.1.4设计目标

“信息资源体系建设”是一项长期工程，是支撑海关各个业务条线之间实现

充分协作信息共享基础架构。将确保金关工程二期在海关信息资源开发利用方面

抓住数据一致性、规范性等数据质量源头建设，形成统一顶层设计，做到海关信

息资源一盘棋，数据统一管控，统一开发利用，促进海关信息共享、业务协作效

率和科学决策水平的更高提升。

总体目标主要包括以下五个方面内容：

1、实现信息资源整合

信息资源规划的一项很重要的目标就是要解决目前信息系统建设中的重复

建设问题，达到信息系统的整合和集约，信息资源规划是信息系统顶层设计的一

部分，能够从整体上对信息资源进行设计，并能够提供信息系统建设的标准和规

范，这样信息系统就能够以此为标准，进行适时、适度、逐步整合，最终达到消

除冗余，集约良性发展的效果。

2、提高技术响应速度

业务需求的变化和技术的响应速度之间一直是一对矛盾，信息资源规划通

过对信息系统，尤其是信息资源架构进行科学设计，可以增强信息资源架构的稳

定性，当业务需求变化时，可以通过很少的数据结构和程序变动就能够满足业务

需求，这样不但提高了技术响应速度，而且能够增强系统的稳定性，降低故障率。

3、实现信息共享

信息资源规划通过建设信息共享服务平台，实现了数据的集中存储和计算,

并实现了对外统一的服务接口，不论是对于海关内部的信息共享需求，还是外部

的数据共享需求；不论是直接面向用户的共享查询，还是面向应用系统的数据服

务，都可以通过数据服务共享平台解决。

4、实现大数据分析

海关要实现智能海关，必须实现海关信息系统的物联化、互联化、智能化,

而最重要的就是智能化，即通过大数据分析，为海关准确决策提供信息支持。信

息资源规划通过设计和实现数据共享服务平台，引入并行数据库、分布式数据库

等大数据存储和计算技术，能够解决海关的大数据分析问题，达到数据用得好、

决策准的业务目标。

5、提升数据质量

信息资源规划通过设定标准规范、业务管理流程，能够规范数据的定义、存

储、使用、传输、交换，使得数据采集更加规范、数据传输更加准确高效，数据

使用更加安全方便，通过各种管理流程和规范，能够大幅提升数据质量。

1.2数据定义

1.2.1总体描述

数据的基本结构分三个层次，反映了观察数据的三种不同角度。

(D概念数据层。它是数据的整体逻辑表示。指出了每个数据的逻辑定义及

数据间的逻辑联系，是存贮记录的集合。它所涉及的是数据所有对象的逻辑关系，

而不是它们的物理情况。

(2)物理数据层。它是物理存贮设备上实际存储的数据的集合。这些数据是

原始数据，是用户加工的对象，由内部模式描述的指令操作处理的位串、字符和

字组成。

⑶逻辑数据层。它是用户所看到和使用的数据，表示了一个或一些特定用

户使用的数据集合，即逻辑记录的集合。

1.2.2业务域

根据目前海关不同的网络，运行网、管理网和接入网以及总署和直属的这种

物理关系，梳理出每个域中业务情况和相互的关联关系划分出不同的业务域。

海关目前的现状梳理出来的业务域有：公共域、首长决策域、公共办公域、

业务管理域、综合保障域和内部监控

公共域：

1）公共时间域

2）公共金融域

3）公共位置域

4）公共人员域

5）公共机构域

6）公共参数域

首长决策：

1）署长办公

公共办公：

1）办公

2）国际事务

业务管理：

1）政法

2）关税

3）监管

4）物流

5）加贸

6）稽查

7）缉私

8）统计

综合保障：

1）科技

2）财务

3）关务保障

4）人事

内部监控

1）督查审计

2）监察

根据业务划分核心数据和非核心数据。

1.2.3概念模型设计

概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息

需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自

然聚集成的几个主要类别数据。

概念数据模型的内容包括重要的实体及实体之间的关系。在概念数据模型中

不包括实体的属性，也不用定义实体的主键。这是概念数据模型和逻辑数据模型

的主要区别。概念数据模型的目标是统一业务概念，作为业务人员和技术人员之

间沟通的桥梁，确定不同实体之间的最高层次的关系。

根据业务域的划分，梳理跨业务域的端到端的业务流程，从而梳理出大的对

象之间的关系和小的业务流程。

例如，用户（user）E—R图

1.2.4逻辑模型设计

逻辑数据模型反映的是系统分析设计人员对数据存储的观点，是对概念数据

模型进一步的分解和细化。

逻辑数据模型是根据业务规则确定的，关于业务对象、业务对象的数据项及

业务对象之间关系的基本蓝图。逻辑数据模型的内容包括所有的实体和关系，

确定每个实体的属性，定义每个实体的主键，指定实体的外键，需要进行范式化

处理。

逻辑数据模型的目标是尽可能详细的描述数据，但并不考虑数据在物理上如

何来实现。逻辑数据建模不仅会影响数据库设计的方向，还间接影响最终数据库

的性能和管理。如果在实现逻辑数据模型时投入得足够多，那么在物理数据模型

设计时就可以有许多可供选择的方法。

解决端到端的业务流程梳理出大量的小流程和对象关系，进一步梳理出各个

业务域的业务对象及其行为和属性。

1.2.5物理模型设计

物理数据模型是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，

进行数据库体系结构设计，真正实现数据在数据库中的存放。

物理数据模型的内容包括确定所有的表和列，定义外键用于确定表之间的

关系，基于用户的需求可能进行发范式化等内容。在物理实现上的考虑，可能会

导致物理数据模型和逻辑数据模型有较大的不同。

物理数据模型的目标是指定如何用数据库模式来实现逻辑数据模型，以及真

正的保存数据。

常用的设计范式，以及对于数据量大的业务，在数据模型层面不处理表之间

的主外键之间的关系。

主要将逻辑模型的各个业务对象及之间的关系，以表、主外键及关联表的方

式表示。针对各个逻辑模型勾勒出各个域的ER模型。

1.3数据分布

1.3.1总体描述

将数据物理分布式处理方式逐步转为集中式处理方式，本节主要描述数据在

各个业务子系统之间的逻辑分布，以及数据物理分布。

1.3.2逻辑分布

业务应用类数据

系分业务分析类数据

统系

子系统名称系统应用类型缉企归审企数应情决风物专数

名统

私业类单业据急报策险流家据

称名

监信风执综交指预分监链会信

称控息险法合换挥警析测监诊息

指应监资监控审管

挥用控信测分单理

析

风风险监控子系实时性要求不

险统高的OLTP

管

理

分风险处置子系实时性要求不

系统高的OLTP

统

应应急监控预警实时性要求不

急子系统高的OLTP

指

挥

分应急指挥调度实时性要求不

系子系统高的OLTP

统

全

国决

策

H

分

G决策分析分系

析OLAP

监统

控分

系

指

挥统

系

值

统

班

管

值班管理分系实时性要求不

理

统高的OLTP

分

系

统

预预案管理子系实时性要求不

案统高的OLTP

管

理

分演练管理子系实时性要求不

系统高的OLTP

统

缉实战管理子系实时性要求不

私统高的OLTP

作

信息支持子系实时性要求不

战

统高的OLTP

指

挥

分地理信息子系实时性要求不

系统高的OLTP

统

移动客户端框实时性要求不

架子系统高的OLTP

移动端统一入实时性要求不

口子系统高的OLTP

移

动移动应用服务实时性要求不

应中间件子系统高的OLTP

用

分移动应用管理实时性要求不

系子系统高的OLTP

统

移动设备管理实时性要求不

子系统高的OLTP

业务应用插件实时性要求不

子系统高的OLTP

地

理

信

息

系

地理信息系统实时性要求不

统

应用分系统高的OLTP

应

用

分

系

统

企业诚信守法实时性要求不

进

申报子系统高的

出OLTP

口企业资格管理实时性要求不

企

子系统高的OLTP

业

诚报关员管理子实时性要求不

信系统高的OLTP

管企业稽（核）实时性要求不

理查子系统高的OLTP

系

企业诚信守法

统实时性要求不

信息采集子系

高的OLTP

统

企业诚信守法

实时性要求不

规则管理子系

高的OLTP

统

企业诚信守法

实时性要求高

差别化应用子

的OLTP

系统

企业诚信守法

信息指标统计OLAP

子系统

企业诚信守法

OLAP

评估子系统

企业诚信守法

绩效评估子系OLAP

统

加加工贸易手册实时性要求高

工申报子系统的OLTP

贸

易

手

加册加工贸易手册

实时性要求高

工管审批管理子系

的OLTP

和理统

保分

税系

货统

物

加加工贸易账册实时性要求高

管

工申报子系统的OLTP

理

贸

系

易

统

账

加工贸易账册

册实时性要求高

审批管理子系

管的OLTP

统

理

分

系

统

HHG特殊监管

实时性要求高

G区域管理申报

的OLTP

特子系统

殊

监

管

区

HG特殊监管

域实时性要求高

管区域审批管理

的OLTP

理子系统

分

系

统

保保税监管场所实时性要求高

税申报子系统的OLTP

监

管

场

所保税监管场所

管实时性要求高

审批管理子系

的OLTP

理统

分

系

统

保保税业务监控

OLAP

税分析子系统

综

管

理单耗管理子系实时性要求不

分统高的OLTP

系

统

物流链数据收实时性要求高

HH

集子系统的OLTP

GG

物物物流链信息展实时性要求高

流

流示子系统的OLTP

监链

控可物流链分析预实时性要求高

系视警作业子系统的OLTP

统化物流连信息预实时性要求高

管警处置子系统的OLTP

理

物流可视化预

分实时性要求高

系警参数管理子

的OLTP

统系统

智前端集成子系实时性要求高

能统的OLTP

卡

现场服务子系实时性要求高

口

统的OLTP

分

系后台核放子系实时性要求高

统统的OLTP

机检查验管理实时性要求高

子系统的OLTP

查

验人工查验管理实时性要求高

业子系统的OLTP

务

知识产权自动实时性要求高

管

识别子系统的OLTP

理

分辅助管理子系实时性要求高

系统的OLTP

统

统计查询子系实时性要求高

统的OLTP

机机动巡查作业实时性要求高

动管理子系统的OLTP

巡

查

管

理机动巡查查询实时性要求高

分统计子系统的OLTP

系

统

通关电子数据实时性要求高

通报

申报子系统的OLTP

关关

管单通关事务/行政

实时性要求高

理通许可审批子系

的OLTP

系关统

统无

纸报关单无纸化实时性要求高

化审单子系统的OLTP

分

系报关单无纸化实时性要求高

统放行子系统的OLTP

快件管理子系实时性要求高

统的OLTP

旅客行李物品实时性要求高

监管子系统的OLTP

非

报邮政总包监管实时性要求高

关子系统的OLTP

单

管邮件通关监管实时性要求高

理子系统的OLTP

分

特殊人员及机

系

构进出境公自实时性要求高

统

用物品通关子的OLTP

系统

免税店及商品实时性要求高

监管子系统的OLTP

通关电子随附

实时性要求高

单据管理子系

电的OLTP

统

子

随执法电子随附

实时性要求高

附单据管理子系

的OLTP

单统

据

通关电子随附

管实时性要求高

理单据归档管理

的OLTP

分子系统

系

执法电子随附

统实时性要求高

单据归档管理

的OLTP

子系统

公共服务子系实时性要求高

接

统的

单OLTP

环现场作业子系实时性要求高

节

统的OLTP

派

单挂号管理子系实时性要求高

叫统的OLTP

号

分杳询统计子系实时性要求高

系统的OLTP

统

关税电子数据实时性要求高

申报子系统的OLTP

减免税管理子实时性要求高

系统的OLTP

原产地管理子实时性要求高

系统的OLTP

归类风险监控

OLAP

子系统

价格管理子系实时性要求不

关统高的OLTP

税

报关单批量复实时性要求不

管

审子系统高的OLTP

理

系审单辅助支持实时性要求不

统子系统高的OLTP

远程专家在线

实时性要求高

会诊/审单子系

的OLTP

统

商品条码信息实时性要求不

管理子系统高的OLTP

征税管理子系

OLAP

统

征税分析子系实时性要求高

统的OLTP

数数据抽取分发实时性要求不

H

据子系统高的

GOLTP

基分

础析

数管

理动态数据仓库

据OLAP

子系统

管分

理系

系统

统H数据质量监控实时性要求不

G子系统高的OLTP

业

业务数据管理实时性要求不

务

子系统高的OLTP

数

据数据信息管理

OLAP

管子系统

理

分

统一数据加工

系OLAP

子系统

统

刑事执法子系实时性要求不

统高的OLTP

执行政执法子系实时性要求不

法统高的OLTP

规

辅助办案子系实时性要求不

范

统高的OLTP

分

系证据管理子系实时性要求不

统统高的OLTP

协查管理子系实时性要求不

统高的OLTP

缉督察管理子系实时性要求不

统高的OLTP

私职

管

能绩效管理子系实时性要求不

理

管统高的OLTP

系

理

统分要案管理子系实时性要求不

系统高的OLTP

统

综合应用子系

OLAP

统

情报信息采集实时性要求高

情子系统的OLTP

报

作情报线索办理实时性要求不

高的

业子系统OLTP

分境外执法合作实时性要求不

系

子系统高的OLTP

统

情报产品生产实时性要求不

子系统高的OLTP

情报预警监测实时性要求高

子系统的OLTP

情报信息智能

OLAP

检索子系统

情情报专题研判

OLAP

报子系统

研

常用研判工具

判OLAP

集子系统

分

系图形视频研判

OLAP

统子系统

情报研判模型

OLAP

管理子系统

情报监督子系实时性要求不

统高的OLTP

情绩效评估子系实时性要求不

报统高的OLTP

管

情报培训子系实时性要求不

理

统高的OLTP

分

系情报应用积分实时性要求不

统子系统高的OLTP

业务数据监测

OLAP

与处理子系统

缉私办案离线实时性要求不

支持子系统高的OLTP

情缉私信息决策实时性要求不

报支持子系统高的OLTP

服

情报布控及协实时性要求高

务

查子系统的OLTP

分

系HG监管支持实时性要求高

统子系统的OLTP

情报共享交换实时性要求高

子系统的OLTP

对联企业综合资信

实时性要求不

外网库数据采集子

联数系统高的OLTP

网据

联网核查证件

应采实时性要求不

数据采集子系

用集高的OLTP

统

系分

统系情报公安数据实时性要求不

统采集子系统高的OLTP

外单位数据采实时性要求不

集子系统高的OLTP

互联网公开数实时性要求不

据采集子系统高的OLTP

数企业综合资信

据数据处理子系OLAP

转统

换

处

联网核查证件

理实时性要求不

分数据处理子系

高的OLTP

系统

统

自动进口许可

实时性要求高

证联网核查子

的OLTP

系统

密码产品和含

联有密码技术设

实时性要求高

网备进出口许可

的OLTP

核证联网核查子

查系统

通

濒危物种允许

关

进出口证明书实时性要求高

处

联网核销子系的OLTP

理

统

分

系进口药品通关

实时性要求高

统单联网核销子

的OLTP

系统

进口兽药通关

实时性要求高

单联网核查子

的OLTP

系统

原产地证书联实时性要求高

网共享子系统的OLTP

关库联网核销实时性要求高

子系统的OLTP

加工贸易多方

实时性要求高

联网管理子系

的OLTP

统

联网数据企业实时性要求不

服务子系统高的OLTP

数

联网核查国家

据

（地区）、部实时性要求不

对

高的

外委数据服务子OLTP

系统

服

务

企业综合资信

实时性要求不

分数据政务服务

系高的OLTP

子系统

统

缉私案件数据实时性要求不

服务子系统高的OLTP

1.3.3物理分布

数据存放：

集中存放+灾备？分布式主从模式？分布式无中心化？

数据：核心交易：商用关系DB+小机集群？分析：newSQL+小机集群？低价

值密度的大规模数据：NoSQL+大规模普通机器集群

据地理分布：交易数据集中存放+灾备；其他管理支持类应用数据可三中心

分别存放?

1.4数据分类

1.4.1总体描述

数据分类是企业数据的组成部分，其目的是为了满足各种数据需求对数据组

织的要求，根据数据内容的属性或特征，将信息按一定的原则和方法进行区分和

归类，并建立起一定的分类体系，为数据的合理分布提供决策依据，以便管理和

使用数据信息。

1.4.2分类原则

在数据分类时遵循以下原则：

数据分类需要满足各种数据需求对数据组织的要求，即数据分类应该独

立于具体的数据模型；

数据分类应有利于数据的维护和扩充。

1.4.3分类内容

金关工程二期综合考虑海关应用系统所产生的数据属性、应用性质、处理方

式、使用范围等因素对数据进行分类，同时考虑对数据进行生命周期管理和数据

质量管理；海关数据可以从业务、生命周期及数据特点进行分类。

1、按照业务，海关的数据分为数据管理类（N）、业务基础类（Y）、业务处

理类（Y）、业务管理类（N）、业务应用类（N）、业务分析类（N）六类数据。

数据管理类

无效收胃刑

目城管理.股务

十命周期管层

动态数据任阵

数据抽取分发

效柢陵中监控

统一数抠如，

★表示在期

的基础匕扩充♦

其它为新建

业务数据分类

核心和非核心数据与上面业务域数据之间的对应关系

数据管理类数据，此类数据包含动态数据仓库、数据抽取分发、数据质

量监控、统一数据加工、数据生命周期管理中的数据。

・业务基础类数据，此类数据包含商品条码、企业信息基础、多维、公安

信息资源、案件信息服务资源、自动许可证联网核查、联网核销、原产

地证书联网共享、加工贸易多方联网、GIS应用、核心系统参数、海关

情报信息采集、海关情报移动支持的数据。

・业务处理类数据，此类数据包含报关单、免税品、行邮、关税电子、外

单位信息资源、加贸手册、加贸账册、互联网信息资源、智能卡口、核

心系统基本通关、核心系统辅助通关、核心系统备案的数据。

・业务管理类数据，此类数据包含减免税管理、原产地管理、价格管理、

业务数据管理、机动巡查、值班、预案、移动应用、海关特殊监控区域、

保税监管场所、保税综合管理、批量复审、海关情报业务管理、海关情

报境外执法合作、执法规范化业务执法、执法规范化辅助办案、执法规

范化职能管理的数据。

・业务应用类数据，此类数据包括缉私监控指挥、企业信息应用、归类风

险监控、审单执法、企业综合资信、数据交换、应急指挥、海关情报预

警监测的数据。

・业务分析类数据，此类数据包含决策分析、风险数据、物流链监控分析、

专家会诊审单、数据信息管理的数据。

2、按照数据来源以及服务对象，海关数据可分为对外交换数据、生产数据、

共享数据、决策支持数据、元数据五类。

・对外交换数据，此类数据包括物流舱单、国外海关、电商订单、互联网

舆情、政务公开等数据。

・生产数据，此类数据包括报关单、证件核销、税收、减免税、证件监管、

加贸手册、加贸合同、加贸单耗、风险布控、风险查验、行政办公等数

据。

・共享数据，此类数据包括企业主数据、商品主数据、公共业务通关、公

共业务企管数据。

・决策支持数据，此类数据包括数据仓库、数据集市、业务报表、分析报

告等数据。

・元数据，此类数据包括技术元数据、数据模型、指标体系、标准化等数

据。

3、按照生命周期，海关数据可以分为“生产数据（核心，非核心）”、“分析

数据”、“归档数据”三类。

4、按照数据本身的特点，海关数据可以分为结构化数据和非结构化数据，

结构化数据主要是应用系统生成的存储在关系数据库中的数据，数据具有明显的

共性结构特点。非结构化数据主要指一些文本、图片、图像、视频、音频等数据。

对于某一种数据（维度中的1个格子）对应一种存储技术。

1.5数据接入

1.5.1总体描述

数据统一接入层主要目的是解耦应用系统和数据存储之间的关系，本部分主

要描述应用系统和关系型数据库之间的解耦，应用与其他类型的存储之间的关系

在本章的其他小节来描述。其整体架构如下图所示：

应用系统

代理访向

统一访问服务统一接入

-rmvr7

配置数据管理’

一理引涉r

结果集处理备份管理

应用系统管理

Sql的解析数据扩容

逻辑节点管理

数据路由数据分片

■物理节点管理

路由规则管理

数据驱动

数据节点池故障切换故障备份扩容迁移管理

备份管理

MysqlOracleSQLServer

l_i_、十ucr

一^M

上层为应用系统；下层为关系数据存储。中间层为统一接入平台。一般的应

用开发，应用层直接通过数据的驱动直接访问关系数据库进行数据的存取。在我

们的数据架构中增加了一层统一接入层，其目的主要解决：

1、提供统一的访问服务。

2、对应用来说，屏蔽了数据库本身的差异，数据库对应用来说只是服

务。

3、提供了服务的高可用，上层应用无需关心下层存储的可用性问题，

JDS层会做自动的主备切换，防止单点故障。

4、提供了数据的高可靠，上层应用无需关心下层存储数据的可靠性问

题，存储层会自动做好数据的自动全量及增量备份工作。并在需要

的时候可以快速从备份恢复数据。

5、支持数据的自动拆分，可应对海量数据的存储及高性能访问场景，

对上层应用拆分逻辑完全透明，应用使用标准客户端即可使用。

6、数据存储自动扩容，应用无需关心底层存储的容量问题，一键进行

数据的迁移及扩容工作。

7、整体系统运维的自动化智能化管理，运维成本低。

1.5.2统一访问服务

统一访问服务主要是为上层应用提供一个透明访问代理层，应用无需关心底

层存储细节及产品类型，统一访问服务层帮助应用抽象出了一个统一入口，屏蔽

掉了底层的不同存储产品带来的复杂性。并同时实现了高性能具备过载保护及容

灾功能的接入服务，应用通过软负载均衡设备来接入服务，软负载均衡设备会实

现多个接入节点的状态监测，故障剔除等工作。同时接入服务层提供了过载熔断

等保护功能，保护后端代理的存储节点的稳定和安全。

1.5.3处理引擎

SQL解析模块

处理引擎会进行SQL请求的拦截和处理，并根据路由信息对SQL语句进行修改

或拆分，如果涉及多个节点，则会将拆分后的SQL请求并行发送到不同的物理

实例上，并等待结果返回，在查询结果返回后，接入层会进行结果集的合并和计

算，最终返回给客户端，整个过程对客户端完全透明。

153.2数据分片

数据分片模块可以将数据按照应用指定的规则进行水平切分，解决容量和访问量

的问题，即可以不使用任何高端存储设备，只用普通x86机器完成很多高端存储

才能达到的存储能力和访问能力。降低海关业务整体的硬件成本。数据可以根据

海关各子业务的访问规则进行灵活配置，灵活扩展。

数据路由

海关各业务针对各自访问规则进行了数据水平切分和分片后，引擎层逻辑会通过

具体的访问规则将实际的访问请求路由到指定分片。路由规则的存储是在元数据

管理模块中，并推送给逻辑处理引擎。逻辑处理引擎会本地存储路由规则，正常

的访问流程在逻辑引擎本地查询相关规则即可，无需访问远端的元数据管理模

块。

1.534结果集处理

数据进行了分片并路由到指定后端存储节点后，会在远端的存储节点执行，并将

数据返回给逻辑引擎，由于数据可能已经被水平拆分过，所以有可能会涉及到多

个远端的存储节点，即多个远端节点的数据需要进行结果集的汇总和再计算工

作，比如orderby或者groupby等语句的执行，需要在逻辑引擎中进行结果的缓

存和计算工作，这部分逻辑集成在了逻辑引擎内部，对业务端是完全无感知的。

1.535数据扩容

虽然我们可以按照业务类型预先对数据的容量和访问量做好规划并进行数据的

水平切分和路由，但是通常我们预先规划的容量是未必完全合适的，这个时候我

们可能需要对数据进行再次水平切分进行扩容迁移等操作，这个过程需要统一接

入管理平台与逻辑引擎共同完成，逻辑引擎负责线上路由切换的一部分，并通过

一些手段完成多个逻辑处理引擎节点之间的同步问题，保障数据的可靠性和一致

性。

153.6备份管理

备份管理主要保障数据的高可靠。数据的高可靠是通过系统后台自动定时全量及

增量备份数据到云存储端来完成的。全量备份及增量备份的间隔时间通过管理系

统可以灵活配置，全量备份采用快照机制不会对线上访问造成任何影响，增量备

份通过数据库binlog完成。

1.5.4数据驱动层

数据驱动层会对涉及的所有物理节点进行管理，能够方便灵活的配置物理节点信

息，动态增减机器规模。并对节点进行实时监控和检测，剔除故障节点，保障业

务使用的稳定性.

154.1故障切换

故障切换模块保障服务的高可用性，这是通过底层存储数据库的主备切换来完

成，系统会监控所有管理的数据库实例，发现某个实例异常或故障后，会自动将

访问切换到从库上，并通过数据库的半同步机制来保障数据在切换过程中是完全

没有任何数据丢失的。

154.2协议适配

由于海关业务可能会涉及不同种类的数据库存储节点，针对这种情况可以通过单

独的协议适配模块进行协议的转换。对上层业务使用标准SQL语句或者其它具

体某种

数据库方言均可正常访问。

1.5.5统一接入管理平台

统一接入管理平台主要进行整体接入系统的一些管理工作，比如元数据的存储，

监控检测机制，自动化运维模块等。

1.551配置数据管理

配置数据管理主要存储整体接入系统的一些配置信息，比如集群数据库的一些参

数组配置，安全组配置等信息，可以方便的完成集群中部分机器的一些特殊定制

配置等需求，给整体系统带来比较大的灵活型。

1.552应用系统管理

应用系统管理模块对接入的应用和业务进行统一管理。主要包括应用具体的一些

接入信息配置，包括应用独立的一些配置数据，注册信息，访问用户权限和角色

等。

逻辑与物理节点管理

统一管理模块会对整个集群的所有物理节点和逻辑节点进行管理，物理节点涉及

所有机器的配置信息，运行中的动态负载信息，状态信息等。逻辑节点是暴露给

业务使用的一些抽象的逻辑库和逻辑表，并对此进行具体的逻辑到物理节点的映

射工作。该模块也是配合路由规则管理模块协同工作的。

155.4路由规则管理

路由规则即具体分片规则信息，该信息通过统一接入管理平台来进行存储和管

理，并通过统一管理平台与逻辑引擎进行交互。业务的路由规则录入与变更首先

会通过统一管理平台的管理端界面进行录入和修改，统一管理平台会将变更信息

推送给所有的逻辑引擎。并通过内部加锁等机制完成各逻辑节点更新的一致性问

题。

扩容迁移管理

扩容迁移功能是通过统一接入平台来完成的和发起的，监控系统会检测所有物理

节点的使用情况，包含数据量和访问量的信息，根据系统当前负载情况判断是否

需要进行迁移和扩容工作。当需要进行此项工作时，统一平台会发起迁移任务，

迁移任务交由一个工作节点进行线下的物理数据迁移，待到达指定阈值时会通知

逻辑引擎进行相关路由的锁定与切换工作，完成迁移和扩容的过程。

1.556备份管理

备份管理模块会统一调度和进行所管理物理节点的数据全量备份与增量备份工

作，具体备份的时间与间隔通过统一平台的管理界面进行配置。全量备份通过操

作系统的块设备的快照机制完成，对业务访问无任何感知和影响。增量备份通过

数据库的binlog来完成。所有备份文件统一上传至统一存