集团企业数字化转型及大数据可视化平台建设方案

企业数字化平台及企业大数据可视化

平台建设方案

目录

第1章方案总述21

1.1项目背景21

L2项目目标22

L3项目建设原则22

第2章系统建设规划23

2.1项目建设目标的理解23

2.1.1项目建设范围.24

2.1.1.3数据范围24

2.1.2项目建设内容.24

2.L2.3统一报表平台26

2.22.2.1集团大数据平台的建设目标26

2.2.12.2.1集团大数据平台一期建设目标.26

2.2.22.2.1集团大数据平台二期建设目标.27

第3章整体设计方案27

3.1系统设计方法论27

3.1.1方法论27

3.1.2设计原则29

3.1.2.1标准规范30

3.1.2.3可扩展性31

3.L2.5可管理性32

3.1.2.7安全性33

3.1.2.8可重用性34

3.2数据平台技术体系35

3.2.1数据平台逻辑架构.35

3.2.1.1数据集成区35

3.2.1.2集团分析型数据区36

3.2.L3管理平台区36

3.2.L4统一报表展现平台36

3.2.1.5ETL设计关键技术点说明37

3.2.1.5.1.1ETL处理策略37

3.2.1.5.L2ETL处理流程37

3.2.L5.2质房检核38

3.2.1.5.2.1ETL处理原则38

3.2.1.5.2.2ETL处理方法38

3.2.2数据采集设计38

3.2.2.1T+1数据采集39

3.2.2.2.1检核规则管理41

3.2.2.2.2录入任务管理41

3.2.2.2.3数据录入42

3.2.2.2.4查询操作43

3.2.2.2.5录入任务审批44

3.3数据平台数据体系44

3.3.1数据架构设计44

3.3.1.1源系统数据落地区45

3.3.L3基础整合层(FDM)46

3.3.L4共性加工层(ADM)47

3.3.1.5数据集市层(MDM)47

3.3.1.6各层次数据特点对比48

3.3.2数据模型设计49

3.3.2.1基础整合层49

3.3.2.2共性加工层50

3.3.2.2.1共性层模型设计思路50

3.3.2.2.2共性加工层模型建设方法52

3.3.2.2.2.1存储什么数据：存储具有一定程度汇总的指

标52

3.3.2.2.2.2数据如何获取：指标分类和指标ID53

3.3.2.2.2.3数据如何存储：星型模型53

3.3.2.2.2.4如何适应多应用系统共性数据存储的需求：

与业务需求轻耦合54

3.3.2.2.2.5如何适应指标频繁变化的要求：具有高度的

扩展性54

3.3.2.2.3共性加工层当前目标57

3.3.2.2.4共性加工层远景目标58

3.3.2.2.4.1完善贵公司数据平台及之上的应用系统数据架

构58

3.3.2.2.4.2扩展共性加工层指标数据59

3.3.2.2.4.3关于共性加工层主题划分59

3.3.2.3集市数据层59

3.3.3灵活查询功能架构，60

3.3.4数据备份与恢复61

3.3.4.1数据备份与恢复实施思路61

3.34.2数据备份机制61

3.3.4.3数据恢复机制61

3.3.4.4数据清理机制62

3.3.4.5存储空间规划62

3.4.1统一报表平台64

3.4.1.1报表管理模块65

3.4.1.1.1系统管理65

3.4.1.1.L1支持主流关系型业务数据源65

3.4.1.1.1.2支持多种数据集类型65

3.4.1.1.33基于RBAC模型的权限控制模式66

3.4.1.1.1.3.1可配置的权限控制项68

3.4.1.1.1.3.2资源权限69

3.4.LL1.3.3报表数据权限69

3.4.1.1.1.4对角色授权70

3.4.1.1.1.4.1权限对照设置70

3.4.LLL4.2角色权限复制71

3.4.1.1.1.4.3角色权限查看71

3.4.1.1.1.5可配置的系统资源72

3.4.1.1.1.5.1菜单项管理72

3.4.LLL5.2系统日志管理72

3.4.1.1.1.5.3公告管理72

3.4.1.1.1.5.4通用代码管理73

3.4.1.L2才艮表管理73

3.4.1.1.2.1提供统一的报表管理方式74

3.4.1.1.2.1.1统一的报表服务器管理74

3.4.1.1.2.1.2统一的参数模板管理75

3.4.1.1.2.L3统一的报表发布方式76

3.4.1.1.2.L4统一的报表资源管理77

3.4.1.1.2.2报表生命周期管理77

3.4.1.1.2.3调度式自动执行报表78

3.4.1.1.2.5支持历史数据追数81

3.4.1.1.2.6支持制度包导入更新81

3.4.1.1.3指标管理82

3.4.1.1.3.1指标逻辑架构82

3.4.1.1.3.2指标数据流程82

3.4.1.1.3.3功有&框架83

3.4.1.1.3.4指标引擎83

3.4.1.1.3.4.1指标引擎框架83

3.4.1.1.3.4.2指标引擎功能84

3.4.1.1.3.4.3派生指标定义优化器84

3.4.1.1.3.4.4指标分类组装85

3.4.1.1.3.4.5指标运算调度器85

3.4.1.1.3.4.6指标运算器85

3.4.1.1.3.4.7数据回写器86

3.4.1.1.3.5指标管理86

3.4.1.1.3.5.1基础指标信息维护87

3.4.1.1.3.5.2派生指标信息维护87

3.4.1.1.3.5.3派生指标公式维护88

3.4.1.1.3.5.4指标权限管理89

3.4.1.1.3.5.5指标计算信息、维护90

3.4.1.1.3.6指标库管理90

3.4.1.1.3.7指标运算92

3.4.1.1.3.8指标应用92

3.4.1.1.3.9与元数据平台关系93

3.4.1.1.4自定义才艮表93

3.4.1.1.4.1类Excel报表设计器94

3.4.1.L4.5支持数据校验101

3.4.1.2数据管理模块104

3.4.1.2.1数据保存104

3.4.1.2.2数据状态105

3.4.1.2.3日志管理105

3.4.L3公共管理模块107

3.4.1.3.1.1行内机构管理108

3.4.1.3.2用户管理108

3.4.1.3.3消息管理108

3.4.1.3.5权限管理109

3.4.1.4.1.1支持主流关系型数据库111

3.4.1.4.1.2灵活的录入与查询方式111

3.4.1.4.L2.1务113

3.4.1.4.1.2•2

((......................................................

....................................H3

3.4.1.4.1.3支持事件式多表同步更新114

3・4・1・4・2・1201报现..........................

..........................................115

3.4.1.4.2.2报表导航图116

3.4.1.4.2.3.2我的文件夹117

3.4.1.4.2.4常用指标查询117

3.4.1.4.3仪表盘120

3.4.1.4.3.1提供关键的高粒度、高纵深的汇总信息（即关键

信息）120

3.4.1.4.3.3灵活的仪表盘设计器121

3.4.1.4.3.4提供1对1的信息服务122

3.4.1.4.3.5个性化首页设计器122

3.4.1.4.4.2查询智能报告125

3.4.1.4.4.3彳彦有匕125

3•4•1•4-4-4|=)匕1=1

..............................................■X25

3•4•1•4•4•5I—I••«••••«••••<<••••«••••<<

.................126

3.4.2数据图表化展示126

3.4.2.1.3行长报表129

3.4.2.2.1规模指标133

3.4.2.2.2财务指标133

3.4.2.2.4流动性指标134

3.4.2.2.5预算指标135

3.4.2.2.7外部监管指标135

3.4.2.2.8风险资产135

3.4.2.2.9资金变动情况136

3.5数据平台设计关键点137

3.5.1数据平台性能保障.137

3.5.1.2ETL性能保证138

3.5.2时间窗口149

3.5.3备份策略150

3.5.4数据模型的历史数据存储.152

3.5.5源系统变更影响分析154

第4章软件及推荐硬件设备配置方案156

4.1系统软件方案156

4.1.1统一报表平台158

4.1.1.2.1技术层次划分159

4.LL4功能架构163

4.1.1.5.2数据补录166

4.1.1.5.3即席查询170

4.1.1.5.4仪表盘174

4.1.1.6性能保障178

4.1.L7工具价值179

4.1.1.7.3与BI报表工具互为补充180

4.1.1.7.4广泛的环境与平台支持180

4.1.1.7.6完善的用户和权限管理策略180

4.1.1.7.8统一缓存机制181

4.1.1.8总结181

4.1.1.10XXX

4.1.1.10.1综合报表系统(RIDP)181

4.1.1.10.1.1报表应用整合平台182

4.1.1.10.1.1.1搭建B1工具与前端展现之间的桥梁

183

4.1.1.10.1.1.2整合主流报表工具与数据源183

4.1.1.10.1.L3提供不同机构不同部门的统一用户体验

183

4.1.1.10.1.1.4满足不同机构的部署需求184

4.1.1.10.1.1.5满足规范化开发要求184

4.1.1.10.1.2RIDP功能介绍184

4.1.1.10.1.2.1报表展现（RptView）184

4.1■1■10.1.2.1.1一的报表185

4.1.1.10.L2.L2个性化报表资源管理185

4.1.1.10.1.2.1.2.1我的收藏夹185

4.1.1.10.1.2.2快捷报表（SmartRpt）186

4.1.1.10.1.2.2.1良好的通用性187

4.1.1.10.1.2.2.1.1支持主流关系型数据库187

4.1.1.10.1.2.2.1.3多种报表输出格式187

4.1.1.10.1.2.2.2Excel式报表设计器187

4.1.1.10.1.2.2.3多种报表样式支持188

4.1.1.10.1.2.3.1提供关键的高粒度、高纵深的汇总信息（即

关键信息）.191

4.1.1.10.1.2.3.2强大的图形引擎191

4.1.1.10.1.2.3.3灵活的仪表盘设计器192

4.1.1.10.1.2.3.4提供1对1的信息服务192

4.1.1.10.1.2.3.4.1个性化首页设计器193

4.1.1.10.1.2.3.4.2个性首页管理193

4.1.1.10.1.2.4数据录入（Input）194

4.1.1.10.1.2.4.1支持主流关系型数据库194

4.1.1.10.1.2.4.2灵活的录入与查询方式195

4.1.1.10.1.2.4.3增强的数据安全性196

4.1.1.10.1.2.4.3.1录入任务分发197

4.1.1.10.1.2.4.3.2录入任务审批197

4.1.1.10.1.2.4.3.3数据正式入库198

4.1.1.10.1.2.4.4.1检核规则管理199

4.1.1.10.1-2-5表直理(Report)199

4.1.1.10.1.2.5.1提供统一的报表管理方式200

4.1.1.10.1.2.5.1.1统一的报表服务器管理

200

4.1.1.10.1.2.5.1.2统一的参数模板管理201

4.1.1.10.1.2.5.1.3统一的报表发布方式202

4.1.1.10.1.2.5.1.4统一的报表资源管理202

4.1.1.10.1.2.5.2调度式自动执行报表203

4.1.1.10.2指标管理204

4.1-1-10.2.2指数据流程............................

，*205

4.1.1.10.2.4指标引擎206

4.1.1.10.2.4.1指引擎框架

206

4.1.1.10•2.4-2指引擎功能207

4.1.1.10.2.4.3派生指标定义优化器207

4.1.1.10.2.4.4指标分类组装207

4.1.1.10.2.4.5指标运算调度器207

4.1•1•10.2•4.6infe*208

*1•1-1,4*7II”3

4.1.1.10.2.5指标管理209

4.1.1.10.2.5.1基础指标信息维护209

4.1.1.10.2.5.2派生指标信息维护210

4.1.1.10.2.5.3派生指标公式维护210

4.1.1.10.2.5.4指标权限管理212

4.1.1.10.2.5.5指标计算信息维护212

4.1.1.10.2.8指标应用215

第5章基础环境建设216

5.1机房建设216

5.1.1机房设计依据.216

5.1.2设计原则218

5.1.2.4标准化219

5.1.2.6可管理性219

5.1.3机房装修220

5.1.3.2防火220

5.1.3.4防尘221

5.1.3.6防静电221

5.L3.8消声、减震221

5.1.3.10墙体工程222

5.1.3.11门窗223

5.1.3.12地面工程223

5.L4机房基础设备要求224

5.1.4.2电池225

5.L4.3机房配电柜226

空调系统226

5.1.5动力环境监控系统.229

5.1.5.2环境监控系统231

5.1.6KVM系统231

5.1.7消防配套234

5.1.8机房主要配套设备清单235

5.2.1系统概述236

5.2.2系统架构238

5.2.3系统设计239

5.2.3.1大屏幕系统功能239

5.2.3.2显示单元内置信号处理器240

5.2.4系统配置242

5.2.4.2安装位置243

5.3无线WIFI系统244

5.3.1系统概述244

5.3.1.1项目现状244

5.3.2系统架构244

5.3.3.2实施设计245

第六章项目实施管理方案246

6.1项目组织管理246

6.1.1建立项目组织管理机构246

6.1.2确定项目分工角色职责247

6.1.3建立项目组织相关管理制度252

6.2项目管理计划252

6.2.1综合管理计划.252

6.2.1.1项目计划编制252

6.2.2综合变更控制.254

6.3范围控制计划255

6.3.1范围定义及跟踪255

6.3.2变更管理255

6.3.3变更控制工具255

6.4进度控制计划257

6.4.1项目进度跟踪.257

6.4.2项目进度分析258

6.4.3项目进度控制.258

6.5.1人力资源规划.259

6.5.2项目团队建设259

6.5.3项目团队管理.259

6.6质量保障计划260

6.6.1质量保证目标260

6.6.2质量保证角色与职责260

6.6.4质量保证活动263

6.7沟通管理计划263

6.7.1沟通计划263

6.7.2报告形式264

6.7.3相关工具文档.264

6.8配置管理计划265

6.8.1配置管理目标265

6.8.2配置管理角色与职责265

6.8.3配置管理流程.265

6.8.4配置项定义267

6.8.5配置管理活动268

6.8.6配置管理工具274

6.9风险控制计划274

6.9.1风险识别274

6.9.2风险分析275

6.9.3风险控制276

6.10变革管理计划278

6.10.1变革管理方法.278

6.10.2变革管理成功的关键策略.278

6.11.1影响项目进度的因索279

6.11.2项目进度制定的原则.279

6.11.3项目实施进度计划279

6.11.4项日里程碑282

6.13文档编制计划284

6.13.1项目管理类284

6.13.3项目支持类285

6.14质量保障计划291

6.14.1确定质量保证目标291

6.14.2质量保证角色与职责291

6.14.3质量保证流程.293

6.14.4质量保证活动.294

6.15产品交付计划294

6.15.1背景介绍.294

6.15.2客户管理.295

6.15.3服务人员管理.297

6.15.3.2服务文化299

6.15.4服务流程管理.300

6.15.4.4试用304

6.15.5服务实体设施.306

6.15.6产品详细交付计划308

6.16项目培训计划317

6.16.1培训组织管理.317

6.16.2培训队伍要求,317

6.16.3培训对象318

6.17.1风险计划.1

6.17.2风险监视3

6.17.3风险管理.4

第七章售后服务及培训5

7.1售后服务说明5

7.1.1售后服务及响应级别5

7.1.2定期现场巡检服务9

7.1.3专人值守服务9

7.1.4本地化服务9

7.2运维服务保障措施10

7.2.1项目运维组织机构及职责10

7.2.2运维风险预防措施，12

7.2.3运维突发事情应急措施13

7.3服务质量保障措施13

7.3.1完善的售后服务体系13

7.3.2运行维护制度建立14

7.3.3运维知识库系统14

7.3.4运行维护队伍建设.15

7.3.5闭环式服务15

7.3.6服务监督机制.16

7.3.7试运行期间的运维保障17

7.3.8免费质保期间的运维保障.18

7.3.9免费质保期后的运维保障19

7.4质量保证范围20

7.6售后服务机构网点清单、服务电话21

7.6.2人员培训计划.22

第八章施工组织设计方案24

8.1施工组织设计24

8.1.1综合说明,质量、服务、安全文明施工目标.24

8.1.1.1质量目标24

8.1.1.5文明环境施工目标26

8.L2主要施工方法;新技术、新材料、新工艺、新设备的应用

27

8.1.2.2用现代化技术设备29

8.1.2.3建立完善的技术管理体系29

8.1.2.4新技术、新工艺、新材料、新设备的应用和计划30

8.1.3工程投入的主要物资和施工机械设备情况、主要施工机

械进场计划30

8.1.4施工设备进场计划，30

8.1.5工程所用产品进场计划30

8.1.6确保工程质量的技术组织措施.30

8.1.7确保安全生产的技术组织措施.32

8.1.7.2安全检查制度32

8.1.8确保文明渔工的技术组织措施.33

8.1.9施工顺序、总进度安排及总形象进度示意图.33

8.3质量及保修服务33

8.3.1保修期与保修范围.33

8.3.2保修责任34

8.3.3售后培训34

8.3.4售后维护服务34

8.3.5接口对接服务34

8.4组织管理35

8.4.1项目管理方法35

8.4.2项目质量管理.37

8.4.2.1质量管理计划37

8.4.2.2质量管理过程38

8.4.3系统测试计划.40

8.4.4测试方案41

8.4.4.4用户测试（试运行测试）46

8.4.5测试管理48

8.4.5.2测试准备49

8.4.5.3测试执行50

8.4.5.4测试问题跟踪51

8.4.5.5文档核查51

8.5项目风险管理54

8.5.1主要风险列表55

8.5.2风险影响分析.56

8.5.4风险控制计划.58

8.5.5风险应对措施.59

8.5.5.1风险应对措施59

8.5.5.2其他风险措施61

8.5.6项目沟通管理.62

8.5.7项目决策制度.62

8.5.8问题与争议管理办法63

8.6上线后支持期64

第1章方案总述

1.1项目背景

随着贵公司业务的快速发展，信息系统不断增多，业务数据量

的规模也在急速膨胀。集团数据整合平台作为贵公司的数据整合中

心，需紧密衔接总行ODS、数据仓库及集团特色系统、并且需考虑

到贵公司未来将要建设的系统的接入问题。根据贵公司业务的拓展

和条线管理的需要，各业务部门对决策信息依赖程度不断提高，经

常会有一些高灵活性、多变性、高及时性的信息需求。贵公司目前需

要能够满足业务需求快速响应的统一数据平台，仅依靠传统的数据

加工模式对源数据进行抽取加工操作，由于业务口径的不一致性、

数据质量低下、以及缺乏良好的数据统计分析手段等问题导致集团

范围的决策分析成为难题，不能充分发挥业务积累的相关数据的作

用数据的及时性和准确性难以保证，给管理和营销增加了难度。整

理制作郎丰利。

本次数据报表平台项目承担了集团主要业务数据的集中和整合

及报表应用展示的功能。通过数据平台的建设，将为零售、公司、同

业、绩效、人力资源、运营等业务提供统一准确的数据支持，是贵公

司业务精细化管理能力的重要基础类系统。数据平台从中远期角度

来看，将成为贵公司管理层/经营层洞察经营全貌、优化经营管控水

平、推进战略决策效能、支撑综合运营分析的数据分析平台。通过数

据的集中化、标准化管理，实现集团数据的信息共享，构建实现企业

数据平台及相关的管理决策分析应用。整理制作郎丰利。

1.2项目目标

贵公司数据平台建设项目是搭建一个对接总行ODS、数据仓库、

衔接集团特色业务的数据平台。从底层的数据平台、DW到上层的BI

（商业智能）展现，数据平台在各交易系统之间、交易系统和报表分

析系统之间实现数据交换，通过数据的加工、整合实现报表统计和

分析。建立基础数据模型、ETL平台、ETL管理调度平台、确保数

据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标

为：

1、构建统一的、层次合理的、灵活的企业级数据模型，整合各

业务系统数据，形成集团统一的数据视图，建设成为贵公司系统应

用的基础数据平台。

2、建设统一数据应用平台，在实现基础数据平台的基础上实现

统一报表平台，为贵公司业务分析和经验决策提供全面的支持。

1.3项目建设原则

本次项目建设遵循的技术原则如下：

数据平台的正确建立和合理利用将直接影响到贵公司的

未来信息化发展，贵公司数据平台建设应参考以下架构原则，指导和

规范未来的数据平台信息化建设和管理，在项目方案中应该能够体

现以下原则：

1.数据集中原则：

将总行ODS、数据仓库数据、集团特色数据和应用统一进

行管理和运维，保证资源的高度利用以及通过相关的技术保证数据

和应用的绝对安全和稳定。

2.数据标准集团统一原则:

依据总行的数据字典，减少数据定义的二义性。未来集团

特色应用系统的数据结构是集团数据结构模型的子集。对集团级数

据实行单点维护，确保集团级数据的可靠性和一致性。

3.数据管理集团统一原则：

统一的存储管理，统一规划使用存储资源，提高存储资源

使用效率。统一的性能管理，根据实际业务需求，合理分配资源，确

保对数据的访问性能能够满足业务的需要。统一标准的安全管理，

提高数据访问控制能力，降低关键业务数据的安全隐患。

4.降低数据冗余和数据复制原则：

减低集团级数据的冗余度，降低数据对存储资源的需求。

各业务系统根据自身业务处理实际需求，确定对属于其它系统数据

的同步需求，制订出相应的数据复制同步策略并统一进行实施。

第2章系统建设规划

2.1项目建设目标的理解

数据平台的建设对于贵公司是一个非常重要的系统工程，承担

着贵公司企业数据整合、数据交换以及数据服务的重任，通过数据

平台的建设使得贵公司将自身信息资产切实、有效的管理起来，形

成企业统一信息视图，搭建企业数据治理的框架，并为统一报表系

统提供有效的数据支撑。

企业数字化平台及企业大数据可视化平台建设方案

2.1.1项目建设范围

贵公司数据平台本期项目建设范围，可以从涉及到的业务范围、

涵盖到的组织范围以及数据平台需要接入的源系统范围三个角度来

分析。

业务范围

本项目的业务范围以贵公司零售、公司业务条线为主，计财、绩

效、运营等为辅。

组织范围

本项目业务涵盖的组织范围为贵公司及辖内二级集团、支行。

数据范围

本项目的源系统范围包括目前贵公司的主要业务系统，并需要满

足本期数据平台主题应用的数据需求。

2.1.2项目建设内容

2.121基础数据平台

基础数据平台技术架构搭建

从总体上规划企业级的基础数据平台，平台将包含历史数据存储、

基础数据平台、统一报表平台、自动调度监控等内容组成，数据平台

要采用统一的数据标准规范；

基础数据平台ETL监控、调度功能，完成从原数据仓库数据移植

到新数据平台的工作。

ETL子系统实现将各业务系统的数据抽取至数据平台，并进行数

据的清洗、转化、加载等操作，形成数据分析、决策所需的24/384

企业数字化平台及企业大数据可视化平台建设方案

各种汇总数据模型、分析模型，最终形成各种报表、查询以及KPI指

标。ETL子系统实现自动化的数据抽取、数据加载、数据转化、数据

卸载、自动化数据重新加载、加载错误自动处理、脏数据识别等功能。

基础数据平台数据补录功能

提供数据补录平台功能，包括补录流程管理、补录模版管理、

单笔补录、批量补录等。通过补录平台实现数据平台无法自动获取的

具备分析价值的数据。

本期基础数据平台数据标准涵盖以下工作内容：

接口标准：规范数据平台加载数据接口、卸出数据格式及校验标

准

公共代码标准：参考总行ODS与数据仓库标准与集团特色数据

标准；

数据质量管控

数据质量管控是一个长期的过程，依托于数据管控组织机构、流

程的建立和完善。数据平台一期进行数据质量管控体系的初步探索，

主要完成如下目标：

(1)、建立初步的数据质量管理检查规则，包括功能性和非功

能性规则。功能性规则主要包括：完整性、唯一性、合法性、准确性

等；非功能性主要包括信息的完整性、一致性、业务稽核等；

(2)、根据建立的初步检查规则，进行数据质量的监测，出具

初步的数据质量检查报告；

(3)、根据数据质量检查报告，提出数据质量提升的解决方案。

企业数字化平台及企业大数据可视化平台建设方案

2.L2.2集团级指标体系

借鉴与参考总行统一报表指标体系成果，在此基础上建立满足集

团口径指标体系，扩展集团指标；满足业务日常固定报表使用的同时

提供多样化的报表展现界面，包括表格展现，各类图形展现；要求界

面友好，易用性强，并能够提供具性化应用风格支持。

2.1.2.3统一报表平台

构建统一报表平台，实现集团业务应用报表的集中化管理、一体

化服务；具有报表定制、管理、维护功能；构建集团用户及权限管理

体系，支撑集团业务用户报表应用需求。能够快速响应各级业务应用

人员的报表需求，满足报表批量分类存档的需要。

2.22.2.1集团大数据平台的建设目标

2.集团大数据平台一期建设目标

基于对贵公司系统现状的了解，贵公司数据平台一期的建设目标

是：

1、构建统一的、层次合理的、灵活的企业级数据模型，整合各

业务系统数据，形成集团统一的数据视图，建设成为贵公司数据集中

管理和应用的基础数据平台。

2、建设统一数据应用平台，在实现基础数据平台的基础上实现

统一报表平台，为贵公司业务分析和经验决策提供全面的支持。

3、集成现有对公、零售主要系统业务固定报表，支撑业务数据

使用需求。

4、指标数据按照图表样式进行区间查询展示数据趋向，波动。

企业数字化平台及企业大数据可视化平台建设方案

5、将集团原指标体系按照新指标体系进行平移；

2.2.22.2.1集团大数据平台二期建设目标

鉴于一期建设主要是搭建主体平台，二期的信息化建设目标是继

续完善平台，丰富平台应用效果，全面覆盖现有旧综合平台，将重要

数据迁移。具体目标如下：

二期项目中可以集成计财、运营、人力资源等系统报表；支持

数据图表展示、SQL查询等个性化查询需求；将更多的管理应

用系统的数据源迁移至数据平台；建立并推广一套完整的需求

与技术落地标准与体系。

可以预见，随着数据平台的不断成熟，业务部门对数据平台的认

知不断提高，会有源源不断的需求基于数据平台提出，这种变化将使

得数据平台由前期技术部门“推”转变为业务部门的“拉”，让业务

需求作为数据平台持续良好发展的源动力。

第3章整体设计方案

3.1系统设计方法论

3.1.1方法论

数据平台的项目是一个长期的循序渐进的过程，也是一个不

断创新、修复、完善的过程，其伴随着应用系统的发展而发展。根据

贵公司的业务特点以及企业系统建设的现状和未来发展蓝图，致力打

造一个可扩展的、高可用性的、安全的、高效的、跨部门的可以快速

处理海量数据的数据平台。

在贵公司数据平台建设方面依据可重用性、安全性、高可用性、

企业数字化平台及企业大数据可视化平台建设方案

可管理性、可扩展性、高性能的设计原则采取总体规划，分层实现的

方式。纵向层面自上而下看，贵公司数据平台的架构由逻辑（应用）

架构、数据架构、技术架构和物理架构四个层次组成，每个层次内部

又根据设计需要进行抽象分层，从而形成立体的贵公司数据平台项目

架构方法。

逻辑（应用）架构是贵公司数据平台项目承载的应用体系，它描

述了贵公司数据平台项目所要实现的应用需求，以及支撑这些应用需

求所必须的公共模块，如调度、监控和元数据管理等工具组件。

数据架构承载了支撑应用架构所必须的业务实体关系的分布，它

通过数据模型的方式进行组织，主要分为缓冲数据层（ODS）、基础

数据层（FDM）、加工汇总层（ADM）和数据集市层（MDM）等四

个层次。

'技术架构是用于支撑贵公司数据平台的数据分布和流动的技术

框架，用到的技术有数据库技术、数据平台技术、ETL技术、多维计

算技术、数据展现技术等。

作为最底层的物理架构，是对贵公司数据平台物理设备和网络的

合理规划部署，它通过有效地利用硬件和网络，并能够添加硬件设备

进行扩展为上层架构（技术架构、数据架构、逻辑架构）提供支撑能

力。

企业数字化平台及企业大数据可视化平台建设方案

逻辑架构

族晚勤宏,露求实现,相

应的公共模块,调度'监控'

元数据管理等非应用技术组

技术

架构支装

’的技术架〃

业务实体

度木教

物理基础设施架构

物理设备和网络

等的合理规划和有

效扩展，为上层架

供支撑

贵公司数据平台架构方法立体视图

3.1.2设计原则

根据贵公司数据平台提出的系统建议的总体原则，总结我们在多

家金融机构建设数据平台经验，贵公司数据平台的设计原则体现如下

原则：标准规范，可扩展，开放，前瞻，高性能，稳定，安全，易维

护，实用，可管理，高可用，可重用。

企业数字化平台及企业大数据可视化平台建设方案

系统设计原则

3.1.2.1标准规范

建立标准的ETL开发流程，制定符合贵公司数据平台的代码标

准化统一规范，设计应对有高效数据处理要求及日常低能耗操作的兼

容性数据模型，建设符合贵公司数据平台远景目标利益的技术管理体

系。

数据模型：制定表名、字段名命名规范标准。设计基础标准模型

及基于基础数据模型之上的未来建设的应用系统的模型标准。建立数

据质量管理机制，提高贵公司数据平台的数据质量，也是数据平台迈

向标准化规范化管理的重要环节。

ETL处理：将ETL处理程序分类化，整理规范出各种ETL处理

策略。确保ETL开发人员所开发的ETL程序遵循中信总行的规范。

ETL管理：建设ETL管理平台，将其纳入贵公司的ETL管理体

系，形成有贵公司特色的ETL管理制度。

30/384

企业数字化平台及企业大数据可视化平台建设方案

3.1.2.2开放性

系统建设遵循开放原则，适应未来业务和技术发展，与现有系统

进行有序的数据交互。

数据模型：数据模型的设计尽量接口化，关系与抽象并存。应对

新出现的业务种类，同时能够兼容与现有系统进行数据交互，完成输

入与输出系统的角色。

ETL处理：ETL程序处理逻辑规则模块化，应对日益更新的技术

发展及业务变更。

相关产品：项目开发过程中使用的XXX公司工具类产品可以提

供客户相关开发源码进行二次开发。

后续开发：项目组再实施过程中，会对客户方科技人员进行相关

的技术培训，使科技人员能够独立的进行ETL程序的开发、报表开

发、数据分发的设置、数据源配置等等

3.1.2.3可扩展性

可扩展性是指数据平台能够支持贵公司业务系统和应用系统发

展的需要。在本项目中，具体要从以下几个方面考虑系统的可扩展性

数据模型：设计基础数据层和数据预处理层模型时应充分考虑，

除了能够容纳现有源系统的结构设计，还应该尽可能满足即将要上线

的业务系统数据模型，同时还需要制定一套合理的模型设计规范，使

得新上线的业务系统数据模型能很方便地扩展到数据平台。

ETL处理：需要考虑两个方面的扩展性，增加新的ETL任务处

理以及原有任务所处理的数据规模加大，ETL处理架构必须能适应新

的变化，需要考虑通过集群的方式来扩展。

数据交换平台：在设计时应考虑，随着分发数据规模的扩大和推

送节点的增多，对交换处理和传输处理的性能要求会越来越高，必须

支持集群的方式进行扩展。此外，数据交换平台

企业数字化平台及企业大数据可视化平台建设方案

还必须提供二次开发接口，支持SOA服务模式，可以进行应用级的

扩展。

服务器：平台中的每一种服务器都使用集群扩展模式，可以通过

对服务器数量的增加获得更好的数据处理和查询能力。

3.1.2.4高性能

高性能是指在硬件资源有限的情况下，数据平台应尽可能的支持

尽量多的数据服务需求，还能承受用户峰值时间段压力，使得数据平

台能够满足集团范围内的使用者。在本项目中，高性能的设计主要体

现在以下几个方面：

ETL处理：在进行ETL设计时，需要考虑大数据量条件下的处

理效率，确保在规定的时间窗口内完成ETL处理，特别是一些特殊日

期的ETL处理，例如结息日、月底等。

数据交换平台：需要考虑在大数据量条件下的文件传输效率，主

要也是体现在一些特殊口期条件下的文件传输，以及特殊情况下的全

量文件传输。

数据库设计：对一些海量数据表或频繁访问的数据表，在数据库

设计的时候需要从数据库设计的角度考虑性能优化机制。

3.1.2.5可管理性

这里所说的可管理性主要是指系统运维的可管理性。比如：在实

际运行过程中，系统能很方便地对系统的运行状态进行监控，查看数

据质量情况；出现系统异常时，能及时收到消息通知，并有一套完善

的流程来处理数据或系统方面的异常等等。在本项目中，可管理性的

设计具体表现在以下几个方面：

ETL处理：在ETL的总体设计时，确保系统可以监控全过程的

运行状态，并能对异常情况及时提醒，保存完整的处理日志信息，并

设计相应的错误处理流程。另外，还需要考虑ETL任务配置的直观图

形化。

企业数字化平台及企业大数据可视化平台建设方案

32/384

33/384

企业数字化平台及企业大数据可视化平台建设方案

数据管控：在总体设计时，应充分考虑数据的复杂性，必须能

做到多而不乱，能够清楚了解系统每一个应用的转换逻辑和数据含

义，在任何环节有变动时，能迅速的反馈变动产生的影响。

数据交换平台：在总体设计时，需要充分考虑数据交换任务易

于配置，传输结果易于监控。

高可用性

高可用性是指系统在一些特殊情况发生时，依靠架构的有效设

计，仍然能保证正常运行。在本项目中，高可用性的设计主要体现在

以下几个方面：

数据模型的可用性：模型的设计应能屏蔽证券业务源系统结构

的变化对数据平台集成平台和将在其上建设的分析应用系统带来影

响。局部数据模型的扩展不会对其它数据模型产生大的影响。

ETL处理的可用性：应充分考虑各源系统的时间窗口可能存在

不一致的情况，避免出现一个系统的数据时间窗口没有满足条件，

影响到其它所有系统的ETL处理。

系统备份：当正在运行的系统出现异常时，系统应具备相应的

备份恢复机制，确保系统能及时恢复处理。

各个功能模块设计时应考虑自己的运行管理流程。

3.1.2.7安全性

在本项目中，安全性主要包括两个层面的含义：一是防止数据

服务体系的数据资源被恶意修改和盗取；二是防止数据在传输过程

中被截留和篡改。在本项目中，安全性的设计具体体现在以下方面：

对于第一个层面的安全性，主要依赖于各应用系统对用户角色

和功能权限的控制。因此，在编写基于数据服务体系的应

企业数字化平台及企业大数据可视化平台建设方案

用系统设计开发规范时，应明确要求应用系统必须充分考虑安全性的

设计。若贵公司建设有面向管理系统的统一用户认证平台（UA），可

以考虑通过UA来管理用户权限。

对于数据范围方面的安全控制要求，在梳理出贵公司数据平台应

用需求与目标用户权限关系之后，通过在程序中对数据进行过滤，用

户无法涉及其权限范围以外的数据，以确保数据范围的安全。数据过

滤程序可抽象为一个准确、高效、易管理维护的过滤器。

对于第二个层面的安全性，主要依赖于文件传输过程中的加解密

处理。因此，数据交换平台在进行总体设计的时候需要充分考虑数据

传输过程中的安全性。

此外，系统在进行网络规划时，对系统的安全级别也需要进行分

析，必要时需要提高网络的安全级别，从物理设计层面提高系统的安

全性。

3.128可重用性

可重用性是指尽可能避免贵公司数据服务体系建设的重复投入

应尽可能考虑包括物理设备、系统软件、框架组件、规范方法以及业

务应用等多个层面上的复用。在本项目中，可重用性的设计具体表现

在以下几个方面：

ETL功能组件：在设计ETL任务处理流程时，要分析ETL任务

的各个环节，尽可能找出一些公用的ETL组件，进行必要的封装，便

于在模块内复用，进而推广到项目内进行复用。

数据预处理层的数据模型：在设计数据预处理层的数据模型时，

应充分考虑应用系统的数据加工需求，尽可能将一些共性的加工需求

在该层实现；并通过这种机制，不断扩充和完善改成的数据模型，实

现加工数据的复用。

知识库的复用：在ETL管理平台中，应充分考虑知识库的管理

和使用流程，以便运维人员和业务人员复用知识库的经验，来解决和

处理一些日常的问题。

组件复用：各模块在开发的过程中，注意提炼出一些可用

34/384

33/384

企业数字化平台及企业大数据可视化平台建设方案

共用的公共组件，在模块内实现复用，甚至在模块间实现复用。

硬件部署：在进行硬件部署的规划时，应充分对系统的处理规模

进行分析。如果性能允许的话，尽可能集中部署，使用现有设备，在

硬件方面实现复用。

3.2数据平台技术体系

3.2.1数据平台逻辑架构

分行分析至数据区

鹤

数据仓库应用展务区

«

9

-层

主

共

应

超

忆

用

数

模

I数

臬

携«

统

据

£市

■to碇

受

一

层

分

层

工

冲

(认

发

E层

层

D证

W(平

)Q

平

一

D■台

M拄

)台

S修

-

:

:

发

贵公司数据平台逻辑架构图

上图为XXX公司对贵公司数据平台的逻辑架构建议设计图。

从逻辑架构上看，数据平台主要分为下面几个部分：郎丰利。

3.2.1.1数据集成区

数据集成区为总行区域，集团只需要提出对应接口需求，由数

据集成区下发至集团，目前的范围包含了总行ODS、数据仓库。

企业数字化平台及企业大数据可视化平台建设方案

321.2集团分析型数据区

集团分析型数据区包含报表数据区、应用服务区及访问层区；

报表数据区将总行数仓、ODS数据经分发平台下发至集团数据

进行整合，选用XXX公司的YC.LDM作为参考模型，建立数据缓冲

层、基础整合层、共性加工层、应用集市层。其中基础整合层模型是

用来统一存储整合企业所有源系统的业务数据；共性加工层数据模型

主要是用来存储一些共性数据指标，为各应用系统提供共同的基础数

据预处理，提高数据共享程度和数据使用效率。

应用服务区按照报表类别及指标作用划分为固定报表、即席报表、

OLAP、仪表盘等，满足业务报表需求。郎丰利整理制作。

访问层主要对用户角色、操作权限进行管理；

3.2.1.3管理平台区

管理平台区包括任务调度、元数据、数据质量三大模块。集团需

要建设自身的调度平台。可以采用总行统一调度平台ETLPLUS或

XXX公司USE调度产产品，实现对作业调度、监控和配制管理，支

持各类ETLJOB的调度，能够与主流ETL工具集成，支持对调度策

略、执行过程、错误日志的实时监控。此外ETL管理平台支持文件到

达监控，ETL集群部署与集群调度以及针对各个服务器资源的运行情

况监控。

元数据及数据质量使用总行元数据及数据质量标准，，本期暂不

考虑集团自建。

3.2.1.4统一报表展现平台

统一报表展现平台（报表平台）是本期基于数据平台之上建

企业数字化平台及企业大数据可视化平台建设方案

36/384

企业数字化平台及企业大数据可视化平台建设方案

立的一个报表系统，实现对报表的统一管理以及统一展现服务，向用

户展现数据平台数据整合的成果。报表平台在功能上需要具备系统

管理、报表管理、报表展现（业务报表需求）、BI工具集成，报表

目录与分类，灵活查询以及报表统计等功能。通过BI工具开发的报

表能够被报表展现平台无缝集成并且以最方便、最直观的方式提供

给报表的使用者。在本次贵公司数据平台建设中，图表展示、SQL灵

活查询均将作为一类特殊的报表系统的应用。由统一报表展现平台

完成功能集成与发布，向用户提供统一的访问入口以及应用体验。

3.2.1.5ETL设计关键技术点说明

3.2.1.5.1.1ETL处理策略

原则上因机构撤并造成的新增账户仍以新增帐户处理，账户间

的关系通过机构拆并表进行对应。如果有脏数据，依据数据情况另

行处理。

账户主档表的处理：新增账户直接插入

拉链表的处理：关闭老账户，以销户方式处理；新增账户直接

插入。

3.2.1.5.1.2ETL处理流程

37/384

企业数字化平台及企业大数据可视化平台建设方案

机构撤并ETL处理流程

3.2.152质量检核

3.2.1.5.2.1ETL处理原则

质量检核是数据准确性的外部保证，应尽量提供检核处理

检核处理不能对ETL处理有较大性能上的影响

检核处理不能对时间窗口压力过大

3.2.1.5.2.2ETL处理方法

检核作业与该表的数据