工商银行大数据全要素系统问题

工商银行大数据全要素系统问题

随着金融创新的快速发展，商业银行积累的数据量呈现儿何倍

数增长，数据来源也从传统的结构化数据逐渐扩展到以网络日志、

社交媒体为代表的半结构化和非结构化数据。为此中国XX银行运用

分布式技术建设高容量、可扩展的大数据服务平台，实现PB级海量

数据存储，提供存储全、质量准、采集快、使用易的企业级大数据

能力，广泛应用于精准营销、客户服务、风险管控、经营分析、监

管报送等业务领域。

在大数据体系下，数据存储容量大，数据类型多样，数据的潜

在价值巨大，且随着数据高速增长，银行业面临两大挑战，一是对

于多样的、复杂的数据如何保证数据质量；二是海量的数据如何保

证数据安全。中国XX银行依托于自主建设的大数据服务平台，建立

完整的大数据治理体系和数据安全保护机制，加强数据治理和安全

保护，推进数据的深入挖掘和智能化应用，发挥大数据价值，助力

智慧银行建设。

建立数据治理的组织保障机制，全面推动数据治理工作

1、依托现有的组织架构，明确各机构的数据治理职责。数据治

理是全行性的工作，需要科技、业务等各方面的通力合作。中国XX

银行数据治理组织机构包含内部审计局、内控合规部、金融科技

部、管理信息部等部门，分别负责数据治理的决策、执行、监督、

报告、审计等职责。

2、建立制度规范体系，规范数据治理工作机制。中国XX银行

制订数据治理的管理制度和技术规范，管理制度主要明确数据标

准、数据质量、数据安全等治理领域的岗位、职责、流程等管理要

求，规范数据治理工作机制；技术规范明确系统研发和运维等方面

的实施要求，确保数据在产生、处理、传递、应用过程中的数据一

致性、完整性和准确性。

3、建立涵盖事前预防、事中监测、事后评估改进的全生命周期

数据治理流程，保障数据治理的有效推进。

建立数据标准体系，推动全行数据标准化

数据标准是数据治理体系的基础，是保障、改进和提高数据质

量的重要措施。大数据服务平台集成海量的、多样化的数据，更加

凸显数据标准的重要作用。中国XX银行通过制订企业级数据标准、

建设数据标准管理服务系统、推动数据标准贯彻应用和硬性控制等

措施推动全行数据的标准化。

1、制订企业级数据标准，为数据共享夯实基础。中国XX银行

参考国家标准和行业标准，结合业务系统现状，坚持“定义统一、

口径统一、名称统一、来源统一、参照统一”的数据标准编制原

则，建立了统一的企业级数据标准，覆盖当事人、产品、协议、账

户、介质、地理位置、资源项、事件、渠道和通用十大标准主题，

实现全行上下对基础数据和指标数据的一致性理解，为大数据体系

下的数据共享奠定基胆。

2、建设数据标准管理服务系统，为建标、贯标提供系统支撑。

为推进数据标准的落地，中国XX银行于2010年建设了国内金融行

业首个全行级信息标准管理服务平台，管理全行数据标准，实现数

据标准的建立、变更、发布、查询、废止等全生命周期管理。同时

通过和元数据管理系统联动，实现数据字段关联标准与合标校验，

确保字段的长度、精度、字典值精确符合标准，完成数据标准落

地。

3、推动数据标准贯彻应用和硬性控制。全行各机构在制订规范

制度、撰写经营分析报告、编写业务需求等场景，对于涉及的基础

数据项和关键指标要求必须采纳数据标准；对于增量数据，将数据

贯标纳入研发全流程，并通过系统实现硬控制，确保数据标准的贯

彻应用；对于存量数据，结合IT架构转型、应用重构等重大项目开

展存量系统贯标改造。

4、定期对信息系统合标情况进行监督和检查。针对合标率较低

的信息系统将予以通报，并要求相关部门及时制订和实施合标改造

方案，持续提升各信息系统的合标率。

中国XX银行实施数据标准化以来，发布的基础标准2000多

项，指标标准32000多项，并完成75个重点业务系统的贯标，有力

促进数据共享和大数据的集成应用。

建立数据质量管理体系，实现数据质量的闭环管理

中国XX银行构建了涵盖制度规范、三层治理机制、管控系统及

配套措施于一体的数据质量管理体系，持续有效地开展数据质量治

理工作，并重点做好监管报送数据质量治理.，采用控制增量、消灭

存量的策略，持续提升数据质量，为数据深度挖掘与应用、满足监

管需求夯实基础。

I、建立数据质量制度及规范。中国XX银行制订数据质量管理

制度及技术规范，明确了相关部门和岗位的具体职责、工作流程和

管理措施，明确了数据质量定义、数据质量评估规则以及需求、设

计、开发、测试、生产运行各阶段的数据质量技术要求。

2、基于大数据服务平台建立分工明确的三层数据质量治理机

制。一是上游源系统负责制订数据质量检查规则，并在源系统设计

过程中落实以确保增量数据质量；同时负责对发现的数据质量问题

进行源头治理。二是大数据服务平台负责贴源数据质量检查规则的

部署和检查。三是下游数据使用系统负责快速响应监管及业务的要

求，开展加工后的数据质量规则部署和检查。

3、建设全流程闭环管理的数据质量管理系统。通过该系统管理

数据质量检查规则，部署到大数据服务平台开展检查，发现的问题

自动流转到相关责任部门进行分析治理，并定期开展事后分析评

估，形成“制订规则-〉规则检查-＞发现问题-＞问题分析治理-＞后评

估”的全流程闭环管理。自系统上线以来，覆盖了上游各业务系

统，检查范围包含数据完整性、准确性、业务有效性、关联一致性

性、唯一性等各个维度，实现对数据质量治理的全面支撑。

4、全力做好监管报送数据质量治理。中国XX银行配合监管机

构，重点推进EAST监管报送、金审平台报送、反洗钱数据报送相关

的数据治理。通过成立监管报送治理团队、建设数据监测分析平

台、建立问题清单化跟踪机制等措施全力做好监管报送数据治理。

中国XX银行在银行同业中首家完成审计历史数据报送，获得审计署

认同；完成EAST监管报送数据监测分析平台的建设，部署827条业

务规则；反洗钱报送数据的补录量由2万笔下降到2500笔，大幅提

升报送数据质量。

建立企业级安全体系，对数据实施全面保护

中国XX银行参照国家安全等级技术保护体系，结合自身实际情

况，建立了企业级安全规范体系。该规范体系涵盖了应用、客户

端、网络、服务器、机房等领域的安全防护耍求，重点对大数据服

务平台及其数据实施全面的安全保护。具体措施如下。

1、完善大数据服务平台安全防护功能，保护数据的机密性与完

整性，防范对平台数据的非授权访问或篡改。一是通过集中的身份

认证确保只有合法用户才能登录大数据服务平台，并对数据及用户

进行分级，不同等级用户只能访问特定等级的数据、通过严格的访

问控制防范非授权访问；二是采用加密技术确保敏感数据传输、存

储的安全，并通过页面信息防复制/防下载/防打印、页面信息部分

屏蔽、下载到客户端时自动对文件进行加密授权等措施，防范信息

泄露；三是采取防SQL注入、XML外部实体引用、恶意文件上传等

措施防范Web漏洞，提升系统自身抵御攻击的能力；四是对涉及大

数据服务平台敏感数据的操作，记录完整的操作日志，定期开展事

后审计及安全事件分析。

2、建立客户端信息防泄漏体系。对于根据业务需要从大数据服

务平台下载到客户端的文件，通过部署在客户端的信息防泄漏措

施，防范将敏感数据非授权传播。一是实施电子文件加密授权控

制，对存在的客户端的各类敏感文件进行加密存储和严格授权，并

对打印、还原、复制笔行为进行记录与审计；二是实施移动存储安

全控制，实现对U盘等移动存储介质的硬控制，行内客户端只能使

用专用U盘，U盘上存储的信息无法在行外终端上读取，避免信息

拷贝到行外；三是实施敏感文件扫描及提示，通过客户端安全管理

系统每月定期对客户端存储文件进行扫描，对于发现的各类敏感信

息，提示用户及时进行加密授权，并通过通报考核等手段督促；四

是采取信息外发控制，实现了对外发邮件以及打印、刻录内容的自

动检查，对于发现包括敏感信息的行为自动进行阻断或提示。

3、完善生产运维安全控制。在生产运维环节，通过网络隔离、

数据变形、安全运营笔措施降低大数据泄露风险。一是实施网络隔

离，通过生产环境与互联网、办公、测试环境的网络区域隔离，确

保生产区域的数据安全；二是实施数据变形，对于研发测试过程中

需要使用的数据，都需要进行审批，并通过专用数据变形工具对敏

感字段进行脱敏处理后才能传入研发测试环境；三是建设信息安全

运营中心，通过采集各专业领域的口志、告警信息并结合网络流

量，通过安全大数据分析提升安全威胁感知能力，及时应对处置各

类安全事件。

在大数据、人工智能时代，数据在