商业银行大数据建设规划

XX银行大数据建设规划

一、项目背景

伴随信息化程度日勺加深，以及移动互联网、物联网的崛起，人们产生的数

据急剧膨胀，老式的数据处理技术难以支撑数据大量的增长和处理能力。通过

近几年的发展，大数据技术逐渐成熟，可以协助企业整合更多日勺数据，从海量

数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐渐进入实行

验证阶段。人们越来越期望能实现海量数据的处理，从数据中发现价值。数据

越来越成为一种重要日勺资产。在2023年Gartner技术炒作曲线的汇报中也体

现了大数据技术将走向实际应用。

我行已深刻认识到数据战略对企业运行以及企业未来发展方向的重要性。

互联网金融的本质是金融，关键是数据，载体是平台，关键是客户体验，发展

趋势是互联网与金融的深度融合.要提高大数据奉献度°因此，要深化互联网

思维理念，稳步推进互联网金融产品和服务模式创新，积极运用移动互联网、

大数据等新技术新手段，从容应对冲击和挑战，实现老式金融与互联网金融的

融合发展。做好海量异构数据日勺专业化整合集成、关联共享、安全防护和维护

管理，深度挖掘数据内含日勺巨大价值，探索银行业务创新，实现数据济源的综

合应用、深度应用，已成为提高企业关键竞争力，实现企业信息化可持续发展

的关键途径。按照行领导布署，信息科技部组织力量对大数据技术进行研究,

完毕对市场上主流日勺大数据平台及应用技术预研，征求业务部门提议，提出项

目建设规定。

二、建设目的

以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据资源，完

善数据体系架构，自主掌握大数据关键技术，加速大数据资源日勺开发运用，将

数据决策化贯穿到经营管理全流程，建设智慧银行，提高关键竞争力。

（一）建设大数据基础设施，完善全行数据体系架构

构建大数据平台，实现更广泛的半构造化、非构造化数据集中采集、存储、

加工、分析和应用，极大地丰富我行的信息资源，同既有日勺企业级数据仓库和

历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应

用。

（二）开发大数据资源，支撑全行经营管理创新

建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提

供高性能可扩展日勺分布式计算引擎，通过数据挖掘、计量分析和机器学习等手

段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营

销、营运等经营管理活动。

（三）培养大数据人才队伍，建立大数据分析能力

结合大数据项目日勺落地实行，建立起一支大数据技术和分析人员队伍，具

有自主运行和开发大数据日勺能力，以更好推进业务创新，提高我行关键竞争力。

三、发展趋势

近年来，银行业大力发展面向客户的新一代关键业务系统，信息系统建设

日趋完备，电子银行等在线金融服务大幅增长，在提高客户体验和风险管控能

力、满足监管各项规定日勺同步，形成并储存了庞大的可用数据资源。银行业日勺

数据资源不仅包括存贷汇等构造化数据，也包括客户浏览痕迹、在线交易记录

等非构造化数据，还包括客户语音、网点视频等非构造化数据。2023年,

银行业的记录数据、业务数据、数据仓库数据、构造化数据和非构造化数

据的数据规模分别到达938T、1688T、3125T、5313?和3938T。Celent企业

估计未来5年将增长7倍。

除数据自身的迅速增长外，银行业面临时更大的挑战是大数据带来的业务

挑战，这包括：小微贷市场上，银行与互联网小额贷款企业难以竞争；支付市

场中，网银支付所占比重越来越低，这使得银行越来越难以懂得客户的消费行

为；多种互联网融资模式时出现，在未来也许会超过以银行为中心时间接融资。

所有这些挑战，本质上是银行对于客户日勺理解程度相对越来越弱。麦肯锡指出,

在大数据时代，不能充足形成大数据使用能力的竞争者将被淘汰。

（一）同业案例状况

国内领先的商业银行已经启动大数据平台的建设，并应用于精确营销、风

险管理和业务创新等领域，以获得竞争优势。工商限行通过构建大数据平台,

搜集网银顾客日勺行为轨迹并进行分析，精确营销，扩大销售，优化网银服务模

块的质量，提高客户体验。招商银行通过大数据平台构建全量数据分析和挖掘

平台，推出在线明细，实时征信，精确营销等创新业务，提高小微贷获客率。

上海银行构建大数据平台，用于对客户的资金的流入流出分析。中信银行、若

大银行、平安银行、民生银行都在建设自身的大数据平台。

（二）业务应用场景

大数据技术在银行业日勺应用范围包括：客户洞察、营销支撑、风险管控和

营运优化等领域。

•客户洞察

分析顾客日勺多种数据，包括语音、网络日勺监控录像、商城交易信息、

金融业务信息以及外部日勺社交信息、第三方履约行为等多方面信息，从而实现

对客户进行分类和服务。对既有CRM系统中的客户分层的数据要素进行延伸。

•营销支撑

实时营销：是根据客户的实时状态来进行营销，如客户当时的所在地、客

户近来一次消费等信息来有针对地进行营销。

社交网络营销：重要是微博营销，这重要是捕捉顾客的言论和行为，并有

针对地开展有关营销活动。

事件式营销：将变化生活日勺事件视为营销机会，如换工作、变化婚姻状况、

置业等。

•风险管控

信用评级：运用社交网络、行为特性、交易网、基本社会特性、人行征信

等多种维度对客户综合评级，运用大量的指标构建多重模型，以识别客户的信

用风险。

反欺诈：通过监控客户、账户和渠道等，提高银行在交易、转账和在线付

款等领域防御欺诈的能力。在监控客户行为时，可以识别出潜在的违规客户，

提醒工作人员对其予以重点关注，从而节省反欺诈监控资源。

•营运优化

改善顾客体验：运用大数据可以处理海量数据的能力，将老式数据记录分

析等业务切换到数据处理能力更强的平台，来处理查询历史数据的困难，提高

顾客体验。

客服中心优化：通过对客服中心的数据分析，容许银行提前预测顾客需求

用以迅速地处理问题，可以迅速满足顾客的需求。

减少运行成本：大数据平台采用一般的PC服务器和廉价存储，相对原有

的小型机日勺硬件架构，可以有效的减少IT运行成本。

四、平台建设原则

平台是大数据日勺基础实行，其建设、设计和系统实现过程中，应遵照如下

指导原则：

•经济性：基于既有场景分析，对三年内日勺数据量进行合理评估，确定大

数据平台规模，后续根据实际状况再逐渐优化扩容。

•可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展

性，便于系统的迅速扩展与维护，便于第三方系统的迅速接入。

•可靠性：系统采用的系统构造、技术措施、开发手段都应建立在已经相

称成熟的应用基础上，在技术服务和维护响应上同顾客积极配合，保证系统日勺

可靠；对数据指标要保证完整性，精确性。

•安全性：针对系统级、应用级、网络级，均提供合理的安全手段和措施，

为系统提供全方位日勺安全实行方案，保证企业内部信息日勺安全。大数据技术必

须自主可控。

•先进性：涵盖构造化，半构造化和非构造化数据存储和分析日勺特点。借

鉴互联网大数据存储及分析日勺实践，使平台具有良好的先进性和弹性。支撑目

前及未来数据应用需求，引入对应大数据有关技术。

•平台性：归纳整顿大数据需求，形成统一日勺大数据存储服务和大数据分

析服务。运用多租户，实现计算负荷和数据访问负荷隔离。多集群统一管理。

•分层解耦：大数据平台提供开放的、原则的接口，实现与各应用产品日勺

无缝对接。

五、分析应用规划

大数据项目实行在保持关键账务系统稳定同步，实现外围TT架构逐渐向

开放架构演进，同步逐渐吸纳互联网技术创新，应对大数据技术的迅速发展和

进化。

以全行三年战略发展规划和十三五规划为导向，借鉴同业和互联网企业的

先进经验，分步实行分析应用，基础平台、外围系统改造以及业务流程优化对

应地进行配套调整。

规划的大数据平台及应用的整体架构如下：

一期建设内容二期■设内容三期建改内容大数

业务应用isvt是供提供

历史明细查询应用|精准营销实时应用其它创新类应用据平

台

亘&

二

批处理分析行为分析用户画像伪冒侦测事件营销二

数据操作服务数据查询服务数据分析眼务

功

点

银行原有系统Loader大数据平台

在线处理集群离线分行集群

安

能模

数据浦先一

HBase[Impala/ELKMahoutspark|

全

雀

HDFS/YamMR___Hive

管

数据转换管

理

理

交易系块定

流式处理集群基础数据袈群

敌据加载2

Strom3

Hbase3

二外部数据位如

任务调度HDFS/Yam

X86KSX|*861；资割|Rjgi2B安全设黄

下:

•基础数据集群

使用分布式文献系统和数据库等组件实现全量构造化数据和非构造化数

据存储，并提供原则接口或Rest原则接口，上层业务以只读方式访问。数据

使用平台集成日勺工具批量导入导出。

•在线处理集群

基础数据集群中日勺寄存的往往是低价值密度日勺数据，通过加工处理后，提

取出高价值密度日勺数据，放入在线查询集群，支撑实时业务、自助查询等高并

发，低时延时数据查询。

•离线处理集群

离线数据处理集群重要用于海量数据的分析处理，提供数据挖掘、数据探

索功能框架，从海量数据中提取高密度价值日勺数据。合用于对海量顾客行为数

据挖掘、建模，以支撑以客户为中心的精确营销、决策分析等应用场景。

•流式处理集群

使用流式处理组件，将实时数据接入。通过注入实时业务处理规则，对事

件做分析处理，实时决策。流事件处理过程中，需要访问基础集群或在线处理

集群，获取必要的支撑信息，如风险信息表、黑白名单、历史交易信息等，规

定支持每秒万级别并发数据访问。合用于信用卡授权风险控制、移动在线支付、

在线记录分析等对实时性规定较高的场景。

业

务

价

优化

营运

■

管控

风险

■

察

客户洞

支持

值营销

应客运信

个

用事实舆客交智»网知客实实户维息员

性小反

件时情簌户叉务站识户时时风日安工

场化窗能算

营苣分客挽造分管画风征志全挽

塔理货客洋险

景请销析留有析理色控信分分留

g

«

财K

析折

&

位置

用户

■

誉度

宏美

■岳

PI

运器

产品

费候向

用户消

度

贡献

客户

掘信息

商机挖

黑名单

资信

第三方

诏

知识图

险到评

客户风

户评分

零售客

户细分

对公客

数据

第三方

穷数据

款空止

务数据

传统业

数指

数互联网

据

|

信

人行征

志

网站日

息

账务信

位信息

来移动定

源

通讯

水电煤

息

客户信

槽

谓信微

行日志

系狡运

务有关

工商税

息

产品信