大数据建模和算法特征

零售银行为了给客户供应更加优质的服务，须要通过分析银行系统本身数据库

所保留的客户资料信息，对客户进行分类管理。

近年来，大数据已成为科技界和企业界关注的热点，越来越多的企业和探

讨者正在关注大数据的应用。大数据的分析与挖掘技术在科学界正在如火如荼的绽

开，各种大数据的新算法被开发探讨出来，例如近年来发展比较完善的一种数据分

析挖掘算法支持向量机。

与此同时，大数据分析在商业中的运用受到人们的追捧，各种大数据在商业中

胜利运用的案例层出不穷，比如美国大型零售商target公司的广告精准推送。本文

将对大数据分析技术以及大数据分析技术在零售银行行业的作用进行一番探讨。

什么是大数据

2011年，麦肯锡在题为《海量数据，创新、竞争和提高生成率的下一个新领域》

的探讨报告中首次提出大数据的概念。报告认为数据己经渗透到每一个行业和业务

职能领域，数据中蕴含着巨大的价值，这些价值将导致数据成为重要的生产因素。

2012年《纽约时报》的一篇专栏中写到，“大数据”时代已经驾临，在商业、经济

及其他领域中，最终决策将H益基于数据和分析而作出，而并非基于阅历和直觉。

2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据探讨和发展安排”，这

是继1993年美国宣布“信息高速马路”安排后的又一次重天科技发展部署。美国政府

认为大数据是“将来的新石油”，将“大数据探讨”上升为国家意志，对将来的科技与经

济发展必将带来深远影响。

进入21世纪，互联网的兴起促成了数据量的大规模增长。互联网时代，几乎全

民都在制造数据，与此同时，数据的形成也极其丰富。一方面，既有社交网络、多

媒体、协同创建、虚拟服务等应用所主动产生的数据;另一方面，又有搜寻引擎、网

页阅读过程中被记录、被收集的数据。该阶段数据的特点是用户原创、主动、交互。

依据国际数据公司(IDC)的探讨报告，2011年全球被创建和被复制的数据总量

为1.8ZB(数据存储单位，洋字节，等于1024艾字节或270个字节)，且增长趋势

遵循新摩尔定律，预料到2020年，全球数据量大约每两年翻一番，全球将拥有35ZB

的数据晟。正是由于信息技术的发展，大数据才能生成和发展。大数据技术正是从

海量的、多样化的数据中，快速获得有价值信息的实力。

大数据指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截

取、管理、处理、整理成为人类所能解读的信息。在维克托？迈尔-舍恩伯格及肯尼

斯?库克耶编写的《大数据时代》中，大数据分析是指不用随机分析抽样调查的方法,

而采纳对全部数据进行分析的方法。

基于目前对大数据的相识，通常认为大数据具备了4V特点，即Volume（大量）、

Variety（多样）、Velocity（高速）、Value（价值）。这四个特点从四个方面描述了大数据

分析技术：第一，数据体量巨大。从TB级别到PB级别，甚至跃升至EB乃至ZB

级别;其次，数据类型多样。包括网络文本、日志、视频、图片、地理位置信息等各

种结构化和非结构化的数据都有，一切信息皆为数据。第三，处理速度快。利用各

种大数据分析工具，比如hadoop和SPSS,可从各种类型的数据中快速获得高价

值的信息，这一点和传统的数据分析技术有着本质的区分。第四，只要合理利用数

据并对其进行正确、精确的分析，挖掘出数据内部隐藏的相关关系将会带来很高的

价值回报。

与传统的逻馒推理探讨不同，大数据探讨是对数量巨大的数据做统计性的搜寻、

比较、聚类和分类等分析归纳。大数据分析比较关注数据的相关性或称关联性，所

谓“相关性”是指两个或两个以上变量的取值之间存在着某种规律。“相关分析”的目的

是找出数据集里隐藏的相互关系网（关联网）。因此大数据是侧重找出相关关系而不

是找出因果关系。或许正是由于大数据分析侧重于找寻相关关系，才促使大数据分

析技术在商业领域广泛应用。商业的运用在于盈利，因此只要从数据挖掘中发觉某

种因素与增加盈利有较强的关联性，然后全面开发该相关因素就行。

大数据分析建模的基本思路技巧

潜

通话详单致

在

据

用户位为数，——）用户或终端换

据女电史运卖场粒据

GPRS详单机

数据

用

用户赚单数

据

用户i羊单数_用户基很用<------>

柩R亮此去性数抠夜空纪连

用户入网信

有了大量数据之后，下一步就是分析这些数据，期望通过合适的数据分析挖掘

技术建立模型找到隐藏在数据下面的客观规律。大数据分析技术经过这么多年的发

展，已经形成了一些分析建模的基本思路。CRISP-DM（即“跨行业数据挖掘标准流程”

的缩写）是一种业界认可的用于指导大数据分析挖掘工作的方法。

CRISP-DM认为在大数据分析中存在一个大数据分析挖掘生命周期模型。在这

个生命周期模型中存在着商业理解、数据理解、数据打算、建立模型、模型评估和

结果部署这六个阶段。图1中展示了这六个阶段的关系，其中箭头的多少表示各个

阶段间依靠关系的运用频率和重要程度，每个阶段之间并不肯定要严格遵守依次。

事实上，大多数项目都会依据须要在这些不同的阶段之间来回移动。

商业理解通常是指理解业务的实际类型，业务上的实际问题并且尝试尽可能多

地了解数据挖掘的业务目标。数据理解是指数据理解阶段包含深化了解可用于挖掘

的数据，此过程包括初始数据的收集，初始数据的描述以及数据质量的验证。数据

打算是数据挖掘最重要的阶段之一，通常须要花费大量的时间。据估算，实际的数

据打算工作通常占50-70%的项目时间和工作量。

数据打算通常包含以下任务：合并数据集和记录、选择数据子集样本、汇总记

录、导出新的属性、排序数据以便建模、删除或替换空白值或缺失值、分为训练数

据集和测试数据集等。经过数据打算，下一阶段就是建立模型。建模时通常会执行

多次迭代，选择合适的模型算法，运行多个可能的模型，然后再对这些参数进行微

调以便对模型进行优化，最终选择出一个最佳的模型。在模型评估阶段，须要对项

目结果是否达到业务胜利标准进行评估。此步骤的前提条件是对声明的业务目标有

清楚的了解，因此在前期的商业理解更加显得重要。模型评估完成之后就进入到结

果部署阶段，在该阶段就是将前期选择出来的最住模型应用到实际业务中去，并得

到最终报告。

大数据分析通过预料将来趋势及行为，做出学问的决策。大数据分析挖掘的主

要目标功能有以下几个：

第一，自动预料趋势和行为。数据挖掘自动在大型数据库中找寻预料性信息，

以往须要进行大量手工分析的问题如今可以快速干脆由数据本身得出结论。比如在

GOOGLE流感分析案例中预料流感爆发的时间和地点。

其次，关联分析。数据关联是数据库中存在的一类重要的可被发觉的学问，若

两个或多个变量的取值之间存在某种规律性，就称为关联。关联分析旨在找出具有

强相关关系的几个属性。典型案例是啤酒和尿布的关联分析，关联分析常常用在电

子商务的产品举荐中。

第三，聚类。数据库中的一些相类似的记录可以划归到一起，即聚类。聚类常

常帮助人们对事物进行再相识。在社交网络分析中常常用到聚类技术。

大数据分析技术经过这几年的发展，己经形成了一些比较成熟稳定的模型算法。

常见的模型算法有关联规则分析(Apriori)、决策树、神经网络、K-MEANS聚类、支

持向量机、多元线性回来、广义线性回来、贝叶斯网络、Cox以及K近邻等。这些

算法模型有的适合预料趋势和行为，有的适合关联分析，有的适合聚类分析;每种模

型算法都有各自的优劣性，我们可以针对不同的场景选择合适的算法模型进行大数

据分析挖掘。一些常用的模型算法的优劣性和适用场合如表1所示：

表1：大数据常用模型算法的特征分析

模型算法优点缺点应用场合

关联规则分析(Apriori)算法简洁理解，能够用简洁的f-then规则描述数据之间

的完备美系7得出的规则具有可读性;能处理连续和离散的数据数据间可能不存在强

规则油于要查找整个数据库中的全部可能规则，可能会出现组合爆炸问题数据形式

规范，分组简洁;零售业和时间序列分析，电子商务中的产品推介

决策树最简洁理解，生求解基于多个困难属性的特定目标值时其性能较佳，可

以产生相互独立的规则预料连续属性值时性能较差;不能分析和时间有关的属性变

量用于进行分类的场合;要求模型具有较强的说明性的时候

神经网络通用性强，对非线性、有噪音的困难数据分析效果良好;能处理规模较

大的数据库，能预料连续数据，分类或聚类离散数据;能处理有噪音或属性值有缺失

的数据无法直观说明得到的规则，结果较难说明;算法收敛得太早，简洁出现局部最

优解或者过拟合现象用于进行分类预料的场合，并且变量之间线性关系难以说明的

状况下

聚类(K-MEANS)应用简洁，无需先验学问，能处理分类型数据，数字型数据和

字符型数据聚类的个数须要人为事先定好，难以选择适当的距离函数和属性权值对

数据依据属性进行归类，发觉离群数据和不符合预料模型的数据

支持向量机对数据适应性比较强，鲁棒性强经典的算法只能分为两类，分多类

比较麻烦用于进行分类预料的场合，在神经网络不好用的状况下

零售银行中的大数据类型

在现代经济生活中，个人和家庭生活与银行零售业务联系亲密，比如投资理财、

电子商务、移动支付、家居生活以及外出旅游无不与银行零售业务紧密相连。正因

为零售银行的客户浩大、分布广泛、业务量大且困难，因此零售银行对业务的管理、

风险的限制、客户的营销都有不同的要求。并且随着互联网金融的发展，银行零售

业务越来越受到其他非银机构的挑战，零售银行对其业务的稳固及发展面临着新的

压力并提出了新的要求。要应对这种挑战，不断扩展业务，创建新的利润空间，就

必需对市场需求进行周密的调查探讨，并且在调查探讨的基础上发觉价值点，而这

些正好是大数据分析的用武之地。

零售银行经过了这么多年的发展，尤其是在最近几年互联网和移动互联网快速

发展的前提下，本身己经积累了大量的数据，这些数据几乎涵盖了市场和客户的各

个方面。零售银行的这些数据主要包括以下几个方面：

第一，现有客户的属性数据。客户的属性数据包括客户的性别、年龄、收入以

及客户的职业。这些数据是客户在开户或者购买产品时留下来的属性数据，通过这

几个属性基本上可以描述客户的或许状况，比如收入水平、资产状况等。

其次，客户的账户信息。客户的账户信息里包含了客户的账户余额、账户类型

以及账户状态。客户的账户信息记录了客户当前的一种资产状态，对零售银行分析

客户以及挖掘客户起到了重要作用。

第三，客户的交易信息。客户的交易信息里包含了客户交易的日期和时间，交

易的金额以及交易的类型。通过这些我们可以知道客户交易的频度及总额，由此可

以推断出客户的交易喜好以及资产实力。

第四，客户的渠道信息。渠道信息是指客户是偏好去银仃柜台办理'1K务，还是

通过互联网客户端或者移动互联网客户端来办理业务。客户的渠道信息对客户的管

理及拓展至关重要。

第五，客户的行为信息。在互联网时代，各个零售银行都有网银日志和手机银

行日志，这些口志记录了客户办理业务的行为信息。相对于前几个方面的数据信息,

网银日志和手机银行日志信息是一种非结构化的数据信息。

对比以上数据来源，可以发觉零售银行的数据信息主要包括以下几类：客户的

属性、交易习惯、渠道偏好以及行为信息。这些数据信息储存于零售银行的网银系

统、客户管理系统、电子支付平台、ECIF系统、核心银行系统或者其它系统里面。

这些系统对数据的保存及分析供应了极大的便利性和精确性。

大数据分析对零售银行的商业价值

近几年来，大数据分析在各个相关领域飞速发展，零售银行也不例外。鉴于零

售银行的业务类型以及零售银行的数据类型，大数据分析在零售银行的商'业价值主

要存在于以下几个方面。

第一客户的精细分类和档案管理。零售银行为了给客户供应更加优质的服务,

须要通过分析银行系统本身数据库所保留的客户资料信息，对客户进行分类管理。

相关统计表明，只有大约20%的客户能给银行带来最大收益，因此找到这20%

的优质客户就成为零售银行的一大主要目标。而依据客户的数据信息资料找出客户

背后的社会、经济、消费特征，进而可以推断出客户的消费实力、消费水平和消费

习惯，并可以计算出各个客户对银行的贡献率，最终依据这些特征对客户进行精细

化的分类及管理。通过这些分类和管理能给零售银行带来最大的收益，而这些操作

只能通过大数据分析才能实现。

其次，客户流失的预防和精准营销。从行此阅历来看，发展一个新客户的成本

远远大于维持一个原有客户的成本，尤其是优质客户。如今，银行零售业务的竞争

特别激烈，市场区域饱和，因此维持原有客户防止客户流失显得愈发重要。如何保

留原有的客户并且不断为这些客户供应优质的增值服务是零售银行业面临的一项重

要挑战和机遇。目前大数据分析可以帮助零售银行精细的定位和划分客户，从而找

具有潜在流失可能性的现有客户。通过对数据进行分析，挖掘和整理出客户流失

的详细缘由，客户不满足哪些产品和服务，客户消费行为的定位等等。通过大数据

分析可以对不同的客户提出具有剧烈吸引力的特性化营销方案，进而帮助零售银行

预防客户流失进行精准营销。

第三，产品的分析和管理。零售银行有众多的产品，这些产品适合不同的客户

群体，如何对产品进行分析、管理和优化也是零售银行面临的一个难题。以往的产

品分析和管理只是单纯的利用统计分析来对产品的当前状态进行描述，缺少的是深

化的挖掘。而在如今的大数据时代，通过大数据分析不仅可以对产品的覆盖人群、

产品的盈利实力、用户的反应、用户的留存率、产品的营销推广、产品的优化升级

进行全方位的挖掘，还可以在此基础上找到新的价值增长点。通过大数据分析，零

售银行对产品的把控实力必将得到更大的提高。

第四，风险限制和管理。信用卡的运用就是零售银行面临的风险之一，客户恶

意透支信用卡，逾期不还款这些都是银行面临的潜在风险。因此，如何提前识别有

风险的客户，如何预防客户的恶意透支以及如何进行风险管控，这些都是零售银行

面临的难题。在大数据分析大规模应用之前，银行只是简洁的通过用户的背景资料

来进行预防，这种方法既被动又无效。而如今，在大数据的帮助下，银行可以从客

户的历史数据中分析出客户的消费行为习惯，一旦客户出现特别规的消费行为，即

可认为风险指数超标从而中止交易，进而有效地防止风险的出现。

另外，通过大数据分析也可对用户的信用等级进行评估，对信用评估得分低的

客户可以重点进行风险管理