大大数据建模和算法特征

1、零售银行为了给客户提供更加优质的服务，需要通过分析银行系统本身数据 库所保留的客户资料信息，对客户进行分类管理。近年来，大数据已成为科技界和企业界关注的热点，越来越多的企业和研 究者正在关注大数据的应用。大数据的分析与挖掘技术在科学界正在如火如荼的展 开，各种大数据的新算法被开发研究出来，例如近年来发展比较完善的一种数据分 析挖掘算法支持向量机。与此同时，大数据分析在商业中的运用受到人们的追捧，各种大数据在商业中 成功运用的案例层出不穷， 比如美国大型零售商 target 公司的广告精准推送。 本文 将对大数据分析技术以及大数据分析技术在零售银行行业的作用进行一番探讨。什么是大数据2011 年

2、，麦肯锡在题为 海量数据， 创新、竞争和提高生成率的下一个新领域 的研究报告中首次提出大数据的概念。报告认为数据已经渗透到每一个行业和业务 职能领域，数据中蕴含着巨大的价值，这些价值将导致数据成为重要的生产因素。 2012 年纽约时报的一篇专栏中写到，“大数据”时代已经降临，在商业、经济 及其他领域中，最终决策将日益基于数据和分析而作出，而并非基于经验和直觉。 2012年 3月，美国奥巴马政府宣布投资 2亿美元启动“大数据研究和发展计划”， 这是继 1993 年美国宣布 “信息高速公路” 计划后的又一次重大科技发展部署。 美国 政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，

3、对未来 的科技与经济发展必将带来深远影响。进入 21 世纪，互联网的兴起促成了数据量的大规模增长。互联网时代，几乎全民都在制造数据，与此同时，数据的形成也极其丰富。一方面，既有社交网络、多 媒体、协同创造、虚拟服务等应用所主动产生的数据 ; 另一方面，又有搜索引擎、网 页浏览过程中被记录、 被收集的数据。 该阶段数据的特点是用户原创、 主动、交互。根据国际数据公司 (IDC) 的研究报告， 2011 年全球被创建和被复制的数据总量 为 1.8ZB( 数据存储单位， 泽字节， 等于 1024 艾字节或 270 个字节 ) ，且增长趋势遵 循新摩尔定律，预计到 2020 年，全球数据量大约每两年翻

4、一番，全球将拥有 35ZB 的数据量。正是由于信息技术的发展，大数据才能生成和发展。大数据技术正是从 海量的、多样化的数据中，快速获得有价值信息的能力。大数据指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、整理成为人类所能解读的信息。在维克托 ? 迈尔- 舍恩伯格及肯尼 斯?库克耶编写的大数据时代中，大数据分析是指不用随机分析抽样调查的方法， 而采用对所有数据进行分析的方法。基于目前对大数据的认识， 通常认为大数据具备了 4V特点，即 Volume（大量 ）、 Variety（ 多样） 、 Velocity（ 高速） 、Value（ 价值） 。这四个特点从四个方面

5、描述了大 数据分析技术：第一，数据体量巨大。从 TB级别到 PB级别，甚至跃升至 EB乃至 ZB级别; 第二，数据类型多样。包括网络文本、日志、视频、图片、地理位置信息 等各种结构化和非结构化的数据都有，一切信息皆为数据。第三，处理速度快。利 用各种大数据分析工具，比如 hadoop 和 SPSS，可从各种类型的数据中快速获得高 价值的信息，这一点和传统的数据分析技术有着本质的区别。第四，只要合理利用 数据并对其进行正确、准确的分析，挖掘出数据内部隐藏的相关关系将会带来很高 的价值回报。与传统的逻辑推理研究不同， 大数据研究是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳。大数据分

6、析比较关注数据的相关性或称关联性，所 谓“相关性”是指两个或两个以上变量的取值之间存在着某种规律。“相关分析” 的目的是找出数据集里隐藏的相互关系网 （ 关联网） 。因此大数据是侧重找出相关关 系而不是找出因果关系。也许正是由于大数据分析侧重于寻找相关关系，才促使大 数据分析技术在商业领域广泛应用。商业的运用在于盈利，因此只要从数据挖掘中 发现某种因素与增加盈利有较强的关联性，然后全面开发该相关因素就行。大数据分析建模的基本思路技巧有了大量数据之后，下一步就是分析这些数据，期望通过合适的数据分析挖掘 技术建立模型找到蕴藏在数据下面的客观规律。大数据分析技术经过这么多年的发 展，已经形成了一些分

7、析建模的基本思路。 CRISP-DM即（ “跨行业数据挖掘标准流程” 的缩写） 是一种业界认可的用于指导大数据分析挖掘工作的方法。CRISP-DM认为在大数据分析中存在一个大数据分析挖掘生命周期模型。在这个 生命周期模型中存在着商业理解、数据理解、数据准备、建立模型、模型评估和结 果部署这六个阶段。图 1 中展示了这六个阶段的关系，其中箭头的多少表示各个阶 段间依赖关系的使用频率和重要程度，每个阶段之间并不一定要严格遵守顺序。实 际上，大多数项目都会根据需要在这些不同的阶段之间来回移动。商业理解通常是指理解业务的实际类型，业务上的实际问题并且尝试尽可能多地了解数据挖掘的业务目标。数据理解是指数

8、据理解阶段包含深入了解可用于挖掘 的数据，此过程包括初始数据的收集，初始数据的描述以及数据质量的验证。数据 准备是数据挖掘最重要的阶段之一，通常需要花费大量的时间。据估算，实际的数 据准备工作通常占 50-70%的项目时间和工作量。数据准备通常包含以下任务：合并数据集和记录、选择数据子集样本、汇总记 录、导出新的属性、排序数据以便建模、删除或替换空白值或缺失值、分为训练数 据集和测试数据集等。经过数据准备，下一阶段就是建立模型。建模时通常会执行 多次迭代，选择合适的模型算法，运行多个可能的模型，然后再对这些参数进行微 调以便对模型进行优化，最终选择出一个最佳的模型。在模型评估阶段，需要对项 目

9、结果是否达到业务成功标准进行评估。此步骤的前提条件是对声明的业务目标有 清晰的了解，因此在前期的商业理解越发显得重要。模型评估完成之后就进入到结 果部署阶段，在该阶段就是将前期选择出来的最佳模型应用到实际业务中去，并得 到最终报告。大数据分析通过预测未来趋势及行为，做出知识的决策。大数据分析挖掘的主 要目标功能有以下几个：第一，自动预测趋势和行为。数据挖掘自动在大型数据库中寻找预测性信息， 以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。比如在 GOOGL流E感分析案例中预测流感爆发的时间和地点。第二，关联分析。数据关联是数据库中存在的一类重要的可被发现的知识，若 两个或多个

10、变量的取值之间存在某种规律性，就称为关联。关联分析旨在找出具有 强相关关系的几个属性。典型案例是啤酒和尿布的关联分析，关联分析经常用在电 子商务的产品推荐中。第三，聚类。数据库中的一些相类似的记录可以划归到一起，即聚类。聚类常常帮助人们对事物进行再认识。在社交网络分析中经常用到聚类技术。大数据分析技术经过这几年的发展， 已经形成了一些比较成熟稳定的模型算法。 常见的模型算法有关联规则分析 (Apriori) 、决策树、神经网络、 K-MEANS聚类、支 持向量机、多元线性回归、广义线性回归、贝叶斯网络、Cox以及 K 近邻等。这些算法模型有的适合预测趋势和行为， 有的适合关联分析， 有的适合聚

11、类分析 ; 每种模 型算法都有各自的优劣性，我们可以针对不同的场景选择合适的算法模型进行大数 据分析挖掘。一些常用的模型算法的优劣性和适用场合如表1 所示：表 1 ：大数据常用模型算法的特征分析模型算法优点缺点应用场合关联规则分析 (Apriori) 算法容易理解， 能够用简单的 if-then 规则描述数据之 间的完备关系 ; 得出的规则具有可读性 ; 能处理连续和离散的数据数据间可能不存在 强规则; 由于要查找整个数据库中的所有可能规则， 可能会出现组合爆炸问题数据形 式规范，分组容易 ; 零售业和时间序列分析，电子商务中的产品推介决策树最容易理解，当求解基于多个复杂属性的特定目标值时其性

12、能较佳，可 以产生相互独立的规则预测连续属性值时性能较差 ; 不能分析和时间有关的属性变 量用于进行分类的场合 ; 要求模型具有较强的解释性的时候神经网络通用性强， 对非线性、 有噪音的复杂数据分析效果良好 ;能处理规模较 大的数据库， 能预测连续数据， 分类或聚类离散数据 ; 能处理有噪音或属性值有缺失 的数据无法直观解释得到的规则， 结果较难解释 ; 算法收敛得太早， 容易出现局部最 优解或者过拟合现象用于进行分类预测的场合，并且变量之间线性关系难以解释的 情况下聚类(K-MEANS)应用简单，无需先验知识，能处理分类型数据，数字型数据和字 符型数据聚类的个数需要人为事先定好，难以选择适当

13、的距离函数和属性权值对数 据按照属性进行归类，发现离群数据和不符合预测模型的数据支持向量机对数据适应性比较强，鲁棒性强经典的算法只能分为两类，分多类 比较麻烦用于进行分类预测的场合，在神经网络不好用的情况下零售银行中的大数据类型在现代经济生活中， 个人和家庭生活与银行零售业务联系密切， 比如投资理财、 电子商务、移动支付、家居生活以及外出旅游无不与银行零售业务紧密相连。正因 为零售银行的客户庞大、 分布广泛、 业务量大且复杂， 因此零售银行对业务的管理、 风险的控制、客户的营销都有不同的要求。并且随着互联网金融的发展，银行零售 业务越来越受到其他非银机构的挑战，零售银行对其业务的稳固及发展面临

14、着新的 压力并提出了新的要求。要应对这种挑战，不断扩展业务，创造新的利润空间，就 必须对市场需求进行周密的调查研究，并且在调查研究的基础上发现价值点，而这 些正好是大数据分析的用武之地。零售银行经过了这么多年的发展，尤其是在最近几年互联网和移动互联网快速 发展的前提下，本身已经积累了大量的数据，这些数据几乎涵盖了市场和客户的各 个方面。零售银行的这些数据主要包括以下几个方面：第一，现有客户的属性数据。客户的属性数据包括客户的性别、年龄、收入以 及客户的职业。这些数据是客户在开户或者购买产品时留下来的属性数据，通过这 几个属性基本上可以描述客户的大概情况，比如收入水平、资产状况等。第二，客户的账

15、户信息。客户的账户信息里包含了客户的账户余额、账户类型 以及账户状态。客户的账户信息记录了客户当前的一种资产状态，对零售银行分析 客户以及挖掘客户起到了重要作用。第三，客户的交易信息。客户的交易信息里包含了客户交易的日期和时间，交 易的金额以及交易的类型。通过这些我们可以知道客户交易的频度及总额，由此可 以推断出客户的交易喜好以及资产能力。第四，客户的渠道信息。渠道信息是指客户是偏好去银行柜台办理业务，还是 通过互联网客户端或者移动互联网客户端来办理业务。客户的渠道信息对客户的管 理及拓展至关重要。第五，客户的行为信息。在互联网时代，各个零售银行都有网银日志和手机银 行日志，这些日志记录了客户

16、办理业务的行为信息。 相对于前几个方面的数据信息， 网银日志和手机银行日志信息是一种非结构化的数据信息。对比以上数据来源，可以发现零售银行的数据信息主要包括以下几类：客户的 属性、交易习惯、渠道偏好以及行为信息。这些数据信息储存于零售银行的网银系 统、客户管理系统、电子支付平台、 ECIF 系统、核心银行系统或者其它系统里面。 这些系统对数据的保存及分析提供了极大的便利性和准确性。大数据分析对零售银行的商业价值近几年来，大数据分析在各个相关领域飞速发展，零售银行也不例外。鉴于零 售银行的业务类型以及零售银行的数据类型，大数据分析在零售银行的商业价值主 要存在于以下几个方面。第一，客户的精细分类

17、和档案管理。 零售银行为了给客户提供更加优质的服务， 需要通过分析银行系统本身数据库所保留的客户资料信息，对客户进行分类管理。相关统计表明，只有大约 20%的客户能给银行带来最大收益，因此找到这 20% 的优质客户就成为零售银行的一大主要目标。而根据客户的数据信息资料找出客户 背后的社会、经济、消费特征，进而可以推断出客户的消费能力、消费水平和消费 习惯，并可以计算出各个客户对银行的贡献率，最终根据这些特征对客户进行精细 化的分类及管理。通过这些分类和管理能给零售银行带来最大的收益，而这些操作 只能通过大数据分析才能实现。第二，客户流失的预防和精准营销。从行业经验来看，发展一个新客户的成本 远

18、远大于维持一个原有客户的成本，尤其是优质客户。如今，银行零售业务的竞争 非常激烈，市场区域饱和，因此维持原有客户防止客户流失显得愈发重要。如何保 留原有的客户并且不断为这些客户提供优质的增值服务是零售银行业面临的一项重 要挑战和机遇。目前大数据分析可以帮助零售银行精细的定位和划分客户，从而找 出具有潜在流失可能性的现有客户。通过对数据进行分析，挖掘和整理出客户流失 的具体原因，客户不满意哪些产品和服务，客户消费行为的定位等等。通过大数据 分析可以对不同的客户提出具有强烈吸引力的个性化营销方案，进而帮助零售银行 预防客户流失进行精准营销。第三，产品的分析和管理。零售银行有众多的产品，这些产品适合

19、不同的客户 群体，如何对产品进行分析、管理和优化也是零售银行面临的一个难题。以往的产 品分析和管理只是单纯的利用统计分析来对产品的当前状态进行描述，缺少的是深入的挖掘。而在如今的大数据时代，通过大数据分析不仅可以对产品的覆盖人群、产品的盈利能力、用户的反应、用户的留存率、产品的营销推广、产品的优化升级 进行全方位的挖掘，还可以在此基础上找到新的价值增长点。通过大数据分析，零 售银行对产品的把控能力必将得到更大的提高。第四，风险控制和管理。信用卡的使用就是零售银行面临的风险之一，客户恶 意透支信用卡，逾期不还款这些都是银行面临的潜在风险。因此，如何提前识别有 风险的客户，如何预防客户的恶意透支以

20、及如何进行风险管控，这些都是零售银行 面临的难题。在大数据分析大规模应用之前，银行只是简单的通过用户的背景资料 来进行预防，这种方法既被动又无效。而如今，在大数据的帮助下，银行可以从客 户的历史数据中分析出客户的消费行为习惯，一旦客户出现非常规的消费行为，即 可认为风险指数超标从而中止交易，进而有效地防止风险的出现。另外，通过大数据分析也可对用户的信用等级进行评估，对信用评估得分低的 客户可以重点进行风险管理和控制 ; 对信用评估得分高的客户可以进一步挖掘出这 部分客户的消费潜力进而提高零售银行的业绩。第五，银行经营状况分析。大数据分析不仅可以对零售银行的客户进行精准定 位、营销和风险管理，也可以对零售银行的总体经营状况进行深度分析。通过数据 挖掘及时了解营业状况、资金情况、利润情况等重要信息。同时，还可以结合历史 同一时间的经营状况数据，挖掘出现阶段经营状况的问题以及改进的策略，进而提 出在该条件下最大收益的经营方式。以上五点只是大数据分析对零售