金融行业大数据解决方案与案例

1、金融行业大数据解决方案与案例银行大数据平台整体架构图数据源层数据交换层总行数据交换平台数据处理层数据应用层结构化数据非结构化数据Hadoopcore统一访问、统一监控、统一调度统一展示、统一报送、统一元数据管理分布式文件系统HDFS并行处理MapReduce并行调度YARN数据仓库BATCHNoSQLIndexStreamGraphIn-memoryAd-Hoc QuerySecurityGovernance蜂窝图柱状图仪表盘饼图漏斗、锥形图外部数据源人行工商公积金公安九项资产黑名单流程自生产数据催收系统，全量C卡并行化，审批系统审批流程记录等行内共享数据行内数据集市，传统数仓共享数据。数据装

2、载数据清洗数据转换资金集市风控集市信贷集市内存计算Spark光大银行案例集光大银行总行大数据项目中国光大银行历史数据在线查询系统建设项目（1期、2期、3期）中国光大银行现钞冠字号码查询信息系统项目（1期、2期）国内第一个Hadoop技术在银行业务系统的落地实现，国内落地了唯一满足银监会要求双活Hadoop集群容灾系统。系统上线后于2014年获得IDC金融最佳创新奖。全行3个月45亿现钞清分数据的采集、存储、处理和查询，满足全行1000多网点的毫秒级查询响应级别。中国光大银行工单文本数据挖掘项目基于大数据平台，利用Hive、Hbase、Spark等组件，集合自然语言处理引擎，实现对光大信用卡中心

3、工单文本数据的挖掘。中国光大银行大数据挖掘平台项目基于大数据平台和模型算法训练平台MaximAI，联合建设了适用于光大银行数据分析挖掘的综合算法研究开发平台。光大银行总行规划推进的项目中国光大银行数据产品应用系统项目中国光大银行大屏实时展示系统项目基于大数据平台，开发实现机器学习、复杂网络等模型算法产品在生产环境上落地使用的服务系统，为全行各个业务部门营销和风控等业务活动提供有力的数据支撑。基于大数据平台，利用Hadoop流式处理技术，建设全行业务数据动态实时播报系统，并通过数据可视化的服务表达方式在行内大屏实时展示。中国光大银行风险一体化大数据平台基于大数据平台，融合信用卡全流程数据，做到贷

4、前，贷中，贷后的客户全流程化管理，同时构建客户统一的风险视图兴业银行客户标签化背景在大数据时代，以互联网为代表的现代信息科技将从根本上改变金融运营模式。数据在呈现出海量化、多样化、传输快速化和价值化的变化趋势的同时，也改变了传统金融行业的市场竞争环境、营销策略和服务模式对商业银行而言，基于客户特征集合形成的客户标签有成百上千、甚至成千上万个，这些标签在构建时的业务目的和适用场景各有不同。随着应用标签的场景越来越丰富，商业银行也会逐渐形成一套完整的客户标签体系。备注标签逻辑架构用户画像生产和应用：逻辑架构处理流程备注业务系统数据探查标签宽表标签模型计算标签模型交易示例数据交易日期客户卡号交易金额

5、商户类型交易描述：爱车一族交易描述：家有熊孩交易描述：精致奢华交易描述：纸醉金迷交易描述：小资派示例手机银行日志业务类型用户标识手机品牌二期实时营销架构图备注系统截图人民银行征信中心企业关联关系，担保闭环大数据技术如何应用到关联关系查询中（最佳方案）企业主体标识数据投资关系数据担保关系数据信贷信息数据原始信息Hadoop的分布式存储技术有效支撑大数据量存储数据处理主体信息数据关系信息数据原始信息信贷信息数据转换、归整Hadoop的并行计算技术有效支撑大规模的数据处理任务数据建模数据模型Hadoop的并行计算技术有效实现数据模型创建并存于图数据库中图数据库图形数据库数据计算数据模型迭代计算图形数

6、据库图计算引擎通过图计算引擎对图数据库的数据进行关系计算结果查询结果数据通过大数据的数据库技术提供计算结果的快速查询场景分析数据特点企业企业担保关系企业企业投资关系企业企业实际控制企业个人高管关系个人个人家族关系逻辑视图关系对儿复杂网络某金融机构企业关联关系查询文本数据担保关系对家族关系对投资关系对集团关系对0 1 0 1 0 1 01 1 0 1 0 1 10 1 0 1 1 1 01 1 0 1 0 1 11 1 0 1 1 1 11 1 0 1 1 1 11 1 0 1 1 1 1邻接矩阵复杂网络平台数据汇总构建模型企业关系网络某金融机构企业关联关系查询BDCN计算引擎BDCN复杂网络W

7、arshall算法Breath-First Search，BFS算法Deep-First Search，DFS算法担保圈发现企业关联关系查找技术与算法支撑担保圈应用-场景商业银行A企业1放贷担保企业1企业2担保商业银行B放贷企业1担保担保商业银行C放贷商业银行D放贷担保圈形成商业银行不能看到担保链条全部。未知的信息带来巨大的金融风险。泰康人寿精准营销基于无监督机器学习技术的客户流失分析年收入2.9万，总标保1.5万以上，高达9万的两全产品，产品覆盖面齐全年收入高达18万，总标保只有1万，寿险和年金金额较高，无投连产品年收入2.9万，高达6.3万的万能产品，产品覆盖面齐全年收入只有0.3万，高达

8、7.7万的投连产品年收入9.7万，标保只有0.5万年收入只有0.8万，高达2.9万的年金产品年收入4.8万，总标保2.6万以上，高达7.6万的年金产品，产品覆盖面齐全客户分群按照不同视角选择变量，进行客户分群将客户分群结果与业务解读进行校对调整分群大小的颗粒度，寻找最优值产品推荐根据客户产品购买行为，运用关联规则分析模型，生成二次购买产品推荐列表流失预警圈定已流失客户群体，寻找群体特征根据此特征形成客户流失预测模型计算每个客户的流失概率个性脸谱为每位客户生成特征描述、二开产品推荐、客户流失概率泰康人寿精准推荐产品和服务对公司全部投保人客户进行全量数据分析基于有监督机器学习技术的客户流失分析客户

9、1客户2客户3客户4基本信息购买数据理赔数据健康数据缴费数据呼叫数据HDFS已流失客户清洗、转换规整、建模有监督学习算法模型训练成熟的算法模型基于有监督机器学习技术的客户流失分析成熟的算法模型客户1客户2客户3客户4基本信息购买数据理赔数据健康数据缴费数据呼叫数据现有客户客户1客户2客户3客户4流失预警稳定客户客户经理用户界面借贷宝熟人借贷借贷宝复杂网络应用借贷宝首创熟人间单向匿名借贷模式（即借款人实名、出借人匿名），通过互联网人与人之间的连接机制，实现直接金融交易；利用熟人之间的天然关系，极大程度的减少甚至消除信息不对称；还利用熟人圈的声誉机制和信息收集便利，实现对恶意欠债者的天然约束与高效催收。已完成二轮25亿融资，总估值超500亿。国内顶级私募机构九鼎控股倾力打造的熟人间借贷平台。熟人借贷风险定价分析利用复杂网络技术的社交关系网进行分析，评估个人信用风险，量化借贷利率。基于复杂网络技术的风险识别掮客长链条从复杂的借贷关系网络中发现掮客长链条，预测风险深度。出借人掮客掮客掮客掮客掮客掮客基于复杂网络技术的风险识别风险群体识别物以类聚，人以群分，众多节点关系稠密，编织在一起，会形成一社群，社群中的节点的相似性极高，当社群中的一些节点出现问题时，与其相似的节点的潜在风险性也会越高。欺诈群体基于复杂网络技术的风险识别旁氏骗局识别有大量的资金从多个借