金融大数据解决方案之我谈ppt课件VIP

金融大数据技术解决方案之我谈,演讲者张天长,大数据背后的技术,金融大数据与传统数仓,议题,构建金融大数据解决方案,大数据解决方案分析实践,大数据平台数据仓库案例,大数据背后的技术,大数据技术起源,4,Google三大论文MapReduce/GFS/BigTableApacheLucene开源的高性能全文检索工具包ApacheNutch开源的Web搜索引擎,大数据技术起源,5,大数据技术的发展,6,2004年-DougCutting基于Google论文实现(HDFS/MapReduce)。2005年12月-Nutch移植到新的框架，Hadoop在20个节点上稳定运行。2006年01月-DougCutting加入雅虎。2006年02月-ApacheHadoop项目正式启动以支持MapReduce和HDFS的独立发展。2008年04月-赢得世界最快1TB数据排序在900个节点上用时209秒。2008年10月-研究集群每天装载10TB的数据。2009年03月-17个集群总共24000台机器。2009年04月-59秒内排序500GB(1400个节点)和173分钟内排序100TB数据(3400个节点)。,大数据平台集成商,7,ClouderaHortonworksFusionInsight（华为）Transwarp（星环）,大数据平台核心组件,8,HADOOP（分布式文件系统HDFS，并行计算框架MapReduce)YARN（Hadoop资源管理器：计算、内存、带宽等）HIVE（分布式数据仓库，HiveQL语言，不适合低延迟计算）HBASE（宽表、大表的非结构化数据库）SPARK（具有MapReduce有点，中间结果在内存，语言JAVA、SCALA）ZOOKEEPER（分布式应用程序协调服务）MANAGER（集群管理）Mahout(可扩展的机器学习和数据挖掘库),金融大数据与传统仓库,金融传统数据仓库,10,报表平台,绩效系统,支付系统,客户360,个人结算账户,回单打印,银企对账,存贷标准化,监管报送系统,内审系统,关联交易,成本分摊,风险监控,外管报送系统,风险预警平台,EAST数据报送,总部一体化,后督,AML反洗钱,。,客户风险,大数据部分应用场景,11,网络金融征信P2P网络贷款市场规模急剧增长个人征信业务需求不断上升通过大数据实时分析客户信用记录提升企业价值,小微贷款管理需要大数据分析提供业务支撑利用实时数据处理信息管理、交叉营销、信贷模型分析以及业务风险控制的需求不断提升,财富管理评估利用大数据分析给予用户有价值的财富管理产品组合使用业态广：银行/财富管理机构/券商/保险,反欺诈预警渗漏与欺诈风险增加，控制力度和手段不足缺乏先进的分析能力“实时高效”的甄别可疑理赔行为,客户识别、流失预警分析识别潜在客户群体、维护老客户、降低客户开发成本成为主要需求,理赔审查评估骗保识别成为保险业最大问题难点分析、评估理赔数据有效降低风险并为保险赔付制定提供依据,高频交易分析量化投资增长迅速，对结构化/非结构化数据利用力度不断加大实时、准确的数据模型提供有价值的交易推荐，提升客户满意度,保险精算利用大数据对险种、赔付率建立模型进行细分维度下的精准预测提升企业盈利水平保险业核心业务需求,实时分析客户信用记录提供贷款依据,大数据提供交叉营销、信贷模型分析,大数据实时分析渗漏欺诈风险,利用外部内部大数据有效管理客户关系,实时建立赔付率模型、并根据客户分析制定险种划分,内外部大数据分析有价值的财富投资组合,数据量化投资组合、建立高效数据模型,理赔数据审查、数据评估，有效降低异常赔付和骗保,大数据在金融领域的热点应用,12,用户画像,风险管理,资产产品定价,运营优化,区块链,智能投顾,风险定价,量化交易,精准营销,金融搜索引擎,金融领域大数据应用热点图,横轴代表该应用领域价值周期，表明该应用价值速度的快慢纵轴代表该应用领域的炒作周期阶段圆圈代表应用领域的规模，表示该应用领域当前参与方的多少与应用数量,大数据解决方案分析实践,大数据部分应用分析-某互联网金融产品,14,互联网金融行业在解决什么问题?面临怎样的风险?用什么样的技术手段来应对?传统金融V.S.互联网金融信用风险V.S.欺诈风险传统风控V.S.数据科学技术风控,互联网金融行业中的风险,15,互联网金融风险分析实践,16,借款用户通信社交网络与欺诈风险,结论1:与坏用户有大量关联的借款用户的坏账率是未关联用户的2.9倍,结论2：高分段用户的坏账率是低分段用户的3.3倍,风控建模中的数据科学,17,数据获取与清洗,特征提取,高级特征提取,建模,风险控制,金融数据,消费数据,行为数据,社交数据,其他,统计学习数据分析社交网络分析.,消费能力评级,用户风险评级,社交关联评级,用户属性评级,其他,GBDT梯度提升决策树,SVM支持向量机,RF随机森林,.,大数据构建数据仓库案例,2016年成都银行历史数据平台一期,19,调度监控,ODBC,JDBC,专用接口,数据加载,数据压缩,数据安全,数据处理,数据查询,数据导出,共享存储,统一调度,统一监控,历史数据存储,应用功能,信贷系统,核心系统,个贷系统,微贷系统,CRM,网银系统,信用卡,手机银行,二代支付,其他,海量数据并行处理,数据存储,源系统,