国家开发银行大数据实践经验分享PPT幻灯片课件

国家开发银行大数据实践经验分享,王浩国家开发银行信息科技局2015年12月,目录,1.1大数据的产生,BIGDATA,WEB,PB千T,CRM,TB千G,GB千兆,ERP,EB千P,不断增加的数据种类与复杂度,用户生成内容,移动网络,短信、彩信,舆情分析,外部统计,高清视频,语音转换,产品、服务log,社交网络,业务数据流,用户点击流,网络log,营销历史,A/B测试,动态定价,联署网络,搜索营销,行为目标,动态过滤,付款信息,客户名单,客户接触,购买明细,购买记录,营销信息,客户细分,移动互联网,云计算,物联网,社交网络,数据的低成本获取与分布式存储(Hadoop),基于位置的服务,内容分析,万兆交换,流计算,科技的发展，特别是信息技术的飞速发展催生了大数据,1.2大数据的提出,麦肯锡咨询公司“大数据”研究报告“Bigdata:Thenextfrontierforinnovation,competition,andproductivity”McKinseyGlobalInstitute,May2011.最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡在2011年发布的研究报告大数据：创新、竞争和生产力的下一个新领域之中，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。,1.3对大数据的理解,大数据是指难以利用常规硬件环境和软件工具在用户可接受的时间内收集、存储、管理和分析的数据集，具有容量大、种类多、复杂度高、处理速度要求高等特征。大数据中的“大”不是最重要的，大数据会持续地演进，今天的大数据明天可能不再被认为是大数据，更重要的是企业如何掌握和运用这些大数据的能力，即通过不断创新思想方法和技术体系，获取更加全面有效的数据信息，深度挖掘分析数据价值，藉此获得生产和管理方式的优势，才能成为傲视群雄的领先者。,大数据,思想方法,硬件资源,系统架构,交互渠道,金融服务,推出有针对性的市场营销活动和产品提升客户服务水平优化交易决策合规风险管理欺诈侦测提升债务回收率创造新收入用于制定战略规范,TMT,以客户洞察为基础，提供有针对性的产品和服务，推出有针对性的广告社交网络分析,医疗,临床决策支持分析结果比照生命科学研究最佳治疗方案远程患者监控新药预测性建模个性化药物,零售和消费品,需求预测优化库存水平和补货实时门店监控店内行为分析个性化交叉销售和追加销售近乎实时的定价渠道绩效衡量客户洞察,公共行业,欺诈防控人口细分、定制行动开放式数据项目支持决策自动化,公共事业/能源,需求预测和资产优化预测性和防范性维护灾难管理智能电网智能家庭智能电表欺诈侦测一线团队增效发电站点选择和资产设置,工业品,保险,运输,以数据为本的产品设计车间优化灵活的供应链管理以价值为本的设计群包“数字化工厂”，旨在实现精益化成产通过产品传感器数据，优化服务,按实际使用付费的保险（PAYD）欺诈战略专业小众产品和保险捆绑客户知识智能化保险续期,交通拥塞管理车队/网络优化实时停车位管理动态化数据调整,基于地理位置的营销社交细分,社交媒介/其他应用,信心分析价格对比服务,+,-,数据强度,1.4大数据对不同行业的价值,2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。,1962年，经过“圣灰星期三”风暴后，美国陆军工程部和美国国家海洋与大气管理局共同建设了一个传感器监测系统，对兴风作浪的海洋进行监测。2005年，浮标上安装了更高端的传感器，用来监测海浪方向。2009年，系统再次升级，开始着手建立一个覆盖全美海岸线的精确海浪监测网络。这些传感器以分秒为单位，将数据源源不断实时传回。还记得后天里面那个场景？,1.5大数据能做什么传感器、智慧地球,通过对BBS、博客、微博中内容的分析，政府、企业和个人可以了解当前舆论情况，公众对待某一事物的看法。目前围绕这个产业，催生了一大拨的创新公司。,通过分析15万条关于刘翔的微博，分词并析取出其中使用的字词。在分析中，我们发现，为刘翔呐喊助威的声音占了统治地位，然而也有微博用户激烈地批评刘翔。这是我们第一次能对如此数量的中国用户进行数据可视化和情感分析在所有关于刘翔的微博中出现的最显著的名词和形容词。结点越大表明越多人使用过这个词。两个结点离得越近表明它们一起出现在同一用户微博中的频率越高。我们在构造出的这个图中，可以非常明显地发现刘翔支持者所用的词语（右下）以及批评者所有的词语（左上）的巨大区别。,1.5大数据能做什么舆情监测、情感分析,电信行业、传媒业借助社交网络分析，对客户的通话数据、微博连接进行分析，能够识别出这部分“影响者”。社交分析并不是分析单一用户的通话记录和微博信息，而是分析各用户所处的社交网络。,圈子识别关键成员识别传播影响分析重入网用户识别双机双卡用户识别六度空间理论关系强度分析,1.5大数据能做什么社交网络分析、微博营销,今年年初，美国一名男子闯入了他家附近的Target店铺（Target是一家美国零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼到，“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行一套大数据系统。一个月后，这个愤怒的父亲打来电话道歉，因为Target发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。纽约时报报道,更多：反恐（万维信息触角计划与建言计划），库存管理（沃尔玛的RetailLink）、卖数据！,大数据驱动市场营销、驱动成本控制、驱动产品和服务创新、驱动管理和决策的创新、驱动商业模式的创新。,1.5大数据能做什么客户特征刻画、交叉销售,美国：奥巴马政府3.29宣布“BigDataResearchandDevelopmentInitiative”将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论,中国：2015年06月24日,国务院办公厅发布加强大数据运用的若干意见，2015年8月31日国务院常务会议通过了促进大数据发展的行动纲要。,新加坡：利用数据作为资源，将新加坡打造成全球数据管理中心计划未来5年，培养2500名数据分析专业人才新加坡正计划建立一个占地面积超过12公顷的数据中心园,1.6各国政府高度重视大数据，上升到国家战略高度,数据管控,金首饰,私有云,公有云,数据科学家,技术专家,业务专家,人员角色,主要技术,大数据淘金过程,云计算、物联网、移动互联网、社交网络,javaMapReduce,SQL-MapReduce,1.7大数据获取与挖掘分析过程,挖掘和分析、模型训练,目录,零售银行业务,公司银行业务,资本市场业务,交易银行业务,资产管理业务,财富管理业务,更好地了解客户，制定有针对性的行动方案,个性化定价和交叉销售,客户细分,预见客户流失,高效渠道管理,为第三方总结深入洞察,推出增值服务，提升忠诚度,提供丰富实时的商业信息,先进的模式和信号识别,非结构化的数据挖掘,个性化定价和交叉销售,客户细分,为第三方总结深入洞察,推出增值服务，提升忠诚度,为客户提供个性化定价,个性化定价和交叉销售,预见客户流失,提供更具成本效益的财务建议,风险管理,确定违约模式,完善评分算式,智能化催收,欺诈监测,识别异常情况,2.1大数据在银行业的潜在应用,1.可实现机会是指现状与100%钱包份额之间的差距，其中包括6%-40%的调整，充分考虑到因银行实际能力导致的在实际操作中的可行性。2.渗透率的分析方法是（可实现机会/集群的100%钱包份额），再划分为三段。,2.2应用场景（1）基于智能聚类的客户业务份额提升机会识别,外部因素,同业利率定价,市场资金供应量,内部因素,收益预期,银行的利率定价,客户群A,成本约束,客户群B,根据存款业务的收益与成本约束，以及市场上同类业务的成本定价情况，对本行存款业务成本定价决策提供支持。,客户综合价值考量,银行间同业拆借利率、各家银行的存款利率、民间金融机构利率,f(a1,a2,a3,.)=Ma1=GDP,a2=CPI，a3=.,2.2应用场景（2）基于客户细分的差异化定价策略,宏观经济数据,税务数据,公用事业收费,2.2应用场景（3）风险管理,谁在说？,在哪儿说？,是赞扬？批评？中性？,话题有多热？,伴随时间发展，讨论热度的波动如何？,对市场方向有何影响？,2.2应用场景（4）舆情监测分析,2.3大数据未来对银行业的影响,对于银行业，大数据未来必将推动产品创新、业务流程、服务渠道、客户营销等生产方式以及组织结构、战略决策、管理制度、风险控制等管理模式的变革。,全面推动产品创新,生产方式变革,管理模式变革,3.4大数据时代下未来银行的构想,通过对大数据模型的计算和设计，整个银行体系就会变成基于数据收集、数据分析、数据建模的数据应用体系，加上货币，按照数据分析和挖掘结果，设计和提供金融产品、金融服务、授信额度，再通过现有的支付媒介，进行循环运行，就可构成未来的银行,目录,国家开发银行简介,国家开发银行成立于1994年，是中国政府的开发性金融机构，致力于以中长期投融资服务国家战略，改善民生。国开行有“两基一支”（基础设施、基础产业、支柱产业）、民生金融、国际合作、综合经营四大特色业务板块，是中国中长期投融资和新型城镇化的骨干银行、最大的对外投融资合作银行，以及全球最大的开发性金融机构。国开行目前在中国内地设有37家一级分行和3家二级分行，境外设有香港分行和开罗、莫斯科、里约热内卢、加拉加斯、伦敦等5家代表处。截至2015年6月底，国开行资产规模达10.6万亿元，不良贷款率连续41个季度低于1%，保持优良的市场业绩。,以开发金融服务国家战略,以富国富民为己任，支持经济社会发展。,完成了基于大数据的数据仓库规划、数据管理与应用规划，数据挖掘应用需求规划,3.1概览,完成了数据仓库和外部数据平台的内外部数据整合利用SAS及Aster挖掘工具开展数据洞察,基于大数据的客户关联关系风险分析央企融资空间预测,建设完善大数据分析团队,完成了行内经营分析和用户行为数据的搜集完成了10路外部数据的采购整合,系统工程师业务分析师数据科学家,3.2大数据的规划,基于大数据的数据仓库规划,基于大数据的数据管理与应用规划,基于大数据的据挖掘应用需求规划,3.3大数据的收集,行内数据的收集：包括业务经营数据、用户操作行为数据等行外数据的收集：购买了十路数据，如路透、万德，工商、海关等等，更多数据还在购买中。,行内数据,行外数据,新增,3.3大数据收集外部数据,路透数据,人行征信,万得数据,银监会客户风险预警数据,EIU国际宏观经济数据,中债登,RM数据,道琼斯指数黑名单数据,外部数据平台,8个外部数据源已整合,1）数据来源：工商总局2）数据获取方式：webservice接口同步、FTP下载3）数据内容：企业工商注册信息、股东信息、高管信息、企业对外投资信息、企业高管对外投资信息和企业高管对外任职信息,1-工商总局数据,2-最高人民法院数据,1）数据来源：海关总署2）数据获取方式：webservice接口同步、FTP下载3）数据内容：包括地区贸易数据、外贸企业业务数据、海关统计数据、海关贸易指数、贸易咨询等信息,3-海关总署数据,1）数据来源：国家统计局2）数据获取方式：webservice接口同步、FTP下载3）数据内容：国家统计局披露的宏观经济数据、区域经济数据、工业行业数据和企业绩效评价数据等。,4-国家统计部数据,1）数据来源：最高人民法院2）数据获取方式：webservice接口同步、FTP下载3）数据内容：法院执行信息和失信信息,3.4大数据的存储和分析平台建设,数据仓库,外部数据平台,SAS模型训练预测分析,Aster数据探索路径分析,核心业务系统,信贷管理系统,资金业务系统,客户管理系统,商业汇票系统,工商,其它系统,数据源,存储平台,分析平台,海关,人行征信,银监会,道琼斯,路透,万得,.,3.5大数据的管理,完成客户、产品、协议、资产、交易、财务、内部机构与员工等7大主题2406项基础数据标准和1109项管理分析类数据标准的制定，逐步开展专有类数据标准和非结构化数据标准的制定工作，全面覆盖当前行内业务条线，能够有效支持后续大数据应用对数据规范性的要求,建立“一个流程、两个维度”的综合型数据管控体系，为大数据时代的到来打下基础。制定数据质量管理等九项行级数据管控制度。,3.6大数据的应用,资金业务线,信贷业务线,中间业务线,客户管理,风险管理,内部治理,3.6大数据应用案例基于大数据的客户关联关系及其风险研究,采用大数据思维，引入行外监管、工商、海关、法院及互联网信息，结合行内已有数据信息，分析客户之间关联关系和风险传导机制，结