基于大数据的统计分析方法和工具

基于大数据的统计分析方法和工具,目录,背景,统计分析方法和技术原理,主流工具,案例,总结,结构化数据与非结构化数据传统数据分析与大数据分析NoSQL的特点,背景,背景,结构化数据与非结构化数据,结构化数据：行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据。非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。,背景,传统数据分析与大数据分析,传统数据分析,大数据分析,关联性,重量,销量,形状,大小,适合喝茶or咖啡？,适合男生or女生？,适合送礼？,背景,NoSQL的特点,NoSQL数据库的主要特点：NoSQL具有灵活的数据模型NoSQL容易实现可伸缩性（向上扩展与水平扩展）动态模式,目录,概论,统计分析方法和技术原理,主流工具,案例,总结,基于NoSQL的统计分析方法和技术原理基于NoSQL的数据管理传统关系型数据库向大数据处理方式的转移,统计分析方法和技术原理,统计分析方法和技术原理,基于NoSQL的数据管理,统计分析方法和技术原理,传统关系型数据库向大数据处理方式的转移,数据迁移工作：ApacheSqoop访问接口改造：PigLatin半结构化/非结构化数据存储数据统计分析方式改造：Hadoop,MAPREDUCE,目录,概论,统计分析方法和技术原理,主流工具,案例,总结,目前，大数据分析工具在金融服务、零售、医疗卫生/生命科学、执法、电信、能源与公共事业、数字媒体/精准营销、交通运输等行业都有着广泛的应用。但纵观国内企业，不论是国企还是民企，真正在业务决策中以数据分析结果为依据的，主要还是集中在银行，保险，电信和电商等几个行业。,主流大数据统计分析工具,成功案例,案例1：民生银行借IBMInfoSphereBigInsights应对金融业的大数据挑战IBMInfoSphereBigInsights大数据解决方案和企业级NoSQL数据库SequoiaDB合作，为民生银行搭建低成本、高性能、高可靠且水平扩张的数据平台，帮助民生银行通过大数据分析应对金融业的大数据挑战，完善交易流水查询分析系统，产业链金融管理系统，以及私人银行产品货架管理系统。,主流大数据统计分析工具,成功案例,案例2：华为FusionInsight：招行数据生产力的“挖掘机”招商银行部署华为FusionInsight之后，构建起基于云计算平台的大数据应用和分析平台，实现7年内海量交易历史明细信息的实时查询、实时征信、实时事件营销，以及针对准确客户群的精准营销。信用卡征信时间将由2周左右降到10分钟以内。根据招商银行某重要分行客户为样本测算，招商银行只要发送原来数量19.6%的短信，就可以覆盖95%最终购买的客户。,主流大数据统计分析工具,成功案例,案例3：用友UAP成功案例大大提高波司登竞争力波司登基于用友UAP统一应用平台的ERP系统，打通从客户下订单到生产、仓储、发运、财务等环节，构建企业的完整的内部管理信息系统，提高企业的内部协同能力，从而提高企业竞争力。并且将财务、销售、订单等大集中，订单数据能实时统计到集团总部，为采购业务提供精确支撑，实现按订单采购，保证采购原辅料能够满足生产需要，避免大量库存积压，也避免缺货等风险。,主流大数据统计分析工具,成功案例,案例4：农行携手曙光构建大数据系统推动业务创新农行采用曙光XData大数据一体机系统，满足系统对于并发用户数和性能的要求，能够支撑农业银行历史数据查询和分析业务，为推动农行业务持续不断创新奠定基础。,主流大数据统计分析工具,成功案例,案例5：九次方企业征信大数据平台令金融交易更加简单便携九次方企业征信大数据平台利用互联网大数据挖掘技术采集互联网全部与企业相关的信用指标，比如企业违法违规信息、行政处罚信息、客户投诉信息等等。同时九次方还联合20多个省市政府，协助政府搭建当地的企业征信大数据平台获取地方政府的数据授权，通过脱敏处理之后，向银行、小贷公司、担保公司等客户提供企业信用分析服务。,主流大数据统计分析工具,成功案例,案例6：王府井百货与百分点合作搭建王府井大数据平台在王府井百货与百分点合作搭建的王府井大数据平台将用来分析商品、用户和业务数据，以打通用户和后端运营的关系，构建用户画像，以及分析商品的全渠道经营状况。其中，百分点帮助王府井针对线上用户的浏览和购买行为，进行数据分析，从而形成实时的商品个性化推荐和消息推送。,主流大数据统计分析工具,成功案例,案例7：宜信金融云打造大数据变现超级伙伴宜信旗下的宜人贷，是利用宜信金融云平台，其极速模式将对用户的授信时长从原来的十多分钟压缩到了一分钟之内，极大提高了用户体验和放款效率。宜信商通贷是基于宜信金融云推出的面向电商的一个实时授信产品。这种电商贷款模式通过高效整合交易数据、第三方数据以及社交网络行为数据，为用户提供个性化的融资产品。,主流大数据统计分析工具,目录,概论,统计分析方法和技术原理,主流工具,案例,总结,大数据统计分析案例,TalkingData,计算需求,大数据统计分析案例,大数据统计分析案例,草根时代（HelloWorld）,草根时代,大数据统计分析案例,草根时代（统计分析系统计算模型）,groupby,multijoin,distinctcount,草根时代,大数据统计分析案例,青铜时代,基于Hadoop生态的批处理系统,数据库批量Insert/Update，压力大,数据库读压力小,Schema更新多,青铜时代,大数据统计分析案例,大数据量Insert/Update/Delete/优化，均是message,lazy式操作，自上而下逐步Flush到leaf节点,天然多版本，无需做undolog,Fastinsert/Fastupdate，延迟小,Schema更改，例如Column增加/删除/更改,青铜时代,青铜时代,大数据统计分析案例,大数据量插入能力，更新能力的确比较突出,InnoDB也不差，和索引、数据Layout、操作模式有关,青铜时代,青铜时代,大数据统计分析案例,黄金时代（行式到列式）,黄金时代,大数据统计分析案例,Infobright,InfiniDB,MonetDB,Vertica,列存储,AggressiveCompression（CPU/IO平衡）,shared-nothing,grid-based（并行查询）,多备份（高可用性）,黄金时代（行式到列式）,黄金时代,大数据统计分析案例,selectavg(score)fromexamplewhereclass=Juniorandgrade=Agroupbygender;,黄金时代（行式到列式）,黄金时代,大数据统计分析案例,黄金时代（行式到列式）,查询速度（ms）,存储能力（G）,黄金时代,大数据统计分析案例,云端时代,Aerospike/Redis,LevelDB/RocksDB,Bitmap服务，高吞吐、高随机查询下下谁更合适？,云端时代,大数据统计分析案例,列式数据库（count/Groupby）,HDFS/Kafka等文件存储（scan）,搜索引擎（文本随机查询）,Redis/LMDB/RocksDB等KV数据库,传统关系型数据库,