大数据自助式分析解决方案课件

大数据&自助式分析解决方案大数据&自助式分析解决方案议程大数据解决方案hadoop的优势实际过往案例自助式分析方案议程大数据解决方案2大数据企业品牌腾飞的“肾上腺素”数据复杂度：多元性和速度TerabytesGigabytesMegabytesPetabytesBigDataWeb2.0Web2.0

ERP/CRM付款薪资货存联系人订单跟踪销售管道Web日志数字市场搜索市场网上推荐广告移动协作电子商务网页点击流Wikis/博客传感器/RFID/

设备社交网络音频/视频日志文件空间&

GPS坐标数据数据集市电子政务气候文本/图像Web日志数字市场搜索市场网上推荐协作电子商务哪些是大数据大数据企业品牌腾飞的“肾上腺素”数据复杂度：多元性和速度Te大数据解决方案-大型数据库(ORACLE)

优势：技术人才可以复用。支撑总数据量100TB,且100GB以下数据实时多维度数据的分析。开发效率比较高。开发成本比较低。产品稳定,后期维护简单。劣势：技术储备要求高高昂的硬件投资并行扩展非常困难。对海量的实时多维度分析,基本不能支持。大数据解决方案-大型数据库(ORACLE)

优势：劣势：4大数据解决方案-分布式数据库(Mysql)

优势：技术人才储备可以部分复用。硬件投资成本可以控制。并行扩展比较方便。劣势：需要更高端的架构师。海量数据的处理架构需要重新开发。后期技术实现,维护成本高。大数据解决方案-分布式数据库(Mysql)

优势：劣势：5大数据解决方案

-业内通用解决方案(hadoop/spark)

优势：技术人才储备多硬件投资成本可以控制并行扩展比较方便后期结合业务开发，实现稳定劣势：需要专业的方向性人才处理HDFSstormmahout朱成保企业内部系统数据互联网......ETLzookeeper集群HADOOPHDFSHBaseHiveMahoutStorm作业调度数据分析数据挖掘动态报表并行管理决策分析多维查询图表展示报表统计......大数据解决方案

-业内通用解决方案(hadoop/spark6企业数据及商业智能平台的进化

-未来大数据存储OA视频、语音、图片......数据流数据仓库数据集市多维度存储数据服务分析应用其他存储服务使用CRMERP企业数据及商业智能平台的进化

-未来大数据存储OA视频、语音7HDFS：分布式存储YARN：分布式操作系统MapReducePigHiveImpalaMahoutRHadoopGiraphHamaFlumeSqoopAvroChukwaZookeeperBigTopWhirrSearchHcatalogWebHdfsHttpFsHBaseCassandraDrillTezAccumuloStormSparkMesosPhoenixSharkHueAmbari/ClouderaManagerHadoop优势

-丰富的组件HDFS：分布式存储YARN：分布式操作系统MapPigHi8Hadoop优势

-完善的处理流程Hadoop优势

-完善的处理流程9为大数据而建新一代的性能和规模最优化的软硬件价值Hadoop优势

-洞察任意大小的数据为大数据而建新一代的性能和规模最优化的软硬件价值Hadoop10实际案例一智慧能源背景：客户原来是从事硬件研发，每年营业额在5000万左右，随着企业规模的扩展，领导觉得对硬件设备的故障告警不够及时。对现有的历史数据没法进行数据整合与挖掘。导致决策迟缓，故障不能够预设告警。数据已结构化数据为主现在：新平台改造：Hadoop(10)+redis(2)+mysql(4)硬件故障从原来的半小时监控，提升到现在，故障预先告警，发生故障的2分钟告警到用户，分析决策效率大大提高支撑现在数据有50+(采集点)*500+(采集源)，每秒处理并发数实时数据2000条每天处理数据量实时数据200G，历史综合数据1T。实际案例一智慧能源背景：11实际案例一智慧能源

背景简介大数据存储(10)交换机数据源监控设备数据源数据流mysql(4)数据仓库多维度存储数据服务分析应用其他存储服务使用数据接入程序redis异常存储(2)实际案例一智慧能源

背景简介大数据存储(10)交换机数据12实际案例二互联网舆情背景：客户需要对互联网金融服务的服务企业和相关行业做到实时监控，并有效的挖掘互联网上的客户资源。数据已非结构化数据为主现在：我公司提供相关互联网数据的爬取，并对数据初步ETL后，传入到客户。客户平台构成：Hadoop(15)+oracle(2)可以30分钟左右监控指定贷款客户的互联网舆情。可以对地区与行业进行综合评估与预测每天发送到客户数据100G，每天分析数据维度40个，综合处理1T数据。实际案例二互联网舆情背景：13企业数据及商业智能平台的进化

-互联网舆情大数据存储(15)非结构化数据源（新闻，博客，BBS，微博）数据流（图像、视频）oracle数据仓库数据服务分析应用其他存储服务使用类结构化数据Hdfs,Hbase,MapReducehive企业数据及商业智能平台的进化

-互联网舆情大数据存储(15)14实际案例三大型国企背景：客户是一个省级运营商，需要对历史的客户话单，LBS，流量信息进行分析。数据维度非常多，需要综合考虑的数据量比较大。现在：客户平台构成：Hadoop(40)+oracle(4)+mpi(6)每天分析数据维度100个，1T数据，要求2小时完成复杂数据挖掘分析。实际案例三大型国企背景：15企业数据及商业智能平台的进化

-某国企统计分析大数据存储（40）话单数据源LBS数据源网络数据源数据仓库oracle数据服务分析应用其他存储服务使用其他数据源MPI密集分布式计算（6）企业数据及商业智能平台的进化

-某国企统计分析大数据存储（416大数据解决方案

-大数据的一些疑问实时要求性是否高数据应用满足什么样的要求？数据构成？数据运算维度数量？大数据解决方案

-大数据的一些疑问实时要求性是否高数据应用满17Hadoop=BigData?Hadoop=BigData?18思想✓举例>决策分析,销售分析,为企业的整体发展战略创造价值✓角色>数据挖掘,决策分析,销售分析业务创新和算法能力血液✓举例>成熟的分析、视觉化以及数据管理的全新生态系统✓角色>云计算,数据模型设计数据建模和管理能力骨髓✓举例>Hadoop,HPCC和NoSQL等✓角色>硬件平台,集群部署硬件存储和计算能力“大数据”能力思想✓举例>决策分析,销售分析,为企业的整体发展战略创造价值19大数据平台总体架构SourceSystemsBigDataSources(Raw,Unstructured)Alerts,NotificationsERPCRMLOBAPPSOracle/Mysql

StreamInsightETLwithSSIS,DQS,MDSOracle/MysqlFTDWDataMartsOracle/Mysql

ReportingServicesOracle/Mysql

AnalysisServerBusinessInsightsInteractiveReportsPerformanceScorecardsCrawlersBotsDevicesSensorsredis...HadoopClusterstromMPIMapReduceMPIMPI大数据平台总体架构SourceSystemsBigDat重要组件选择标准节点数量设计标准Redis组件是否有基础分析实时监控告警数据单个Redis节点数据容量不要超过20Hadoop组件大数据基础组件单个数据节点，热数据不要超过1TMPI需要40个维度以上，复杂数据挖掘与分析匹配数据内存与CPU组件选型标准重要组件选择标准节点数量设计标准Redis组件是否有基础分析节点计算公式单个节点内存8G-16GCPU2.5Ghz数据提取能力(M/分钟)480数据处理量预计维度10个(M/分钟)35处理步骤复杂度2.4数据网络与数据交换系数1.4处理为1G，预计时间(分钟)=(1024/D5)+(1024/D6)*D7*D8100.43733331G数据，期望完成时间(分钟)10需要节点数

=D9/D1110.04373333节点计算公式单个节点内存8G-16GCPU2.5Ghz数据提22总结大数据解决方案：业务能力：访问任意数据源（关系型数据库、Hadoop、非结构化数据)的数据整合平台低成本的数据价值洞察平台技术能力：结构化、半结构化、非结构化数据的处理能力总结大数据解决方案：23大数据&自助式分析解决方案大数据&自助式分析解决方案议程大数据解决方案hadoop的优势实际过往案例自助式分析方案议程大数据解决方案25大数据企业品牌腾飞的“肾上腺素”数据复杂度：多元性和速度TerabytesGigabytesMegabytesPetabytesBigDataWeb2.0Web2.0

ERP/CRM付款薪资货存联系人订单跟踪销售管道Web日志数字市场搜索市场网上推荐广告移动协作电子商务网页点击流Wikis/博客传感器/RFID/

设备社交网络音频/视频日志文件空间&

GPS坐标数据数据集市电子政务气候文本/图像Web日志数字市场搜索市场网上推荐协作电子商务哪些是大数据大数据企业品牌腾飞的“肾上腺素”数据复杂度：多元性和速度Te大数据解决方案-大型数据库(ORACLE)

优势：技术人才可以复用。支撑总数据量100TB,且100GB以下数据实时多维度数据的分析。开发效率比较高。开发成本比较低。产品稳定,后期维护简单。劣势：技术储备要求高高昂的硬件投资并行扩展非常困难。对海量的实时多维度分析,基本不能支持。大数据解决方案-大型数据库(ORACLE)

优势：劣势：27大数据解决方案-分布式数据库(Mysql)

优势：技术人才储备可以部分复用。硬件投资成本可以控制。并行扩展比较方便。劣势：需要更高端的架构师。海量数据的处理架构需要重新开发。后期技术实现,维护成本高。大数据解决方案-分布式数据库(Mysql)

优势：劣势：28大数据解决方案

-业内通用解决方案(hadoop/spark)

优势：技术人才储备多硬件投资成本可以控制并行扩展比较方便后期结合业务开发，实现稳定劣势：需要专业的方向性人才处理HDFSstormmahout朱成保企业内部系统数据互联网......ETLzookeeper集群HADOOPHDFSHBaseHiveMahoutStorm作业调度数据分析数据挖掘动态报表并行管理决策分析多维查询图表展示报表统计......大数据解决方案

-业内通用解决方案(hadoop/spark29企业数据及商业智能平台的进化

-未来大数据存储OA视频、语音、图片......数据流数据仓库数据集市多维度存储数据服务分析应用其他存储服务使用CRMERP企业数据及商业智能平台的进化

-未来大数据存储OA视频、语音30HDFS：分布式存储YARN：分布式操作系统MapReducePigHiveImpalaMahoutRHadoopGiraphHamaFlumeSqoopAvroChukwaZookeeperBigTopWhirrSearchHcatalogWebHdfsHttpFsHBaseCassandraDrillTezAccumuloStormSparkMesosPhoenixSharkHueAmbari/ClouderaManagerHadoop优势

-丰富的组件HDFS：分布式存储YARN：分布式操作系统MapPigHi31Hadoop优势

-完善的处理流程Hadoop优势

-完善的处理流程32为大数据而建新一代的性能和规模最优化的软硬件价值Hadoop优势

-洞察任意大小的数据为大数据而建新一代的性能和规模最优化的软硬件价值Hadoop33实际案例一智慧能源背景：客户原来是从事硬件研发，每年营业额在5000万左右，随着企业规模的扩展，领导觉得对硬件设备的故障告警不够及时。对现有的历史数据没法进行数据整合与挖掘。导致决策迟缓，故障不能够预设告警。数据已结构化数据为主现在：新平台改造：Hadoop(10)+redis(2)+mysql(4)硬件故障从原来的半小时监控，提升到现在，故障预先告警，发生故障的2分钟告警到用户，分析决策效率大大提高支撑现在数据有50+(采集点)*500+(采集源)，每秒处理并发数实时数据2000条每天处理数据量实时数据200G，历史综合数据1T。实际案例一智慧能源背景：34实际案例一智慧能源

背景简介大数据存储(10)交换机数据源监控设备数据源数据流mysql(4)数据仓库多维度存储数据服务分析应用其他存储服务使用数据接入程序redis异常存储(2)实际案例一智慧能源

背景简介大数据存储(10)交换机数据35实际案例二互联网舆情背景：客户需要对互联网金融服务的服务企业和相关行业做到实时监控，并有效的挖掘互联网上的客户资源。数据已非结构化数据为主现在：我公司提供相关互联网数据的爬取，并对数据初步ETL后，传入到客户。客户平台构成：Hadoop(15)+oracle(2)可以30分钟左右监控指定贷款客户的互联网舆情。可以对地区与行业进行综合评估与预测每天发送到客户数据100G，每天分析数据维度40个，综合处理1T数据。实际案例二互联网舆情背景：36企业数据及商业智能平台的进化

-互联网舆情大数据存储(15)非结构化数据源（新闻，博客，BBS，微博）数据流（图像、视频）oracle数据仓库数据服务分析应用其他存储服务使用类结构化数据Hdfs,Hbase,MapReducehive企业数据及商业智能平台的进化

-互联网舆情大数据存储(15)37实际案例三大型国企背景：客户是一个省级运营商，需要对历史的客户话单，LBS，流量信息进行分析。数据维度非常多，需要综合考虑的数据量比较大。现在：客户平台构成：Hadoop(40)+oracle(4)+mpi(6)每天分析数据维度100个，1T数据，要求2小时完成复杂数据挖掘分析。实际案例三大型国企背景：38企业数据及商业智能平台的进化

-某国企统计分析大数据存储（40）话单数据源LBS数据源网络数据源数据仓库oracle数据服务分析应用其他存储服务使用其他数据源MPI密集分布式计算（6）企业数据及商业智能平台的进化

-某国企统计分析大数据存储（439大数据解决方案

-大数据的一些疑问实时要求性是否高数据应用满足什么样的要求？数据构成？数据运算维度数量？大数据解决方案

-大数据的一些疑问实时要求性是否高数据应用满40Hadoop=BigData?Hadoop=BigData?41思想✓举例>决策分析,销售分析,为企业的整体发展战略创造价值✓角色>数据挖掘,决策分析,销售分析业务创新和算法能力血液✓举例>成熟的分析、视觉化以及数据管理的全新生态系统✓角色>云计算,数据模型设计数据建模和管理能力骨髓✓举例>Hadoop,HPCC和NoSQL等✓角色>硬件平台,集群部署硬件存储和计算能力“大数据”能力思想✓举例>决策分析,销售分析,为企业的整体发展战略创造价值42大数据平台总体架构SourceSystemsBigDataSources(Raw,Unstructured)Alerts,NotificationsERPCRMLOBAPPSOracle/Mysql

StreamInsightETLwithSSIS,DQS,MDS