大数据计算模式和关键技术ppt课件

.,未来，已发生改变大数据的关键技术,.,大数据关键技术,1、数据采集2、数据存储与管理3、数据处理与分析4、数据隐私与安全,.,1.5大数据关键技术,分布式存储,分布式处理,大数据,两大核心技术,.,1.5大数据关键技术,分布式存储：解决海量数据的存储问题,单机无法存储,集群分布式存储,海量数据的存储,.,1.5大数据关键技术,大数据技术都是以Google公司技术为代表,.,1.5大数据关键技术,.,正如“不同的锁需要不同的钥匙”企业中不同的应用场景数据不同的计算模式，需要使用不同的大数据技术,不同的计算模式需要使用不同的产品,.,大数据关键技术,批处理,流数据需要实时处理图计算需要实时处理,实时计算,交互式查询分析,交互式计算,不同的计算模式需要使用不同的产品,MapReduce批处理计算模式的典型代表,.,批处理计算,MapReduce是批处理计算模式的典型代表,可做迭代计算的Spark，实时性更好,.,10,流计算,代表技术：Storm、S4、Flume、Streams,流数据（网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据）需要实时处理，给出实时响应，否则分析结果会失去商业价值。,.,图计算代表技术：Pregel、GraphX、,社交网络数据转换成图结构,.,查询分析计算代表技术：Dremel、Hive、Cassandra、Impala等,.,大数据计算模式,表1-3大数据计算模式及其代表产品,.,分布式存储,分布式处理,大数据,两大核心问题,.,1.云计算概念,云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。,.,云计算的优势,企业不需要自建IT基础设施，可以租用云端资源,.,云计算的优势,企业不需要自建IT基础设施，可以租用云端资源,.,图1-7云计算的服务模式和类型,云计算的服务模式和类型,.,公有云,面向所有公众,.,私有云,面向企业内部,.,混合云,混合云,部分给自己，部分给外部,.,InfrastructureasaService,PlatformasaService,SoftwareasaService,SaaS,PaaS,IaaS,GoogleApps,Microsoft“Software+Services”面向用户（云软件）,SinaAPPEngine,GoogleAppEngine面向应用开发者（搭建开发平台作为服务出租）,AmazonEC2,IBMBlueCloud,SunGrid面向网络架构师（基础设施作为服务出租）,Server,Storage,Server,Storage,Visualization,Infrastructure,Platform,Application,从一个集中的系统部署软件，使之在一台本地计算机上(或从云中远程地)运行的一个模型。由于是计量服务，SaaS允许出租一个应用程序，并计时收费,IaaS,将基础设施(计算资源和存储)作为服务出租,PaaS,类似于IaaS，但是它包括操作系统和围绕特定应用的必需的服务,SaaS,.,云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等,云计算关键技术,