大数据计算模式和关键技术

1、未来，已发生改变大数据的关键技术,大数据关键技术,1、数据采集 2、数据存储与管理 3、数据处理与分析 4、数据隐私与安全,1.5大数据关键技术,分布式存储,分布式处理,大数据,两大核心技术,1.5大数据关键技术,分布式存储：解决海量数据的存储问题,单机无法存储,集群分布式存储,海量数据的存储,1.5大数据关键技术,大数据技术都是以Google公司技术为代表,1.5大数据关键技术,正如“不同的锁需要不同的钥匙”企业中不同的应用场景数据不同的计算模式，需要使用不同的大数据技术,不同的计算模式需要使用不同的产品,大数据关键技术,批处理,流数据需要实时处理 图计算需要实时处理,实时计算,交互式查询分

2、析,交互式计算,不同的计算模式需要使用不同的产品,MapReduce批处理计算模式的典型代表,批处理计算,MapReduce是批处理计算模式的典型代表,可做迭代计算的Spark，实时性更好,10,流计算,代表技术：Storm、S4、Flume、Streams,流数据（网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据）需要实时处理，给出实时响应，否则分析结果会失去商业价值。,图计算代表技术：Pregel、GraphX、,社交网络数据转换成图结构,查询分析计算代表技术：Dremel、Hive、Cassandra、Impala等,大数据

3、计算模式,表1-3 大数据计算模式及其代表产品,分布式存储,分布式处理,大数据,两大核心问题,1. 云计算概念,云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。,云计算的优势,企业不需要自建IT基础设施，可以租用云端资源,云计算的优势,企业不需要自建IT基础设施，可以租用云端资源,图1-7 云计算的服务模式和类型,云计算的服务模式和类型,公有云,面向所有公众,私有云,面向企业内部,混合云,混合云,部分给自己，部分给外部,Infrastructure as a Service,Platform as a Servi

4、ce,Software as a Service,SaaS,PaaS,IaaS,Google Apps, Microsoft “Software+Services”面向用户（云软件）,Sina APP Engine, Google App Engine面向应用开发者（搭建开发平台作为服务出租）,Amazon EC2, IBM Blue Cloud, Sun Grid面向网络架构师（基础设施作为服务出租）,Server,Storage,Server,Storage,Visualization,Infrastructure,Platform,Application,从一个集中的系统部署软件，使之在一台本地计算机上(或从云中远程地)运行的一个模型。由于是计量服务，SaaS 允许出租一个应用程序，并计时收费,IaaS,将基础设施(计算资源和存储)作为服务出租,PaaS,类似于 IaaS，但是它包括操作系统和围绕特定应用的必需的服务,SaaS,云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租