大数据计算模式和关键技术.ppt

未来 已发生改变 大数据的关键技术 大数据关键技术 1 数据采集2 数据存储与管理3 数据处理与分析4 数据隐私与安全 1 5大数据关键技术 分布式存储 分布式处理 大数据 两大核心技术 1 5大数据关键技术 分布式存储 解决海量数据的存储问题 单机无法存储 集群分布式存储 海量数据的存储 1 5大数据关键技术 大数据技术都是以Google公司技术为代表 1 5大数据关键技术 正如 不同的锁需要不同的钥匙 企业中不同的应用场景数据不同的计算模式 需要使用不同的大数据技术 不同的计算模式需要使用不同的产品 大数据关键技术 批处理 流数据需要实时处理图计算需要实时处理 实时计算 交互式查询分析 交互式计算 不同的计算模式需要使用不同的产品 MapReduce批处理计算模式的典型代表 批处理计算 MapReduce是批处理计算模式的典型代表 可做迭代计算的Spark 实时性更好 10 流计算 代表技术 Storm S4 Flume Streams 流数据 网购数据 游戏内玩家活动 社交网站信息 金融交易大厅或地理空间服务 以及来自数据中心内所连接设备或仪器的遥测数据 需要实时处理 给出实时响应 否则分析结果会失去商业价值 图计算代表技术 Pregel GraphX 社交网络数据转换成图结构 查询分析计算代表技术 Dremel Hive Cassandra Impala等 大数据计算模式 表1 3大数据计算模式及其代表产品 分布式存储 分布式处理 大数据 两大核心问题 1 云计算概念 云计算实现了通过网络提供可伸缩的 廉价的分布式计算能力 用户只需要在具备网络接入条件的地方 就可以随时随地获得所需的各种IT资源 云计算的优势 企业不需要自建IT基础设施 可以租用云端资源 云计算的优势 企业不需要自建IT基础设施 可以租用云端资源 图1 7云计算的服务模式和类型 云计算的服务模式和类型 公有云 面向所有公众 私有云 面向企业内部 混合云 混合云 部分给自己 部分给外部 InfrastructureasaService PlatformasaService SoftwareasaService SaaS PaaS IaaS GoogleApps Microsoft Software Services 面向用户 云软件 SinaAPPEngine GoogleAppEngine面向应用开发者 搭建开发平台作为服务出租 AmazonEC2 IBMBlueCloud SunGrid面向网络架构师 基础设施作为服务出租 Server Storage Server Storage Visualization Infrastructure Platform Application 从一个集中的系统部署软件 使之在一台本地计算机上 或从云中远程地 运行的一个模型 由于是计量服务 SaaS允许出租一个应用程序 并计时收费 IaaS 将基础设施 计算资源和存储 作为服务出租 PaaS 类似于IaaS 但是它包括操作系统和围绕特定应用的必需的服务 SaaS 云计算关键技术包括 虚拟化 分布式存储 分布式计算 多