下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、 Spark 与 Hadoop大数据深度解析对于任何一个进入大数据世界的人来讲,大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理,他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。维基百科对大数据这样解释:大数据是一个宽泛的术语,它指传统数据处理应用程序无法处理的巨大而复杂的数据集。简单来讲,随着数据量的增加,采用常规处理方法需要花费大量时间且价格不菲。Doug Cutting受谷歌GFS及MapReduce白皮书的启发,在 2005年创办了Hadoop 。Hadoop 采用开源软件框架对超大数据集进行分布式存储技术及分布式处理。换句话说
2、,设计这一产品的目的在于缩减处理大数据集的时间和成本。Hadoop,其分布式文件系统(HDFS)和分布式处理模块(MapReduce)成为大数据计算的实际标准。Hadoop 这一术语不仅可以与基础模块相关,也与可兼容Hadoop的其他软件包生态系统息息相关。随着时间的推移,生成的数据量猛增,处理大量数据的需求也随之猛增。这最终使大数据计算需要满足各种不同需求,而这些需求并非都可以全部由Hadoop 完成。大多数数据分析本质上是迭代处理。尽管迭代处理可以由MapReduce完成,但数据读取应该在每次迭代中进行。通常情况下,这并没有问题。但如果读取100GB的数据或几个TB的数据时,就会费时,而人
3、们会不耐烦。许多人认为数据分析是一门艺术而非一门科学。在任何艺术领域,艺术家创造一小块部分拼图,又将小拼图将放到更大的拼图上,见证它的生长。可以粗略的翻译为:数据分析师想在下一个处理开始之前得到前一个处理的结果。换句话说,许多数据分析学在本质上都是交互式的。在传统意义上,交互式分析习惯上受结构化查询语言(SQL)的影响。分析师在数据库中撰写可在数据中运行的查询条件。尽管Hadoop 也有同类产品(Hive和Pig),这原本也耗时,因为每个查询条件需要大量时间处理数据。这些障碍促使了Spark的诞生,这种新型处理模块能促进迭代编程和交互式分析。Spark装备了一个将数据载入存储器并反复查询的内存
4、原始模型。这使Spark非常适合大量数据分析及机器学习算法。注意,Spark仅仅规定了分布式处理模块。存储数据部分仍然依赖Hadoop(分布式文件系统HDFS)采用分布存储方式高效存储数据,而不由Spark完成。Spark 将大数据生态系统设置在超光速磁盘上,确保比MapReduce快10-100倍。许多人认为这可能是MapReduce的终结。操作简单相比MapReduce来讲,Spark操作简单,甚至可以说非常便捷。即使对于一个简单逻辑或算法,MapReduce也需要100行代码;但使用Spark,一个简单逻辑,几行代码就可以完成。这就引出了一个关键因素,叫做用途广泛。许多对于MapRedu
5、ce来讲不可能完成的机器学习或图表问题的高级算法,都可以由Spark完成。这让Spark的采用率相当高。MapReduce没有交互模块。尽管Hive和Pig包含命令行接口,这些系统的性能仍然依赖MapReduce。MapReduce对于批处理仍然十分受用。Spark 在内存中处理数据,而MapReduce却将处理后的数据传送回磁盘。所以Spark将优于MapReduce。在2014年,Spark晋级Daytona GraySort测试并拔得头筹。对于门外汉来说,DaytonaGraySort是测试系统检索100TB(一万亿条记录)数据速度的第三方评判基准。Spark使用206个AWS EC2
6、设备,在23分钟内将100TB的数据存储到磁盘上。此前的最高记录保持者是MapReduce,它使用了2100台设备,总共花费了72分钟。Spark在相同的条件下却比MapReduce快了3倍,使用的设备总数也少了10倍。Spark占用大量内存。如果我们运行Spark的同时运行其他占用内存的服务,其性能可能大打折扣。但是,我们可以有把握地说,Spark在迭代处理方面占上风(需要多次传递同一数据)。成本这两者在计算能力、磁盘和网络环境方面的硬件要求都十分相似。内存越大,Spark表现越好。这两者都使用商品服务器。MapReduce编程费力,市场上这方面的专家并不多。即便有为数不多的Spark专家,
7、但这也仅仅是因为Spark是初创产品。所以学习Spark编程比MapReduce要容易的多。脱离了Hadoop 的Spark运行Spark其实并不需要Hadoop的支持。如果我们没有从分布式文件系统(HDFS)中读取数据,Spark也可以自行运行。Spark也可以从诸如S3, Cassandra等其他存储中读写数据。在这种架构下,Spark可在独立模式下运行,并不需要Hadoop 组件的支持。产品使用近期研究表明在产品中使用Spark的用户激增。许多用户同时运行Spark和Cassandra, 或者Spark和Hadoop ,又或者在Apche Mesos上运行Spark. 尽管Spark用户数量有所增长,但并没有在大数据社区造成恐慌。MapReduce使用率可能会下降,但具体降幅未知。许多人预测Spark会促使另一种更优质堆栈的发展。但这种新型堆栈可能会与Hadoop 及其软
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 前沿人工智能如何改写软件安全规则
- 高中化学教资面试答辩2026高频考题题库及解析
- 事业单位护理岗面试强化训练2026全真模拟试卷及解析
- 初中物理教资面试结构化高频考题题库及解析
- 2026初中教资面试数学答辩易错题题库
- 事业单位市场监管岗面试高频考题题库及解析
- 工业设备安装工程技术支持绩效评估表
- 远程办公系统使用确认函(6篇)
- 通信设备检测员业绩考核表
- 有关医生述职报告模板集锦9篇
- 2026年客房保洁考试模拟试卷带答案
- 2024年农行、工行、建设、农商银行招聘考试真题(含答案)
- 2026年纪检监察业务知识考试题库与答案
- 西安交大少年班选拔考试语文试卷试题及答案(2026年)
- 官塘村乡村振兴规划方案 -官塘生产队的设计之路
- 2026河北机关事业单位工人技能等级考试(汽车驾驶员·高级)历年参考题库含答案详解
- 蔬菜生产成本核算
- GB/T 14233.3-2024医用输液、输血、注射器具检验方法第3部分:微生物学试验方法
- 《5以内的减法》幼儿园数学课件
- 供应商现场调查评价表
- 生殖生理与性激素课件
评论
0/150
提交评论