并行计算 云计算 MapReduce.doc

并行计算论文：改进型MapReduce框架的研究与设计【中文摘要】随着云计算迎来了蓬勃的发展,Hadoop作为开源云计算平台,得到了国内外很多公司和高校的青睐。相应的,作为Hadoop的子项目和分布式并行处理框架的MapReduce,目前基于它的应用越来越多,特别是在大数据量处理方面,通过将应用任务并行化,使应用系统的处理性能有了很大的提升。但随着应用的广泛性和多样性,针对具体应用,其暴露出来的不足和需要改进之处越来越多,Hadoop还没有到达1.0版本。本文主要对MapReduce框架做以下几方面的探讨：(1)简要介绍了并行计算、分布式计算、云计算三种计算模型的定义及其相关概念,通过分析总结出MapReduce框架是符合三种计算模型的。引入Hadoop和MapReduce框架处理流程和机制,为下文提出改进方案奠定基础(2)通过剖析具体应用以及深入分析框架处理流程和相关源代码实现,总结实际应用中出现的一些影响执行效率的问题,如数据倾斜问题、规约任务不均衡问题和规约调度问题等(3)提供了针对出现问题的改进方案,主要实现了针对中间结果进行切割的切分函数、启动新规约任务的机制以及相应的调度机制,给出了改进后的方案设计架构和实现(4)经过多次.【英文摘要】As the cloud computing has a rapid development, Hadoop an open source cloud computing platform has been adopted by domestic and foreign companies. Accordingly, as a sub-project of Hadoop and a distributed parallel processing framework, there are more and more applications based on MapReduce. Along with the breadth and diversity of the application, it exposes many places need to be improved.In this paper, we do some research on MapReduce framework as following:(1) The concept of parallel computing, d.【关键词】并行计算 云计算 MapReduce【英文关键词】parallel computing cloud computing MapReduce【索购全文】联系Q1：138113721 Q2：139938848【目录】改进型MapReduce框架的研究与设计摘要4-5ABSTRACT5第一章 绪论9-111.1 研究背景91.2 研究内容9-101.3 论文组织结构10-11第二章 相关概念和工作11-312.1 并行计算11-132.1.1 并行计算定义112.1.2 并行计算编程模型11-132.1.3 并行编程与MapReduce的关系132.2 分布式计算13-142.2.1 分布式计算定义13-142.2.2 分布式计算与MapReduce关系142.3 云计算14-192.3.1 云计算概述14-152.3.2 云计算的类型152.3.3 云计算的关键技术15-172.3.4 云计算与MapReduce关系17-192.4 MapReduce相关概念19-292.4.1 MapReduce概述192.4.2 Hadoop分布式文件系统19-222.4.3 MapReduce框架的内部概念22-252.4.4 Hadoop工作流程25-272.4.5 MapReduce具体内部流程27-292.5 MapReduce相关改进29-302.5.1 MapReduce Online292.5.2 数据流并行化29-302.6 小结30-31第三章 改进型的MapReduce框架设计31-403.1 MapReduce框架处理流程可能造成的问题31-323.1.1 中间结果不均衡31-323.1.2 数据倾斜和任务不均衡323.2 系统架构32-333.3 改进方案33-403.3.1 判断机制343.3.2 大数据块的切分函数34-363.3.3 任务调度36-383.3.4 系统主要类图38-393.3.5 结论39-40第四章 试验验证40-644.1 硬件环境404.2 软件环境40-644.2.1 操作系统版本404.2.2 核心应用软件版本40