大数据-1-4mapreduce原理和yarn磁头定位时间无提升

123123Why Why Why二、DivideandConquer MapReduceOn 2ResourceManager为该应用程序分配第一个 6NodeManager为任务设置好运行环境（包括环令写到一个中，并通过运行该启动任务。7各个任务通过某个RPCApplicationMaster汇报自己的状态和进度，以让ApplicationMaster 件取 给每一个Mapper函数，用来提供上Partitioner&Partitioner&在Map工作完成之后，每一个Map函数会将结果传到对应的Partitioner& 这是一道pull过程:slave M/RTryTryagainsomewhereReport ü【7】ü【8】数据分析ü【9】机器学习ü【10】数据挖掘 内将4TB的TIFF图像—包括405K大TIFF图像，3.3MSGML文章和405KXML文件—转换为800K适合在Web上使用的PNG图像）SingleUseHadoopHadoopHadoopHadoop&dataprocessing)(redundant,reliable(data(data(clusterresource(redundant,reliable

MultiPurposeHadoop…YARNYARNHadoop2.0 ⑥①④⑤②③⑤⑤⑥ 用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster ResourceManager为该应用程序分配第一个Container，并与对应的NodeManager通信，要求它在这个Container中启动应用程序的ApplicationMaster ApplicationMaster首先向ResourceManage ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源步骤5一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。步骤6NodeManager为任务设置好运行环境（包括环境变量、JAR）后，将任务启动命令写到一个中，并通过运行该启动任务。 汇报自己的状态和进度，以让ApplicationMaster随时掌任务。在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。步骤 应用程序运行完成后，ApplicationMasterResourceManagerYarn 与“allornothing”策略不同（Apache//Priorityforworkercontainers-prioritiesareintra-Prioritypriority=//ResourcerequirementsforworkerResourcecapability=//Makecontainerrequeststofor(inti=0;i<n;++i)控制内存使用，发现任务超过约定的资源量 控制内存使用，发现任务超过约定的资源量

workercontainerspüüFairüCapacitypüüü 将某些节点加入（或移除 其他FrameworkOn Hoya：HBaseon LLAMA：ImpalaOn KafkaOn ApplicationsRunNativelyIn IN-MemoryHPCMPI (HBase)(Storm,S4,…)(Giraph) HDFS2(Redundant,Reliable

支 1： （ytics,ReportingBuzz）内容优化，邮件过滤器以及计算等。1PB网页数据内容，2万亿条，每日这个麻烦，因此，有些算法效率不会提高很多。中国移动通信院长表示，移动大云来说，Hadoop代表了最层面的东西，为了将模化使用的一些