《公有云技术与应用》课件-35.MapReduce服务

公有云技术与应用MapReduce服务目录CATALOG核心定义核心技术组成核心优势应用场景MapReduce服务的定义01

MapReduce服务是在海量数据时代，单机处理能力已无法应对TB级甚至PB级数据的分析需求，而MapReduce通过“分而治之”的分布式计算思想，将复杂任务拆解为可并行处理的子任务，成为公有云中大规模数据处理的核心工具。01MapReduce服务的定义

定义MapReduce服务是云厂商提供的托管式分布式计算服务，基于MapReduce编程模型实现海量数据的并行处理，支持用户通过简单的“Map”和“Reduce”函数定义数据处理逻辑，由服务自动完成任务拆分、节点调度、结果聚合等底层操作。

01MapReduce服务的定义

核心价值“并行化与分布式”：例如，统计某电商平台全年的用户消费总额，传统单机需逐行读取数亿条交易记录，耗时可能超过24小时；而MapReduce服务会将数据分片到数十个节点，每个节点并行计算分片内的消费总和，再将所有分片结果汇总为最终总额，整个过程可在1小时内完成，就像“多人分工协作完成一项庞大工程”，大幅提升效率。

01MapReduce服务的定义

其核心突破三大极限规模极限：支持EB级数据存储与PB级单任务计算速度极限：千节点集群并行处理效率提升百倍成本极限：按需伸缩比自建机房成本降低60%01MapReduce服务的定义

核心优势02支持PB级数据并行计算，计算能力随节点数量线性扩展，解决单机存储与计算瓶颈。某社交平台通过MapReduce服务分析10PB用户行为数据，仅用3小时完成用户画像构建，远超传统方法的3天耗时。

1.海量数据高效处理

02核心优势支持单集群跨AZ高可用，无单点故障，滚动补丁/升级，任务断链重连，业务0中断；具备网络资源隔离、账号安全、数据安全管控等多级安全保障能力。

2.高安全高可用02核心优势计算和存储分离，统一数据湖，消除数据孤岛，一份数据，无需多次拷贝，多种计算引擎，存储和计算资源灵活配比，各自按需扩缩。

3.存储计算分离架构02核心优势支持按需创建计算集群（如临时扩容至50节点处理任务），任务完成后释放资源，按实际使用时长计费，成本比自建固定集群降低50%80%。

4.弹性扩展与成本优化，全生命周期自动化02核心优势核心技术组成031.Map阶段

负责数据分片与初步处理：将输入数据（如日志文件）拆分为若干分片（通常1664MB/片），每个分片由一个Map任务处理；

Map函数接收键值对（KeyValue）输入（如<行号,日志内容>），输出中间键值对（如<用户ID,消费金额>）。

03核心技术组成2.Shuffle阶段

连接Map与Reduce的关键环节：将Map输出的中间结果按Key分组，相同Key的键值对被发送到同一个Reduce任务；

包含排序（按Key排序）、合并（合并相同Key的中间结果）操作，减少Reduce阶段的计算压力。

03核心技术组成3.Reduce阶段

负责结果聚合：Reduce函数接收Shuffle后的键值对（如<用户ID,[金额1,金额2,...]>），对同一Key的所有值进行汇总计算（如求和、计数），输出最终结果（如<用户ID,总消费>）。

03核心技术组成3.Reduce阶段

负责结果聚合：Reduce函数接收Shuffle后的键值对（如<用户ID,[金额1,金额2,...]>），对同一Key的所有值进行汇总计算（如求和、计数），输出最终结果（如<用户ID,总消费>）。

03核心技术组成

由JobTracker（任务追踪器）和TaskTracker（任务执行器）协同工作：JobTracker负责接收任务、拆分任务、调度节点；TaskTracker运行在每个计算节点，执行Map或Reduce任务并汇报进度。

03核心技术组成4.集群管理与调度

应用场景0404典型应用场景海量数据分析案例04典型应用场景海量数据存储案例04典型应用场景低时延流式处理总结与实践任务05

MapReduce服务通过“分而治之”的思想，解决了海量数据的高效处理难题，是大数据生态的核心基石。

尽管近年来出现了Spark等更快的计算框架，但MapReduce的分布式计算思想仍对理解大数据处理至关重要。

05总结与实践任务

1.设计一个基于MapReduce的单词计数任务：输入多篇文本，统计每个单词出现的总次数，写出Map和Reduce函数