MapReduce工作流程

最新推荐文章于 2025-07-01 18:30:00 发布

Wuyikkk

最新推荐文章于 2025-07-01 18:30:00 发布

阅读量8.5k

点赞数 5

CC 4.0 BY-SA版权

分类专栏： Hadoop2021 文章标签： mapreduce

本文链接：https://blog.csdn.net/Wuyikkk/article/details/113825389

本文详细介绍了MapReduce的工作流程，包括MapTask的Read、Map、Collect、Spill和Combine阶段，ReduceTask的copy、merge、reduce和write阶段，以及shuffle阶段的详细步骤。MapReduce通过环形缓冲区、溢写、归并排序和Combiner优化来提高效率，减少磁盘IO和网络传输。Combiner作为Reducer的本地版本，用于在Map阶段减少数据量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、MapTask详细工作流程

在这里插入图片描述
1、Read阶段：客户端通过数据信息形成任务分配的规划，然后将切片信息job.split、jar包、配置文件job.xml上传到yarn，并启动MRAppMaster计算需要启动MapTask的数量。MapTask通过用户编写的RecordReader，将文件解析为一个个的key/value。
2、Map阶段：解析出的key/value会交给用户编写的map()函数处理，并产生一系列新的key/value。
3、Collect阶段：数据通过map()函数处理完成后，会调用OutputCollector.collect()输出结果，并写入一个环形缓冲区中。
4、Spill阶段：溢写阶段，当环形缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。
5、Combine阶段（可选）：如果设置了Combiner，写入文件之前，会对每个分区的数据进行一次聚集操作。

二、ReduceTask详细工作流程

在这里插入图片描述
1、copy阶段：ReduceTask从各个MapTask上得到数据（一个ReduceTask会得到不同MapTask中同一个分区的数据）
2、merge阶段：将从MapTask上得到的数据进行归并排序，得到一个有序文件
3、reduce阶段：将合并后的有序文件读到reduce，并进行分组，通过用户编写的reduce()函数，得到新的key/value值。
4、write阶段：ReduceTask通过用户编写的RecordWriter，将key/value值输出为目标文件。