第4讲_分布式计算框架mapreduce.pdf

分布式计算框架MapReduce MapReduce是大数据处理的核心技术之一，由Google发表于2004年，后被Apache Hadoop实现为开源版本。MapReduce是一种面向批处理的分布式计算框架，基于分而治之的思想，通过将计算任务分解成Map和Reduce两个阶段，实现了高效的分布式计算能力。 MapReduce的特点包括计算跟着数据走、良好的扩展性、高容错、状态监控、适合海量数据的离线批处理，降低了分布式编程的门槛。 MapReduce适用于数据统计、搜索引擎构建索引、海量数据查询、复杂数据分析算法实现等场景。 在MapReduce中，作业是客户端请求执行的一个工作单元，包括输入数据、MapReduce程序、配置信息。任务是将作业分解后得到的细分工作单元，分为Map任务和Reduce任务。Split是输入数据被划分成等长的小数据块，交给一个Map任务处理，Split的数量决定Map任务的数量。 Map阶段是MapReduce程序的第一阶段，输入是Split切片，输出是中间计算结果。Map阶段由若干Map任务组成，任务数量由Split数量决定。Map任务将中间结果写入专用内存缓冲区Buffer，进行Partition和Sort。 Reduce阶段是MapReduce程序的第二阶段，输入是Map阶段输出的中间结果，输出是最终结果。Reduce阶段由若干Reduce任务组成，任务数量由程序指定。Reduce任务将中间结果合并，输出最终结果。 Shuffle阶段是Map和Reduce阶段的中间环节，负责执行Partition、Sort、Spill、Merge、Fetch等工作。Partition决定了Map任务输出的每条数据放入哪个分区，交给哪个Reduce任务处理。Reduce任务的数量决定了Partition数量。 MapReduce程序执行过程中，Shuffle阶段是关键环节。Shuffle阶段的优化是MapReduce程序调优的重点。MapReduce程序的执行过程包括Job提交、Task分配、Map执行、Shuffle、Reduce执行、结果输出等步骤。 MapReduce是大数据处理的核心技术之一，具有高效的分布式计算能力，广泛应用于数据统计、搜索引擎构建索引、海量数据查询、复杂数据分析算法实现等场景。