mapreduce执行过程流程图_Hadoop的MapReduce执行流程图

Hadoop的MapReduce shuffle过程，非常重要。只有熟悉整个过程才能对业务了如指掌。

MapReduce执行流程

输入和拆分：

不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。

分片(split)操作：

split只是将源文件的内容分片形成一系列的 InputSplit，每个 InputSpilt 中存储着对 应分片的数据信息(例如，文件块信息、起始位置、数据长度、所在节点列表…)，并不是将源文件分割成多个小文件，每个InputSplit 都由一个 mapper 进行后续处理。

每个分片大小参数是很重要的，splitSize 是组成分片规则很重要的一个参数，该参数由三个值来确定：

minSize：splitSize 的最小值，由 mapred-site.xml 配置文件中 mapred.min.split.size 参数确定。

maxSize：splitSize 的最大值，由 mapred-site.xml 配置文件中mapreduce.jobtracker.split.metainfo.maxsize 参数确定。

blockSize：HDFS 中文件存储的快大小，由 hdfs-site.xml 配置文件中 dfs.block.size 参数确定。

splitSize的确定规则：splitSize=max{minSize，min{maxSize，blockSize}}

数据格式化(Format)操作：

将划分好的 InputSplit 格式化成键值对形式的数据。其中 key 为偏移量，value 是每一行的内容。

值得注