MapReduce的执行流程及优化

MapReduce的执行流程及优化

执行流程：

1. 程序在调用submit()方法之前，会生成一份任务分配规划。
2. 提交数据到RecourseManager(RM)，包含一份job.split 文件和job.xml文件和jar包。
3. RM根据提交的资源文件，分配任务，根据切片的个数启动相应的mapTask任务个数。
4. mapTask任务根据程序设置的文件读取类去读文件数据，比如TextFileInputFormat，底层是调用RecorderReader组件的reader()方法去读取数据。
5. 数据读取进入map方法，执行我们的业务逻辑，最后写出。
6. 数据写出时，先经过分区方法，标记好数据所属的分区，再进入环形缓冲区。 默认按照key的hashCode % reduceTask 数量 = 分区号，当然也可以自定义分区。
7. 当环形缓冲区的数据量大小达到阈值（默认80%）时，数据溢写到磁盘文件。
8. 在溢写之前，会根据按照字典顺序对key进行快速排序。
9. 当分区溢写到磁盘的文件数量达到默认的10个时，会进行merge操作，把10个文件合并为1个。在合并的过程中会做归并排序。
10. 如果配置了combiner，则在归并之前执行combiner合并。
11. 当所有的mapTask任务执行完成，则根据分区个数启动对应数量的