详解MapReduce&Yarn工作原理及优化建议

目录

前言

基本知识

MapReduce工作流程

任务提交（Yarn）

任务计算（MapReduce）

相关优化

推荐学习

前言

Hadoop的三个核心模块：HDFS、MapReduce（简称MR）和Yarn，其中HDFS模块负责数据存储，MapReduce负责数据计算，Yarn负责计算过程中的资源调度。在存算分离的架构中，三者越来越多的同其他框架搭配使用，如用Spark替代MapReduce作为计算引擎或者k8s替换Yarn作为资源调度工作。虽然已经有了许多替代框架，MapReduce的计算原理仍具有重要意义，掌握MR对于学习其他计算框架甚至自研计算框架，都非常有帮助。

基本知识

本文涉及的名词解释

1. Hadoop：大数据存储计算框架，核心包括HDFS、MapReduce和Yarn
2. HDFS：分布式文件系统，包括
   1. namenode：存储系统主节点，存储数据库的存储信息
   2. datanode：负责数据块的实际存储
3. MapReduce: 分布式计算引擎，包括mapper、reducer、shuffle等过程；
4. Yarn：资源调度框架，由ResourceManager、NodeManager、ApplicationMaster、Container、Scheduler 等几个组件构成
   1. ResourceManager：全局的资源管理器，负责整个系统的资源管理
   2. NodeManager：每个计算节点上的资源和任务管理器
   3. ApplicationMaster：每个应用程序的管理器，管理由ResourceManager分配的NodeManager节点
   4. Container：NodeManager节点中内存、CPU等资源的抽象