本文概述了Hadoop生态系统的关键组件：NameNode、DataNode和SecondaryNameNode，讲解了MapReduce的Map和Reduce阶段，以及YARN作为Hadoop的资源调度器。深入理解分布式计算的核心技术。
1 HDFS概述
- NameNode：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限）以及每个文件的块列表和块所在的DataNode等
- DataNode：在本地文件系统存储文件数据块以及块数据的校验和
- Secondary NameNode：每隔一段时间对NameNode元数据进行备份
2 MapReduce概述
MapReduce将计算过程分为两个阶段：Map和Reduce
- Map阶段并行处理输入数据
- Reduce阶段对Map结果进行汇总
3 YARN架构概述
Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是hadoop的资源管理器
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
