- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop Mapreduce
Hadoop MapReduce整个MR的过程可以分解为下面几步读取数据MapreduceoutputHadoop 读取数据通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给Map通过InputFormat决定读取的数据的类型功能验证...
2019-02-24 15:29:27
276
原创 YARN基本原理和YARN工作流程
Mapreduce 1.0 旧的MapReduce架构旧的MapReduce架构、基本概念JobTracker: 负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错）TaskTracker: 加载或关闭任务，定时报告认为状态旧的架构的问题JobTracker是MapReduce的集中处理点，存在单点故障JobTracker完成了太多的...
2019-02-20 23:30:09
1375
原创 Hadoop-HDFS基本原理
Hadoop （HDFS）Hadoop Distributed File System，分布式文件系统架构中的基本概念block基本存储单位，一般64M，比数据库中的页要大很多基本的读写单位，类似于磁盘的页，每次都是读写一个块每个块都会被复制到多台机器，默认复制3份配置大的block 减少搜寻时间，一般硬盘传输速率比寻道时间要快，大的块可以减少寻道时间每个块都需要在Name...
2019-02-19 22:38:50
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人