lujianlujian520的博客

一、执行过程 MapReduce过程分为 input map shuffle reduce output 1.input:首先从HDFS上面读取文件，同时将大文件拆分成小文件（128M），与此同时将并组成键值对的形式 2.map:将input传送过来的每个数据块调用一次map方法，并构建新的键值对 3.shuffle：排序：按照键值对做一个排序 分组:将key值相同的数据放到一个迭代器中 4.reduce:每个分组后的数据调用一次reduce方法，构建新的键值对 5.output:将reduce传递过来

Hadoop知识点归纳 版本 hadoop1：是由hdfs 和MapReduce hadoop2：是由hdfs，MapReduce，yarn三部分构成 hadoop四大组件 hadoop common 功能:用于支持其他模块和其他工具的接口 H 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选