Spark学习1

Hadoop  0.X  1.X 现存问题

1、NameNode是单点的，易出现故障、制约集群发展

2、NameNode是单点的，受硬件制约、制约集群发展

3、MapReduce计算框架效率低，（设计理念原因）

           MapReduce用于单一数据计算，不适用于数据挖掘和数据迭代计算

            MapReduce框架主要应用于一次性数据计算：从存储介质中读取数据，然后进行处理，再存储回介质中。

4、MapReduce框架与Hadoop耦合性非常强，无法分离。

新型数据框架

Hive    Pig  Spark

Hadoop  2.X  Yarn

1、NameNode是高可用的，易出现故障、制约集群发展

2、将资源调度和计算进行了解耦合

3、可以替换计算框架

Spark出现

1、Spark基于MR框架，其优化数据计算过程，使用内存代替计算结果

2、Spark基于Scala语言开发，更适用于迭代计算和数据挖掘计算

3、Spark计算模型丰富

                MapReduce框架中计算模型：Mapper Reducer

                Scala框架中计算模型：Map、Filter、GroupBy、sortBy