github_28583061的博客

SparkContext -- v 2.2 Spark的对外接口，代表了与spark 集群交互的连接,负责向调用这提供Spark的各种功能 主要功能： 在集群上，创建RDD,累加器，广播变量等 driver 和 executor都会创建 sparkContext 初始化过程 -- driver 前置条件SparkConf设置： spark.master 必须设置 本...

https://github.com/xif10416s/workNote Resilient Distributed Datasets (RDDs) 类定义 abstract class RDD[T: ClassTag]( @transient private <var></var> _sc: SparkContext, @transient pr...

参考 http://www.codeweblog.com/%E7%90%86%E8%A7%A3scala%E7%9A%84symbol%E7%B1%BB%E5%9E%8B/ http://docs.scala-lang.org/overviews/reflection/symbols-trees-types.html