Allenzyg的博客

原因：Spark Application使用了非JVM的内存，比如，矩阵计算 的库调用了native library，分配了JVM堆外内存。– 症状：spark.akka.framesize = 128MB, Mesos Master内存飙涨，最终crash。– 症状：当有较多MapReduce job，scheduler调度压力增大的时候，Spark job会被kill掉。Spark组件：通用Spark job， Spark MLlib，Spark Streaming。

主节点上MasterWorker两个进程，子节点上Worker一个进程。将spark拷贝到子节点上然后配置环境变量并使其生效。进入spark的conf目录。编辑spark-env.sh。运行start-all.sh。进入主节点的sbin目录。

Transformation算子 Transformation算子 作用 map(func) 返回一个新的分布式数据集，其中每个元素都是由源RDD中每一个元素经过func函数转换得到的 filter(func) 返回一个新的数据集，其中包含的元素来自源RDD元素经过func函数过滤后的结果（func函数返回true的结果） flatMap(func)

最近项目要用到spark平台，无论是看源码还是写程序都需要用scala语言，接触了两天之后，对映射Map这里有点疑问，做了点测试之后记一记自己的想法。 首先，在scala中定义变量有var和val两种方式，前者定义一个可变量，后者定义一个不可变量，类似Java中的final或者C++中的const，如图1的示例可展示两者的区别。 图1 尝试改变一个val定义的变量会报错。针对var和val的区别应...