guo20082200的博客

钱钱钱钱钱钱钱钱钱钱钱 暂时留住坑位

启动spark集群（ 集群配置参考上一篇博客） [root@master ~]# cd /usr/local/apps/spark-2.3.2-bin-hadoop2.7/ [root@master spark-2.3.2-bin-hadoop2.7]# ./sbin/start-all.sh 启动日志如下： starting org.apache.spark.deploy.master.Mas...

1. RDD基本操作 val rdd1 = sc.parallelize(List(1,2,3,4,4)) 输出结果：rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24 //这里org.apache.spark.rdd.RDD[Int]，这里R...

1. mapPartitionsWithIndex 创建RDD,指定分区数为2 scala> val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7),2) 查看分区 scala> rdd1.partitions – 内容如下： res0: Array[org.apache.spark.Partition] = Array(org.apache....

1. 复习List的操作 list操作： val ls1 = List(1) val ls2 = List(2) // 追加一个元素 ls1 :+ 2 这个结果为：res15: List[Any] = List(1, 2) // 追加一个集合 ls1 ++ ls2 这个结果为：res16: List[Int] = List(1, 2) // 追加一个集合 ls1 ::: ls2 这个结果为：res...