spark RDD基础装换操作--map操作

最新推荐文章于 2024-09-07 10:01:23 发布

菩提树下的呆子

最新推荐文章于 2024-09-07 10:01:23 发布

阅读量681

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/weixin_43744732/article/details/104105318

spark 专栏收录该内容

20 篇文章

订阅专栏

本文详细介绍了如何使用Spark的RDD进行map操作，通过实例演示了如何将集合中的每个元素乘以10，展示了从创建RDD到执行map操作并收集结果的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.map操作

将原本集合中所有数字通过map操作乘以10，然后输出

scala> val rddData = sc.parallelize(1 to 10)
rddData: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24

scala> val rddData2 = rddData.map(_ * 10)
rddData2: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[1] at map at <console>:26

scala> rddData2.collect
res0: Array[Int] = Array(10, 20, 30, 40, 50, 60, 70, 80, 90, 100)

说明：
sc.parallelize(1 to 10)：创建一个由数字1-10组成的RDD。

org.apache.spark.rdd.RDD[Int]：显示第一行代码执行结果–创建了一个由Int类型元素组成的RDD。

rddData.map(_ * 10)：调用map方法，向map方法中传入参数“_ * 10”。参数代码的含义是：将原始RDD中的数字依次乘10，并生成新的RDD。

rddData2.collect：执行collect行动操作，用于查看结果。

Array[Int] = Array(10, 20, 30, 40, 50, 60, 70, 80, 90, 100)：可以看到全部结果都乘了10。