将分区内的元素转为数组：glom算子

原创于 2021-03-21 10:29:32 发布 · 153 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #glom #算子

spark 专栏收录该内容

45 篇文章

订阅专栏

本文介绍了Spark中glom算子的功能与使用方法。glom算子能够将RDD中的元素按分区转换为数组形式，而不会改变元素本身及类型。通过示例代码展示了如何使用glom算子并打印各分区数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明

glom算子将RDD分区中的元素转换为数组，并返回到新的RDD中。分区内的元素和元素的类型并不发生改变。

函数签名

在这里插入图片描述

代码实现

    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[*]")
    val sc = new SparkContext(conf)
    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4, 5, 6), 3)
    val glomRDD: RDD[Array[Int]] = rdd.glom()
    // 打印每个分区的数据
    glomRDD.mapPartitionsWithIndex {
      (index, datas) => {
        println(index + ":" + datas.next().mkString(","))
        datas
      }
    }.collect()
    sc.stop()