Spark RDD distinct 算子

最新推荐文章于 2024-11-20 23:04:38 发布

BIT_666

最新推荐文章于 2024-11-20 23:04:38 发布

阅读量2.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark Scala 常用语法文章标签： spark distinct

本文链接：https://blog.csdn.net/BIT_666/article/details/117387589

Scala 同时被 3 个专栏收录

150 篇文章

订阅专栏

常用语法

66 篇文章

订阅专栏

Spark

52 篇文章

订阅专栏

本文详细介绍了Spark中的distinct算子的工作原理，通过源码分析展示了如何利用reduceByKey实现去重功能，并提供了使用示例。重点讨论了distinct与PairRDD的区别，以及在实际项目中的应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.引言

使用spark很久第一次用到 distinct 算子，趁热打铁熟悉一下 distinct 的操作。

二.源码

distinct 算子会返回一个新的 RDD，这里的每一个元素都是唯一的不会有重复。


  /**
   * Return a new RDD containing the distinct elements in this RDD.
   */
  def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
    map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)
  }

  /**
   * Return a new RDD containing the distinct elements in this RDD.
   */
  def distinct(): RDD[T] = withScope {
    distinct(partitions.length)
  }

三.distinct 使用示例

随机生成20个(Int, Char)格式truple，并序列化为5个Partiton，使用 distinct去重。

    // Spark 初始化
    val sc = new SparkContext(conf)

    val random = scala.util.Random
    random.setSeed(100)
    sc.setLogLevel("error")
    val randomChar = ('a' to 'z').zipWithIndex.map(x => (x._2, x._1)).toMap
    val randomSample = (0 until 20).map(x => {
      val num = random.nextInt(100)
      val char = randomChar(random.nextInt(26))
      (num, char)
    })

    // Distinct 实现
    val rdd = sc.parallelize(randomSample, 5)
    println("Partition Number Count: " + rdd.getNumPartitions)
    val distinctArr = rdd.distinct.collect()
    println("Distinct Number Count: " + distinctArr.length)
    println(distinctArr.sorted.mkString(" "))

四.DIY Distinct

distinct的源码也很简单，通过 reduceByKey 就能实现。

    // 源码实现
    println("Diy Demo: ")
    val rdd2 = sc.parallelize(randomSample, 5)
    val distinctArr2 = rdd2.map(x => (x, null)).reduceByKey((x, y) => x, 5).map(_._1).collect()
    println(distinctArr2.sorted.mkString(" "))