spark的去重算子

最新推荐文章于 2023-05-04 09:10:41 发布

原创

最新推荐文章于 2023-05-04 09:10:41 发布 · 807 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文探讨了Spark实现数据去重的底层原理，主要涉及无参和有参的distinct操作。首先调用无参distinct，然后通过有参distinct进行匹配，将数据转化为(key, 1)对，最终合并并取key，形成不重复的iterator集合。" 38292531,3194415,RHEL 5：配置基于虚拟用户的FTP服务,"['Linux系统管理', '网络服务', 'FTP服务器', '安全配置']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.{
   
   SparkConf, SparkContext}

object Test6 {
   
   

  def main(args: Array[String]): Unit = {
   
   
    val sparkconf = new SparkConf().setMaster("local[*]").setAppName("wordcount")
    val sc =new SparkContext(sparkconf)
    val rdd= sc.parallelize(List(1,2,5,7,8,9,3,4,4,5),