spark取一串字的topN

最新推荐文章于 2024-06-19 15:39:06 发布

菜鸟也有梦想啊

最新推荐文章于 2024-06-19 15:39:06 发布

阅读量483

点赞数

CC 4.0 BY-SA版权

分类专栏： spark深入学习文章标签： spark topN

本文链接：https://blog.csdn.net/huaicainiao/article/details/90241331

spark深入学习专栏收录该内容

19 篇文章

订阅专栏

本文通过Java和Scala两种语言展示了如何使用Apache Spark从文件中读取数据，对数据进行映射、排序并获取前三大的元素。示例代码详细说明了从文件读取、数据转换到最终结果输出的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Java：

package cn.spark.sparktest;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

import java.util.List;

public class top3 {
    public static void main(String[] args){
        SparkConf conf = new SparkConf().setMaster("local").setAppName("top3");
        JavaSparkContext sc = new JavaSparkContext(conf);

        JavaRDD<String> lines = sc.textFile("C://Users//Desktop//top.txt");
//对读取的的RDD进行map操作
        JavaPairRDD<Integer,String> pairs = lines.mapToPair(new PairFunction<String, Integer, String>() {
            @Override
            public Tuple2<Integer, String> call(String s) throws Exception {
                return new Tuple2<Integer, String>(Integer.valueOf(s),s);
            }
        });

        JavaPairRDD<Integer,String> sortPair = pairs.sortByKey(false);
//只取出数组中的第一列元素
        JavaRDD<Integer> result = sortPair.map(new Function<Tuple2<Integer, String>, Integer>() {
            @Override
            public Integer call(Tuple2<Integer, String> i) throws Exception {
                return i._1;
            }
        });

        List<Integer> sortList = result.take(3);

        for (Integer n : sortList){
            System.out.println(n);
        }

        sc.close();
    }
}

测试：

Scala

package cn.spark.study.core

import org.apache.spark.{SparkConf, SparkContext}

object top3 {
  def main(args: Array[String]): Unit = {


    val conf = new SparkConf()
      .setMaster("local")
      .setAppName("top3")
    val sc = new SparkContext(conf)

    val lines = sc.textFile("C://Users//Desktop//top.txt")

    val sort = lines.map(sort => (sort.toInt, sort))
    val result = sort.sortByKey(false)
    val mid = result.map(x => (x._1))
    val top = mid.take(3)

    for (num <- top) {
      println(num)
    }
  }
}

测试：