Spark实现分组并求每一组内TopN（Java）——三种不同情形下适用的三种方法

本文链接：https://blog.csdn.net/qq_41973536/article/details/81076196

自己随意编写一份测试数据，所用的测试数据如下，需求是按照第一列的字母分组，然后按照第二列数据取出每一组内前N个数据，后面我分别列出了我使用的三种方案来实现该需求，不同方案在不同的场景下会有各自的优势

a 25
b 36
c 24
d 45
e 60
a 33
b 26
c 47
d 43
e 62
a 13
b 16
c 42
d 66
e 31
a 19
b 75
c 61
d 71
e 80
a 85
b 90
c 54
d 48
e 62

第一种方式：适合求每一组别中所需要的top个数很大的情况，是对数据分组后对每一个组内进行排序，先获得所有组的key的集合，然后循环每个key排序，最后只需要采用take（num）即可得到前num个数据。

import java.util.Iterator;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;

import scala.Tuple2;

/*适合求每一组别中所需要的top个数很大的情况*/

public class GroupTopN {
	public static void main(String[] args) {
		SparkConf conf = new SparkConf().setAppName("GroupTopN").setMaster("local");
		JavaSparkContext sc = new JavaSparkContext(conf);
		
		JavaPairRDD<String, Iterable<Integer>> grouppair = sc.textFile("E:/mr/grouptopn.txt").mapToPair(new PairFunction<String, String, Integer>() {

			private static final long serialVersionUID = 1L;

			@Override
			public Tuple2<String, Integer> call(String line) throws Exception {
				return new Tuple2<String, Integer>(line.split(" ")[0],Integer.parseInt(line.split(" ")[1]));
			}
		}).groupByKey();
		
//		System.out.println(linepair.count());
		
		List<String> keys = grouppair.map(new Function<Tuple2<String,Iterable<Integer>>, String>() {

			private static final long serialVersionUID = 1L;

			@Override
			public String call(Tuple2<String, Iterable<