Mapreduce实现求每一个订单中成交金额最大的三笔，分组TOPN（排序控制、分区控制、分组控制）

最新推荐文章于 2022-04-05 23:39:46 发布

原创

最新推荐文章于 2022-04-05 23:39:46 发布 · 951 阅读

5 ·

CC 4.0 BY-SA版权

笔记待更新

数据为：订单号，用户id，产品名，价格，数量

package mapreduce.ordertopn;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



/**
 * 统计出每个订单中金额前n大的产品
 * @author THY
 */
public class OrderTopN {
	/**
	 * 
	 * @author THY
	 * 
	public static  class OrderTopNMapper extends Mapper<LongWritable, Text, OrderBean, NullWritable>{
		//每一行数据都要调用map一次，如果数据量很大的话需要很多次创建OrderBean，Text所以在全局创建一个对象，
		OrderBean ob = new OrderBean();
		Text k=new Text();
		@Override
		protected void map(LongWritable key, Text values,Context context)
				throws IOException, InterruptedException {
			String[] split = values.toString().split(",");
			ob.set(split[0], split[1], split[2], Float.parseFloat(split[3]), Integer.parseInt(split[4]));
			k.set(split[0]);
			//交给maptask的kv对象会被maptask序列化后存储，不会覆盖
			context.write(ob, NullWritable.get());