MapReduce的自定义分区与ReduceTask数量

        本篇博客小菌为大家带来的是MapReduce的自定义分区与ReduceTask内容的分享(ReduceMap具体计算流程见《MapReduce中shuffle阶段概述及计算任务流程》)。

        在MapReduce中。通过指定分区，会将同一个分区的数据发送到同一个reduce中，例如为了数据的统计，可以把一批类似的数据发 送到同一个reduce当中去，在同一个reduce中统计相同类型的数据，就可以实现类似数据的分区，统计等。
        直观的说就是相同类型的数据，送到一起去处理，在reduce当中默认分区只有1个。

        MapReduce当中的分区类图

        假设现在有个业务需求,有一个文本文件partition.txt。其中第六个字段表示开奖结果数值，现在以15为分界点，将15以上的结果保存到一个文件，15以下的结果保存到一个文件。

        那我们应该怎么做呢?
        按照正常的思维,我们应该先创建两个目录,在Map中拿到数据后,把开奖结果数值作为key,整行数据作为value传递给reduce,然后reduce再根据key值大小做出一个判断,把list数据存入到不同的目录中…

        虽然步骤没有错,但总归有些繁琐。事实上,MapReduce中的分区机制就可以很好的解决这个问题!

        先让我们来看下MapReduce自带的默认分区算法:

        对key 进行哈希，获取到一个哈希值，用这个哈希值与reducetask的数量取余。余几，这个数据就放在余数编号的partition中。

        但很明显上面提到的问题最终是根据数值大小进行分区,所以这个分区算法并不适用,所以我们需要自定义分区!

        自定义分区的步骤见下:

第一步：定义mapper

        这里的mapper程序不做任何逻辑，也不对key，与value做任何改变，只是接收数据，然后往下发送。

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;


public class MyMapper extends Mapper<LongWritable,Text,Text, NullWritable>{
   
   
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
   
        context.write(value,NullWritable.get());