mapreduce------map（）一次性读多行

最新推荐文章于 2025-07-23 18:13:49 发布

原创

最新推荐文章于 2025-07-23 18:13:49 发布 · 1.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #自定义InputFormat

本文介绍了如何通过自定义InputFormat来修改MapReduce的默认行为，使得map()函数每次能够读取5行数据。这种方法适用于需要对数据读取逻辑进行定制的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实现map()函数每次读取5行

因为我们需要对读数据的时候的逻辑进行修改，所以只需要实现自己的InputFormat即可。

输入数据文件为：
json.dat
{
"name":"ta",
"age":12,
"sex":1
}
{
"name":"la",
"age":13,
"sex":2
}
...
输出结果为：
{"name":"ta","age":12,"sex":1}
{"name":"la","age":13,"sex":2}

测试类


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.OutputFormat;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.BasicConfigurator;

import java.io.IOException;

public class Test3  {
    public static class MyMapper extends Mapper<LongWritable, Text,Text, Text>{
        IntWritable iw = new IntWritable(1);
        Text text = new Text();
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
             
            text.set(line);
            context.write(text,new Text(""));
        }
    }
 
    public static class MyReducer extends Reducer<Text,Text,Text,NullWritable>{

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
             context.write(key,NullWritable.get());