【Hadoop】（四）Hadoop 序列化 及 MapReduce 序列化案例实操_public void readfields(datainput datainput) throws(1)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

import java.io.IOException;

/**
* @author：Tokgo J
* @date：2019/12/11
* @aim：序列化案例实操
*/

//1. 需求 : 统计每一个手机号耗费的总上行流量、下行流量、总流量

//输入数据格式：

/*7 13560436666 120.196.100.99 1116 954 200
id 手机号码 网络ip 上行流量 下行流量 网络状态码*/

//期望输出数据格式

/*13560436666 1116 954 2070
手机号码 上行流量 下行流量 总流量*/

// 1 实现writable接口

public class FlowBean implements Writable {

private long upFlow;
private long downFlow;
private long sumFlow;

//2 反序列化时，需要反射调用空参构造函数，所以必须有
public FlowBean() {
}

public FlowBean(long upFlow, long downFlow) {
    this.upFlow = upFlow;
    this.downFlow = downFlow;
    this.sumFlow = upFlow+downFlow;
}

//3 写序列化方法
@Override
public void write(DataOutput out) throws IOException {
    out.writeLong(upFlow);
    out.writeLong(downFlow);
    out.writeLong(sumFlow);
}

//4 反序列化方法
//5 反序列化方法读顺序必须和写序列化方法的写顺序必须一致
@Override
public void readFields(DataInput in) throws IOException {
    this.upFlow = in.readLong();
    this.downFlow = in.readLong();
    this.sumFlow = in.readLong();
}

// 6 编写toString方法，方便后续打印到文本
@Override
public String toString() {
    return "FlowBean{" +
            "upFlow=" + upFlow +
            ", downFlow=" + downFlow +
            ", sumFlow=" + sumFlow +
            '}';
}

public long getUpFlow() {
    return upFlow;
}

public void setUpFlow(long upFlow) {
    this.upFlow = upFlow;
}

public long getDownFlow() {
    return downFlow;
}

public void setDownFlow(long downFlow) {
    this.downFlow = downFlow;
}

public long getSumFlow() {
    return sumFlow;
}

public void setSumFlow(long sumFlow) {
    this.sumFlow = sumFlow;
}

}

（2）编写Mapper类

package com.kgc.phone;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
* @author：Tokgo J
* @date：2019/12/11
* @aim：
*/

public class FlowCountMapper extends Mapper<LongWritable, Text,Text,FlowBean> {

FlowBean v = new FlowBean();
Text k = new Text();

@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    // 1 获取一行
    String line = value.toString();

    // 2 切割字段
    String[] fields = line.split("\t");

    // 3 封装对象
    // 取出手机号码
    String phoneNum = fields[1];

    // 取出上行流量和下行流量
    long upFlow = Long.parseLong(fields[fields.length-3]);
    long downFlow = Long.parseLong(fields[fields.length-2]);
    k.set(phoneNum);
    v.setUpFlow(upFlow);
    v.setDownFlow(downFlow);

    // 4 写出
    context.write(k,v);
}

}

（3）编写Reducer类

package com.kgc.phone;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
* @author：Tokgo J
* @date：2019/12/11
* @aim：
*/

public class FlowCountReducer extends Reducer<Text,FlowBean,Text,FlowBean> {

@Override
protected void reduce(Text key, Iterable<FlowBean> values, Context context) throws IOException, InterruptedException {
    long sum_upFlow = 0;
    long sun_downFlow = 0;

    // 1 遍历所用bean，将其中的上行流量，下行流量分别累加
    for (FlowBean flowBean : values) {
        sum_upFlow+=flowBean.getUpFlow();
        sun_downFlow+=flowBean.getDownFlow();
    }

    // 2 封装对象
    FlowBean resultBean = new FlowBean(sum_upFlow,sun_downFlow);

    // 3 写出
    context.write(key,resultBean);
}

}

（4）编写Driver驱动类

package com.kgc.phone;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
* @author：Tokgo J
* @date：2019/12/11
* @aim：
*/

public class FlowsumDriver {
public static void main(String[] args) throws Exception {
// 1 获取配置信息，或者job对象实例
Configuration configuration = new Configuration();
Job job = Job.getInstance(configuration);

    // 6 指定本程序的jar包所在的本地路径
    job.setJarByClass(FlowsumDriver.class);

    // 2 指定本业务job要使用的mapper/Reducer业务类
    job.setMapperClass(FlowCountMapper.class);
    job.setReducerClass(FlowCountReducer.class);

    // 3 指定mapper输出数据的kv类型
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(FlowBean.class);

    // 4 指定最终输出的数据的kv类型
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(FlowBean.class);

    // 5 指定job的输入原始文件所在目录
    FileInputFormat.addInputPath(job,new Path("hdfs://192.168.56.137:9000/data2/phone.txt"));
    FileOutputFormat.setOutputPath(job,new Path("hdfs://192.168.56.137:9000/my6"));

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！