[MapReduce程序编写运行打包 ]

目录

🍀🍁前言:

🍀🍁编写MapReduce程序

🍀🍁代码中提交作业示意。

🍀🍁打包MapReduce程序

🍀🍁使用Eclipse打包MapReduce程序

🍀🍁使用Maven打包MapReduce程序

在pom.xml文件中,添加以下插件配置:

🍀🍁打包第三种方式:

🍀🍁部署MapReduce程序

🍀🍁可以使用hadoop fs命令或者Hadoop Web UI来完成上传操作。具体来说,我们可以使用以下命令将jar包上传到Hadoop集群中:

🍀🍁在Hadoop集群中,我们需要配置MapReduce作业的参数,包括输入路径、输出路径、Mapper类、Reducer类等。可以使用hadoop命令或者Hadoop Web UI来完成配置操作。具体来说,我们可以使用以下命令来配置MapReduce作业的参数:

🍀🍁在配置好MapReduce作业的参数后,我们可以使用hadoop命令来提交作业。具体来说,我们可以使用以下命令来提交MapReduce作业:

🍀🍁运行MapReduce程序

🍀🍁使用hadoop命令来提交MapReduce作业,命令格式如下:

🍀🍁监控MapReduce作业

🍀🍁要监控MapReduce作业,可以通过配置Hadoop的日志和监控系统来实现。以下是一些常用的监控配置:


🍀🍁前言:

  记录笔记

🍀🍁编写MapReduce程序

首先,我们需要编写MapReduce程序,包括Mapper类、Reducer类、Driver类等。Mapper类和Reducer类分别用于处理输入数据集中的每个记录和对输出键值对进行合并,而Driver类则用于设置MapReduce作业的相关参数,

🍀🍁代码中提交作业示意。

Job job = new Job(new Configuration());
job.setJarByClass(DataFilterJob.driver.class); // 配置job运行的hdfs程序包
job.setMapperClass(DataFilterMapper.class); // 配置map任务对应mapper写类作业
job.setOutputKeyClass(Text.class); // 配置输出key类型
job.setOutputValueClass(Text.class);// 配置输出value类型
FileInputFormat.addInputPath(job,new Path(args[0])); // 配置map任务输入格式,输入文件、路径
FileOutputFormat.setOutputPath(job,new Path(args[1])); // 最终转换后文件输出路径
job.setNumReduceTasks(0); 替代删掉某个刀任务
System.exit(job.waitForCompletion(true) ? 0 : 1); // 提交与job时提交各个map的任务
 

🍀🍁打包MapReduce程序

将编写好的MapReduce程序打包成一个jar包,包括所有的依赖库和配置文件。

打包MapReduce程序可以使用Eclipse或者Maven等工具来完成。以下是两种常用的打包方式:

🍀🍁使用Eclipse打包MapReduce程序

在Eclipse中,我们可以使用Export功能将MapReduce程序打包成一个可执行的jar包。具体步骤如下:

  • 在Eclipse中,选择File -> Export -> Runnable JAR file。
  • 在弹出的对话框中,选择要导出的Java类和主函数,并选择要导出的jar包的路径和名称。
  • 在Library handling选项中,选择Extract required libraries into generated JAR,然后点击Finish按钮。

这样,Eclipse就会将MapReduce程序及其依赖库打包成一个可执行的jar包。

🍀🍁使用Maven打包MapReduce程序

在Maven中,我们可以使用Maven插件将MapReduce程序打包成一个可执行的jar包。具体步骤如下:

  • 在pom.xml文件中,添加以下插件配置:
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>3.3.0</version>
            <configuration>
                <archive>
                    <manifest>
                        <mainClass>com.example.Driver</mainClass>
                    </manifest>
                </archive>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>
🍀🍁打包第三种方式:

打包MapReduce程序通常使用Maven或其他打包工具,可以将程序打包成一个可执行的JAR文件,其中包括所有依赖的库和配置文件。打包程序的过程通常包括以下几个步骤:

  1. 编写MapReduce程序:使用Java编写MapRedu

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是汤圆丫

怎么 给1分?

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值