目录
🍀🍁可以使用hadoop fs命令或者Hadoop Web UI来完成上传操作。具体来说,我们可以使用以下命令将jar包上传到Hadoop集群中:
🍀🍁在配置好MapReduce作业的参数后,我们可以使用hadoop命令来提交作业。具体来说,我们可以使用以下命令来提交MapReduce作业:
🍀🍁使用hadoop命令来提交MapReduce作业,命令格式如下:
🍀🍁要监控MapReduce作业,可以通过配置Hadoop的日志和监控系统来实现。以下是一些常用的监控配置:
🍀🍁前言:
记录笔记
🍀🍁编写MapReduce程序
首先,我们需要编写MapReduce程序,包括Mapper类、Reducer类、Driver类等。Mapper类和Reducer类分别用于处理输入数据集中的每个记录和对输出键值对进行合并,而Driver类则用于设置MapReduce作业的相关参数,
🍀🍁代码中提交作业示意。
Job job = new Job(new Configuration());
job.setJarByClass(DataFilterJob.driver.class); // 配置job运行的hdfs程序包
job.setMapperClass(DataFilterMapper.class); // 配置map任务对应mapper写类作业
job.setOutputKeyClass(Text.class); // 配置输出key类型
job.setOutputValueClass(Text.class);// 配置输出value类型
FileInputFormat.addInputPath(job,new Path(args[0])); // 配置map任务输入格式,输入文件、路径
FileOutputFormat.setOutputPath(job,new Path(args[1])); // 最终转换后文件输出路径
job.setNumReduceTasks(0); 替代删掉某个刀任务
System.exit(job.waitForCompletion(true) ? 0 : 1); // 提交与job时提交各个map的任务
🍀🍁打包MapReduce程序
将编写好的MapReduce程序打包成一个jar包,包括所有的依赖库和配置文件。
打包MapReduce程序可以使用Eclipse或者Maven等工具来完成。以下是两种常用的打包方式:
🍀🍁使用Eclipse打包MapReduce程序
在Eclipse中,我们可以使用Export功能将MapReduce程序打包成一个可执行的jar包。具体步骤如下:
- 在Eclipse中,选择File -> Export -> Runnable JAR file。
- 在弹出的对话框中,选择要导出的Java类和主函数,并选择要导出的jar包的路径和名称。
- 在Library handling选项中,选择Extract required libraries into generated JAR,然后点击Finish按钮。
这样,Eclipse就会将MapReduce程序及其依赖库打包成一个可执行的jar包。
🍀🍁使用Maven打包MapReduce程序
在Maven中,我们可以使用Maven插件将MapReduce程序打包成一个可执行的jar包。具体步骤如下:
-
在pom.xml文件中,添加以下插件配置:
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.3.0</version>
<configuration>
<archive>
<manifest>
<mainClass>com.example.Driver</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
🍀🍁打包第三种方式:
打包MapReduce程序通常使用Maven或其他打包工具,可以将程序打包成一个可执行的JAR文件,其中包括所有依赖的库和配置文件。打包程序的过程通常包括以下几个步骤:
-
编写MapReduce程序:使用Java编写MapRedu