一．实验内容
MapReduce编程实践：
使用MapReduce实现多个文本文件中WordCount词频统计功能，实验编写Map处理逻辑、编写Reduce处理逻辑、编写main方法。
二．实验目的
1、通过实验掌握基本的MapReduce编程方法。
2、实现统计HDFS系统中多个文本文件中的单词出现频率。
三．实验过程截图及说明
1、在本地创建多个文本文件并上传到Hadoop：
（1）创建本地存放文件的文件夹：
（2）使用vim命令向文件里添加内容：
（3）在Hadoop里创建存放文件的目录：
（4）将本地的3个文件上传到Hadoop上：
2、编写java代码来操作读取文件并统计：
（1）启动idea：
（2）目录结构：
（3）编写log4j.properties文件：
（4）引入需要用到的依赖：
。。。。。。
### 大数据实验四-MapReduce编程实践
#### 一、实验内容与目的
##### 实验内容概述
本次实验的主要内容是使用MapReduce框架来实现WordCount词频统计功能，即统计HDFS（Hadoop Distributed File System）系统中多个文本文件内的单词出现频率。具体步骤包括：
1. **编写Map处理逻辑**：设计一个Map函数，负责读取输入文件中的每一行数据，将其拆分为单词，并为每个单词分配一个初始计数值（通常是1）。
2. **编写Reduce处理逻辑**：设计一个Reduce函数，对中间结果进行汇总，将所有相同单词的计数值相加，得到该单词在整个文件集合中的总出现次数。
3. **编写main方法**：设置MapReduce作业的配置信息，如指定输入输出路径、Mapper和Reducer类等，并启动作业执行。
##### 实验目的
1. **掌握基本的MapReduce编程方法**：理解MapReduce的基本原理和编程流程，学会如何使用Java编写MapReduce程序。
2. **实现统计HDFS系统中多个文本文件中的单词出现频率**：通过实际操作，体验MapReduce在处理大数据集时的高效性。
#### 二、实验过程详解
##### 1. 在本地创建多个文本文件并上传到Hadoop
- **创建本地存放文件的文件夹**：首先在本地机器上创建一个文件夹用于存放即将上传至Hadoop的文本文件。
- **使用vim命令向文件里添加内容**：使用文本编辑器或Linux下的`vim`命令创建多个文本文件（例如words1.txt、words2.txt、words3.txt），并在这些文件中写入一些测试数据。
- **在Hadoop里创建存放文件的目录**：登录到Hadoop集群，使用`hadoop fs -mkdir`命令在HDFS上创建一个新的目录来存放即将上传的文件。
- **将本地的3个文件上传到Hadoop上**：使用`hadoop fs -put`命令将本地的测试文件上传到HDFS上指定的目录中。
##### 2. 编写Java代码来操作读取文件并统计
- **启动IDEA**：打开IntelliJ IDEA或其他集成开发环境。
- **目录结构**：创建项目目录结构，通常包含src/main/java、src/main/resources等目录。
- **编写log4j.properties文件**：在资源目录下创建log4j配置文件，用于日志管理。
- **引入需要用到的依赖**：在项目的build.gradle或pom.xml文件中添加必要的Hadoop和MapReduce依赖。
- **编写Mapper处理逻辑**：定义一个Mapper类，继承自`org.apache.hadoop.mapreduce.Mapper`，重写`map()`方法，用于处理输入的文本数据并输出键值对<k, v>（k表示单词，v表示计数值）。
- **编写Reducer处理逻辑**：定义一个Reducer类，继承自`org.apache.hadoop.mapreduce.Reducer`，重写`reduce()`方法，用于对相同键（单词）的所有值（计数值）进行汇总。
- **编写main函数驱动模块**：创建一个Driver类，用于配置MapReduce作业参数，并启动作业。
- **运行main函数方法**：在IDEA中运行Driver类的main方法，提交作业至Hadoop集群执行。
- **运行成功后查看输出文件内容**：作业完成后，在HDFS上指定的输出目录中查看统计结果。
#### 三、实验总结及心得体会
**实验总结**：通过本次实验，不仅掌握了MapReduce的基本编程方法，还了解了其在大数据处理领域的重要作用。MapReduce能够高效地处理大量数据，极大地提升了数据分析的速度和准确性。
**心得体会**：
1. **理解MapReduce的工作原理**：深入学习MapReduce的工作机制，理解其分布式计算的优势。
2. **实际编程经验积累**：通过编写MapReduce程序，积累了实际编程经验，熟悉了Hadoop和MapReduce的API。
3. **分布式计算的认识**：认识到分布式计算的局限性与优势，在实际应用中需要权衡数据规模和计算需求。
4. **Hadoop框架的理解**：对Hadoop框架有了更全面的认识，为进一步学习Hadoop生态系统打下基础。
5. **编程能力提升**：通过不断调试和优化代码，提高了编程技能和解决问题的能力。
本次实验不仅是一次技术上的尝试，更是对未来大数据处理技术和分布式计算领域的一次深入探索。
