（1）启动Hadoop，在HDFS中创建用户目录“/user/你的名字的拼音”。以张三同学为例，创建 /user/zhangsan ,下同；

要在Eclipse中创建Java项目并完成上述任务，可以按照以下步骤操作： ### 步骤一：配置Hadoop环境和Eclipse开发环境 1. **安装Eclipse**：确保已正确安装Eclipse IDE for Java Developers。 2. **设置Hadoop依赖库**： - 将`usr/local/hadoop/share/hadoop/common`、`common/lib`、`hdfs`以及`hdfs/lib`下的JAR包添加到项目的构建路径中。 - 右键点击Eclipse中的项目 -> `Build Path` -> `Configure Build Path...` - 转到`Libraries`选项卡，点击`Add External JARs`选择上面提到的所有JAR文件。 ### 步骤二：编写代码实现筛选与合并功能 #### 主程序结构示例 ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.FileStatus; import java.io.IOException; import java.net.URI; public class FileMergeTask { public static void main(String[] args) { String hdfsUri = "hdfs://localhost:9000"; String inputPathStr = "/user/hadoop"; // 输入目录 String outputPathStr = "/user/hadoop/merge.txt"; // 输出文件 try { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(hdfsUri), conf); filterAndMergeFiles(fs, inputPathStr, outputPathStr); } catch (Exception e) { System.err.println("Error occurred while processing files."); e.printStackTrace(); } } private static void filterAndMergeFiles(FileSystem fs, String inputDir, String outputFilePath) throws IOException { Path path = new Path(inputDir); FileStatus[] statuses = fs.listStatus(path); // 获取输入目录下所有文件的状态信息 StringBuilder contentBuilder = new StringBuilder(); if (statuses != null && statuses.length > 0) { // 遍历文件列表 for (FileStatus status : statuses) { String fileName = status.getPath().getName(); // 文件名 if (!fileName.endsWith(".abc")) { // 筛选出非".abc"结尾的文件 System.out.println("Processing file: " + fileName); byte[] buffer = new byte[1024]; int bytesRead; try (org.apache.hadoop.fs.FSDataInputStream inputStream = fs.open(status.getPath())) { while ((bytesRead = inputStream.read(buffer)) > 0) { contentBuilder.append(new String(buffer, 0, bytesRead)); // 合并文件内容 } } } } // 写入最终结果至目标文件 try (org.apache.hadoop.fs.FSDataOutputStream outputStream = fs.create(new Path(outputFilePath))) { outputStream.write(contentBuilder.toString().getBytes()); System.out.println("Merged result written to: " + outputFilePath); } } } } ``` --- ### 运行测试 1. 编译运行此程序前需确认本地HDFS服务是否正常启动(`start-dfs.sh`)。 2. 使用命令检查初始状态（查看是否有指定的五个文本文件存在于HDFS上）： ```bash hadoop fs -ls /user/hadoop/ ``` 3. 执行完程序后，验证生成的结果文件是否存在及内容是否正确： ```bash hadoop fs -cat /user/hadoop/merge.txt ``` --- ### 提交成果注意事项 按要求提交截图命名规则：“姓名+学号”。例如，“李四_20231008”。 ---

Hadoop的基础编程操作通常涉及到使用Hadoop Distributed File System (HDFS) API以及MapReduce处理大数据集。以下是两个步骤的简要说明，但由于这是一个文本平台，我无法直接提供代码截图或实际运行效果。 **第一步：创建目录并上传文件** 首先，你需要设置好Hadoop环境，然后通过Java编写程序连接到HDFS。假设你的名字是张三，你可以按照以下步骤操作： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HdfsExample { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); // 创建目录 String directoryName = "zhangsan"; Path dirPath = new Path("/user/" + directoryName); if (!fs.exists(dirPath)) { fs.mkdirs(dirPath); } // 上传文件 Path filePath = new Path(dirPath, "wc.file"); FileInputStream fis = new FileInputStream("wc.txt"); fs.copyFromLocalFile(new Path("wc.txt"), filePath); fs.close(); } } ``` 运行这段代码后，`wc.file` 文件会被复制到名为 `zhangsan` 的新目录下。 **第二步：词频统计（Word Count）** 对于词频统计，Hadoop MapReduce框架非常适合。下面是一个简单的Mapper和Reducer的例子： ```java // Mapper.java import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().toLowerCase().split("\\W+"); for (String w : words) { word.set(w); context.write(word, one); } } } // Reducer.java import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } ``` 在Map阶段，单词被转换成键值对 `(word, 1)`，然后在Reduce阶段计算每个单词的总次数。注意这只是一个基本示例，实际应用可能需要更复杂的错误处理和优化。 由于这是文字描述，无法展示完整的运行过程，但你应该可以在本地Hadoop环境中测试上述代码，查看结果是否符合预期。