No FileSystem for scheme: hdfs问题

最新推荐文章于 2022-06-02 13:11:25 发布

原创最新推荐文章于 2022-06-02 13:11:25 发布 · 1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #hdfs #spark #java

本文详细介绍了在Hadoop中如何通过FileSystem.get(conf)初始化文件系统。在初始化过程中，需要从core-default.xml中读取配置信息，特别是fs.hdfs.impl属性。如果默认配置文件中未包含此属性，需要手动添加或者在应用代码中设置。核心步骤包括：1) 通过conf获取类 clazz；2) 使用ReflectionUtils创建FileSystem实例；3) 调用initialize方法完成初始化。确保正确配置'fs.hdfs.impl'为'org.apache.hadoop.hdfs.DistributedFileSystem'以避免IOException。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过FileSystem.get(conf)初始化的时候，要通过静态加载来实现，其加载类的方法代码如下：

private static FileSystem createFileSystem(URI uri, Configuration conf
      ) throws IOException {
    Class<?> clazz = conf.getClass("fs." + uri.getScheme() + ".impl", null); 
    if (clazz == null) {
      throw new IOException("No FileSystem for scheme: " + uri.getScheme());
    }
    FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf);
    fs.initialize(uri, conf);
    return fs;
  }

onf.getClass需要读取hadoop-common-x.jar下面的core-default.xml，但是这个xml里面没有fs.hdfs.impl的配置信息，所以需要将这个类给配置上去。

将hadoop-commom-x.jar里面的core-default.xml文件取出并修改，添加如下代码：

<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description>
</property>

或者应用代码使用时候，自行添加：

configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");