Flink1.13集成Hadoop3.x以上版本_flink hadoop3-CSDN博客

本文链接：https://blog.csdn.net/mynameisgt/article/details/125826911

在搭建Flink HA集群后遇到WebUI无法打开的问题，日志显示缺少HDFS支持。分析发现Flink新版本不直接支持HDFS且不兼容Hadoop3.x。解决方案是向Flink的lib目录添加flink-shaded-hadoop-3-uber和commons-cli相关jar包，并分发到所有节点，确保所有机器都能访问HDFS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

背景说明

在搭建Flink的HA高可用集群后，打不开web UI界面

出现问题

打开log日志查看

org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. For a full list of supported file systems, please see https://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/

问题分析

1、最新版本的Flink没有包含Hadoop的相关依赖，无法直接操作HDFS
2、官网声明Flink没有对Hadoop3.x的支持，但若是没用到Hadoop3.x的新特性，只用Hadoop2.x的常规功能，现有jar包可行

Flink.apache.org

问题解决

往Flink中的lib目录里添加两个jar包：
flink-shaded-hadoop-3-uber-3.1.1.7.2.1.0-327-9.0.jar
commons-cli-1.4.jar

添加完后，将lib目录分发给其他虚拟机。在这里，我的hadopp103配置的是备用master，若hadoop3:8081的界面要打开，那么hadoop103的虚拟机上也需要添加上面两个jar包

下载仓库分别是：
https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-3-uber/3.1.1.7.2.1.0-327-9.0
https://mvnrepository.com/artifact/commons-cli/commons-cli/1.4