【flink】之如何消费kafka数据？

原创

已于 2024-10-09 16:04:00 修改 · 1k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#flink #kafka #大数据

于 2024-07-23 11:11:07 首次发布

为了编写一个使用Apache Flink来读取Apache Kafka消息的示例，我们需要确保我们的环境已经安装了Flink和Kafka，并且它们都能正常运行。此外，我们还需要在项目中引入相应的依赖库。以下是一个详细的步骤指南，包括依赖添加、代码编写和执行说明。

1.环境准备

确保你已经安装了Apache Kafka和Apache Flink，并且Kafka正在运行。Kafka的默认端口是9092，而Zookeeper（Kafka依赖的服务）的默认端口是2181

2.Maven项目设置

创建一个新的Maven项目，并在pom.xml中添加以下依赖：

<dependencies>  
    <!-- Flink dependencies -->  
    <dependency>  
        <groupId>org.apache.flink</groupId>  
        <artifactId>flink-streaming-java_2.12</artifactId>  
        <version>1.13.2</version>  
    </dependency>  
    <dependency>  
        <groupId>org.apache.flink</groupId>  
        <artifactId>flink-connector-kafka_2.12</artifactId>  
        <version>1.13.2</version>  
    </dependency>  
  
    <!-- Kafka client dependency -->  
    <dependency>