flink的几种source来源

最新推荐文章于 2024-08-09 16:12:24 发布

原创

最新推荐文章于 2024-08-09 16:12:24 发布 · 857 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #kafka #scala

这篇博客总结了Flink接入数据的各种来源，重点介绍了如何配置和使用Kafka作为数据输入源。强调了不同Kafka版本参数的区别，如新版本使用`bootstrap.servers`，而旧版本使用`zookeeper`节点。指出Flink与低版本Kafka配合可能出现TimeoutException问题，并推荐使用v2.8.1版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简单的总结了flink的几种source来源，可以参考下

package com.atguigu.apitest


import java.util.Properties

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011

import scala.util.Random


/**
  * 功能:演示 flink的source来源
  *
  */

// 定义样例类,温度传感器
case class SensorReading(id:String, timestamp: Long,temmperature:Double )


object SourceTest {
  def main(args: Array[String]): Unit = {
    // 创建执行环境
    val env=StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

   // 1 从集合中读取数据
    val dataList=List(
      SensorReading("sensor_1", 1547718199, 35.8),
      SensorReading("sensor_6", 1547718201, 15.4),
      SensorReading("sensor_7", 1547718202, 6.7),
      SensorReading("sensor_10", 1547718205, 38.1)
    )

    val stream1=env.fromCollectio