Flink自定义数据源Source

最新推荐文章于 2025-06-11 09:49:46 发布

菜鸟也学大数据

最新推荐文章于 2025-06-11 09:49:46 发布

阅读量849

点赞数

CC 4.0 BY-SA版权

分类专栏：菜鸟也学大数据 Flink 文章标签： flink 大数据

本文链接：https://blog.csdn.net/weixin_38468167/article/details/111871387

菜鸟也学大数据同时被 2 个专栏收录

167 篇文章

订阅专栏

Flink

23 篇文章

订阅专栏

博客主要讲述了使用Flink实现自定义数据源，在启动后可输出数据，聚焦于大数据领域的Flink技术应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实现自定义数据源

import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala._
import scala.util.Random

//自定义数据类型
case class WaterSensor(id:String,ts:Long,vc:Double)
//创建类并继承SourceFunction指定类型
class MySource extends SourceFunction[WaterSensor]{
  val flag=true
  //重写run方法
  override def run(sourceContext: SourceFunction.SourceContext[WaterSensor]): Unit = {
    while(flag){
      sourceContext.collect(WaterSensor("sensor_"+new Random().nextInt(3),16092345345623L,new Random().nextInt(5)+40))
      //睡眠1秒
      Thread.sleep(1000)
    }
  }
  override def cancel(): Unit = ???
}

object SourceMy{
  def main(args: Array[String]): Unit = {
  //创建流处理执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //获取自定义数据源中数据
    val mydefDStream: DataStream[WaterSensor] = env.addSource(new MySource)
    //输出获取的数据
    mydefDStream.print()
    env.execute("MySource"）
  }
}