自定义source-kafka

最新推荐文章于 2024-11-24 19:07:05 发布

原创最新推荐文章于 2024-11-24 19:07:05 发布 · 348 阅读

CC 4.0 BY-SA版权

本文详细介绍了如何从头开始创建一个自定义的Kafka源，涵盖了设置步骤、配置选项以及在实际应用中集成的方法，帮助读者理解并实现自己的数据摄入解决方案。

package com.qianfeng.stream

import java.util.Properties

import org.apache.flink.api.common.serialization.{DeserializationSchema, SimpleStringSchema}
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
import org.apache.flink.api.scala._
import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaConsumer09}

/**
 * 1、使用flink-kafka的通用(kafka版本大于0.11以后的，依赖没有版本标识)的依赖后依赖以后，，
 *    不需要加入kafka的单独依赖。否则包冲突
 * 2、如果flink-kafka依赖小于0.11以前的，可以加入kafka对应的单独依赖，不会冲突，但没必要单独依赖
 * 3、总结：引入flink-kafka依赖，都不建议单独引入kafka依赖，因为源码里面有单独依赖。
 */
object Demo05_Stream_Kafkasource {
  def main(args: Array[String]): Unit = {
    //1、获取流式执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //2、自定义sourcefunction
    val props: Properties = new Properties
    val topic = "test"
    
    //将资源目录下的配置文件装载到Properties实例中，封装了和kafka服务器连接的参数信息
    props.load(this.getClass.getClassLoader.getResourceAsStream("consumer.properties"))

   //kafka1.0+的整合依赖  //读数据出来必须使用反序列化new SimpleStringSchema()
   //val res: DataStream[String] = env.addSource(new FlinkKafkaConsumer(topic, new SimpleStringSchema(), props))
    //kafka-0.9的整合依赖
    val res: DataStream[String] = env.addSource(new FlinkKafkaConsumer09(topic, new SimpleStringSchema(), props))
    dstream1.print("kafka source->")

    //5、触发执行
    env.execute("kafka source")
  }
}