Spark SQL操作Spark Streaming

最新推荐文章于 2024-07-24 22:35:05 发布

原创最新推荐文章于 2024-07-24 22:35:05 发布 · 215 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

45 篇文章

订阅专栏

该博客介绍了一个使用Spark Streaming从指定socket源获取数据，通过flatMap、map和reduceByKey进行数据预处理，然后将DStream转换为DataFrame并利用Spark SQL进行查询展示的实时数据处理流程。此示例展示了如何在Spark Streaming应用中结合Spark SQL进行复杂的数据分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

操作思路

先获取每个批次DStream中的RDD
将RDD转为DataFrame

代码

  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[*]")
    val ssc = new StreamingContext(conf,Seconds(3))
    //接收数据
    val dataDStream: ReceiverInputDStream[String] = ssc.socketTextStream("hadoop01", 8888)
    //处理数据
    val resDStream: DStream[(String, Int)] = dataDStream.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    //创建SparkSession对象
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
    import spark.implicits._

    //操作每个rdd，然后使用spark sql
    resDStream.foreachRDD(
      rdd => {
        val df: DataFrame = rdd.toDF("word","count")
        df.createOrReplaceTempView("t1")
        spark.sql("select * from t1").show()
      }
    )

    //开启采集
    ssc.start()
    ssc.awaitTermination()

  }