sparkStream mapWithState

最新推荐文章于 2024-06-26 00:16:48 发布

Thomas2143

最新推荐文章于 2024-06-26 00:16:48 发布

阅读量256

点赞数

CC 4.0 BY-SA版权

分类专栏：总结文章标签： spark scala 大数据

本文链接：https://blog.csdn.net/qq_35515661/article/details/121216684

总结专栏收录该内容

793 篇文章 ¥99.90 ¥299.90

订阅专栏

本文介绍了如何利用Spark Streaming的mapWithState功能来实现数据的累积求和，详细展示了代码实现过程及运行效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目的

保存所有数字求和的状态,输出累积求和的值

代码

package com.yy.udf

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.MapWithStateDStream
import org.apache.spark.streaming.{Seconds, State, StateSpec, StreamingContext}

object MapWithStateLearn {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
        val ssc = new StreamingContext(conf, Seconds(5))
        val stream = ssc.socketTextStream("127.0.0.1",9999) //nc -lk发送数字
        ssc.checkpoint("C:\\yy\\coding_project\\yy\\data")
        ssc.sparkContext.setLogLevel("ERROR")

        val stateSpec = StateSpec.function(stateFunc _)

        // mapWithState 统计你输入数字的和
        val value: MapWithStateDStream[String, Long

了解本专栏