孤独的博客

带状态的算子：UpdateStateByKey 实战：计算到目前为止累积出现的单词个数写入到MySQL中 基于window的统计 实战：黑名单过滤 实战：Spark Streaming整合Spark SQL实战 updateStateByKey算子 需求：统计到目前为止累计出现单词的个数（需要保持以前的状态） import org.apache.spark.SparkConf import o...

Spark Streaming处理socket数据 Spark Streaming处理HDFS文件数据 Spark Streaming处理socket数据 代码 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} /** * Spark Stre...

核心概念 Transformations Output Operatioins 核心概念 StreamingContext To initialize a Spark Streaming program, a StreamingContext object has to be created which is the main entry point of all Spark Strea...

概述 应用场景 集成Spark生态系统的使用 发展史 从词频统计功能入手 工作原理 概述 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams. ...

接下来是flume的各个配置文件 avro-memory-kafka avro-memory-kafka.sources = avro-source avro-memory-kafka.sinks = kafka-sink avro-memory-kafka.channels = memory-channel avro-memory-kafka.sources.avro-source....

Kafka架构 producer：生产者，生产馒头（厨师） consumer：消费者，就是吃馒头的（顾客） broker：篮子 topic：主题,给馒头带一个标签，topic的馒头是给一号顾客吃的，topicb的馒头是给二号顾客吃的 Kafka is run as a cluster on one or more servers that can span multiple datace...