leezsj的博客

Structured Streaming Structured Streaming 是 Spark Streaming 的进化版, 如果了解了 Spark 的各⽅⾯的进化过程, 有助于理 解 Structured Streaming 的使命和作⽤ \1. Spark 的 API 进化过程 \2. Spark 的序列化进化过程 \3. Spark Streaming 和 Structured Streaming Spark 编程模型的进化过程 ⽬标 Spark 的进化过程中, ⼀个⾮常重要的组

Spark Streaming 流式计算 流式计算拥有的特点： 数据是⽆界的(unbounded) 数据是动态的 计算速度是⾮常快的 计算不⽌⼀次 计算不能终⽌ 离线计算的特点 ： 数据是有界的(Bounded) 数据静态的 计算速度通常较慢 计算只执⾏⼀次 计算终会终⽌ 流式计算分为了实时计算和准实时计算 实时计算就是来⼀条记录(⼀个事件Event)启动⼀次计算；⽽准实时计算则是介于实时计算和离线计算之间的⼀个计算，所以每次处理的是⼀个微⼩的批次。 常⻅的离线和流式计算框架