spark学习-34-Spark的BroadcastManager广播管理器

九师兄

于 2017-11-21 14:10:53 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark 文章标签： spark broadcast 广播

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78592022

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

博客主要介绍了Spark中的BroadcastManager，它用于广播数据到各个Executor节点，以减少数据传输的开销。Broadcast变量类似于分布式环境下的ServletContext，且默认在任务运行期间持续存在。适用于小规模的共享配置文件、通用数据集和数据结构，不适用于大数据，以防止网络IO压力和单点问题。Broadcast变量为只读，确保数据一致性。Spark 2.0.x之后，主要使用TorrentBroadcastFactory，而弃用了HttpBroadcastFactory。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

1.Broadcast就是将数据从一个节点发送到其他的节点上。例如Driver上有一张表，而Executor中的每个并行执行的Task（100万个）都要查询这张表，那我们通过Broadcast的方式就只需要往每个Executor把这张表发送一次就行了。Executor中的每个运行的Task查询这张唯一的表，而不是每次执行的时候都从Driver获得这张表！

2.这就好像ServletContext的具体作用，只是Broadcast是分布式的共享数据。默认情况下，只要程序在运行Broadcast变量就会存在，因为Broadcast在底层是通过BlockManager管理的！但是你可以手动指定或者配置具体周期来销毁Broadcast变量！

3.Broadcast一般用于处理共享配置文件，通用的Dataset，常用的数据结构等等。但是不适合存放太大的数据在Broadcast中，Broadcast不会内存溢出，因为其数据的保存的StorageLevel是MEMORY_AND_DISK的方式。虽然如此，我们也不可以放入太大的数据在Broadcast中，因为网络IO和可能的单点压力会非常大！

4.广播Broadcast变量是只读变量，保持数据一致性。

5.spark2.0.x以前貌似有HttpBroadcast（HttpBroadcastFactory）和TorrentBroadcastFactory，但是spark2.0.x中貌似把HttpBroadcastFactory给排除在外了，看这个文件F

了解本专栏