The_Internals_of_Apache_spark_3.0.0

github_28583061

于 2020-07-28 00:33:29 发布

阅读量170

点赞数

CC 4.0 BY-SA版权

文章标签：分布式大数据 spark 机器学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/github_28583061/article/details/109295983

本文深入探讨了Apache Spark 3.0中Resilient Distributed Dataset (RDD)的概念，解析其作为Spark核心模块中数据集的主要抽象，强调了RDD的容错性、弹性和分布式特性。容错性确保在服务器故障或计算错误时能够重新计算；弹性通过依赖关系图实现数据分区的恢复；分布式特性使数据集能在集群中多个节点间分布。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

The Internals Of Apache Spark 3.0.0 笔记 --TODO

原文（https://books.japila.pl/apache-spark-internals/apache-spark-internals/index.html）

Resilient Distributed Dataset

弹性分布式数据集，spark core模块对于数据集的核心抽象
RDD 就是对于分布式环境中一组可以容错的、弹性计算的数据集合的描述：
- 容错：指当有一台服务器有问题、或者某个计算出错时，可以在其他服务器重新计算
- 弹性：通过RDD血缘图（依赖关系）可以重新计算一些丢失或者损坏的分区
- 分布式：数据集分布在集群中的很多服务器节点上。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。