Spark--------------------------sparkSQL知识点总结与hive类比

leson-xu

于 2019-08-08 20:51:59 发布

阅读量380

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark如何使用 sparkSQL hive

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_43740680/article/details/98884567

大数据专栏收录该内容

60 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了SparkSQL作为Spark框架的一个模块，其功能强大，可替代Hive提供SQL支持。SparkSQL从最初的schemaRDD演变为DataFrame和Dataset，支持SQL和DSL两种分析方式。文章还探讨了SparkSession的使用、RDD与DataFrame/Dataset的转换，以及SparkSQL与Hive的集成，并提供了性能优化和数据读写的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.spark模块

在这里插入图片描述
spark Core类比于MapReduce框架，对海量数据进行分析处理，分布式（并行计算）

核心：数据结构：
RDD（弹性分布式数据集）

a.转换函数 transformation 调用函数之后，将一个RDD转成另外一个RDD
.
b.Action函数触发一个Job的执行
（1）将分析结果返回给Driver count，first，take，collect
（2）将分析结果存储到外部存储器中
saveAsTextFile/saveAsnewAPIDataSet/foreach/foreachPartition
.
c.持久化函数persist
将RDD数据持久化到内存或者磁盘上

如何读取数据：
SparkContext
spark application 上下文的对象，读取数据以及调度job的执行
SparkSession

2.SparkSQL

了解本专栏

超级会员免费看

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。