Spark Sql教程(3）———DataFrame执行Sql查询

最新推荐文章于 2025-02-19 22:40:34 发布
最新推荐文章于 2025-02-19 22:40:34 发布
阅读量3.9k 收藏 5
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37719047/article/details/89919351
本文是Spark SQL教程系列的第三部分，重点介绍如何使用DataFrame执行SQL查询。通过SparkSession，我们可以将DataFrame注册为临时表，然后执行SQL语句进行数据操作。这一篇会涵盖从注册表到查询的详细步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark sql教程
Spark Sql教程(1)————创建sparkSession
Spark Sql教程(2）———DataFrame基本操作
Spark Sql教程(3）———DataFrame执行Sql查询
Spark Sql教程(4）———全局临时表和局部临时表
Spark Sql教程(5）———dataset和dataframe
Spark Sql教程(6）———如何由RDD转化为DataFrame
Spark Sql教程(7）———Parquet文件
Spark Sql教程(8）———读取形式多样的文件类型

我们上一篇文章展示了利用dataframe自带的api进行操作，本文讲解利用sql进行查询。SparkSession提供了直接执行sql查询的接口，其步骤为注册临时表，然后进行sql查询


                

                
                
        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
Spark(29) -- SparkSQL底层如何执行及分布式SQL引擎

				
			

			

				

					erainm
				

				

					10-07
					
					439
					
				

			

		

		

			
				
1. RDD 和 SparkSQL 运行时的区别
2. Catalyst
3. 分布式SQL引擎

			
		

	



                

            
              



	

		

			

				
					
Spark SQL之RDD, DataFrame, DataSet详细使用

					
热门推荐

				
			

			

				

					congge_study的博客
				

				

					05-02
					
					2万+
					
				

			

		

		

			
				
Spark SQL之RDD, DataFrame, DataSet详细使用

			
		

	



              


  
              

                


	

		

			

				
					
[Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子

				
			

			

				

					weixin_33712881的博客
				

				

					10-07
					
					194
					
				

			

		

		

			
				
[Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子
$cat people.json

{"name":"Alice","pcode":"94304"}{"name":"Brayden","age":30,"pcode":"94304"}{"name

			
		

	





	

		

			

				
					
Spark SQL的使用

				
			

			

				

					fcx1234的博客
				

				

					11-21
					
					1870
					
				

			

		

		

			
				
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

			
		

	



		

			
		



	

		

			

				
					
spark数据查询语句select_sparksql语句

				
			

			

				

					weixin_39524425的博客
				

				

					12-21
					
					1680
					
				

			

		

		

			
				
(1)in 不支持子查询 eg. select * from src where key in(select key from test);支持查询个数 eg. select * from src where key in(1,2,3,4,5);in 40000个 耗时25.766秒in 80000个 耗时78.827(2).union all/union不支持顶层的union all eg. s...

			
		

	





	

		

			

				
					
2020-11-23

				
			

			

				

					m0_52618304的博客
				

				

					11-23
					
					298
					
				

			

		

		

			
				
求解:输入一批数值型数据，存入数组后，按顺序和逆序分别打印输出



			
		

	





	

		

			

				
					
摸鱼大数据——Spark SQL——DataFrame详解一

				
			

			

				

					weixin_65694308的博客
				

				

					07-07
					
					1385
					
				

			

		

		

			
				
DataFrame表示的是一个二维的表。二维表，必然存在行、列等表结构描述信息​表结构描述信息(元数据Schema): StructType对象字段: StructField对象，可以描述字段名称、字段数据类型、是否可以为空行: Row对象列: Column对象，包含字段名称和字段值​在一个StructType对象下，由多个StructField组成，构建成一个完整的元数据信息。

			
		

	





	

		

			

				
					
Spark SQL的基本架构与DataFrame概述

				
			

			

				

					日常分享数据分析开发、编程语言内容
				

				

					03-14
					
					1026
					
				

			

		

		

			
				
Spark SQL的基本架构与DataFrame概述

			
		

	





	

		

			

				
					
Spark SQL DataFrame 算子

				
			

			

				

					2401_84052244的博客
				

				

					07-31
					
					3381
					
				

			

		

		

			
				
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。

			
		

	





	

		

			

				
					
spark SQL

				
			

			

				

					Jon Shen的博客
				

				

					12-28
					
					2465
					
				

			

		

		

			
				
1. Spark下创建Dataframe

一般是通过SparkSession 导入数据来创建的。dataframe可以通过访问文件系统或创建RDD来获得。

创建RDD来生成dataframe数据：

调用spark.read.json()方法可以实现RDD到dataframe的转换，而且是直接执行的，但是创建临时表createOrReplaceTempView() 操作只有执行到dataframe动作时，创建临时表才会执行。

2. DataFrame查询和字段类型设置

spark 中的datafra

			
		

	





	

		

			

				
					
sparkSQL实战详解

				
			

			

				

					weixin_33896726的博客
				

				

					09-11
					
					768
					
				

			

		

		

			
				
摘要 如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑问可以看我前一个博客：http://9269309.blog.51ct...

			
		

	





	

		

			

				
					
SparkSQL

				
			

			

				

					lydms的博客
				

				

					11-03
					
					1万+
					
				

			

		

		

			
				
一、概述
二、Spark SQL编程
三、SparkSQL数据加载和保存

			
		

	





	

		

			

				
					
【大数据分析】Spark SQL查询：DataFrame

				
			

			

				

					sword_csdn的博客
				

				

					04-11
					
					1811
					
				

			

		

		

			
				
这篇文章的所有数据可以通过以下链接获取

链接：https://pan.baidu.com/s/1-Vlo3S8tjMyM6E0kwGALwQ
提取码：nlri

DataFrame可处理结构化数据（按行和列组织的数据，其中每列仅包含特定类型的值）。原本SQL是处理这类数据最常用的方法，而Spark的SparkSQL组件集成了SQL的用法。

1、DataFrame

RDD代表了一种低级，直接......

			
		

	





	

		

			

				
					
用spark进行数据查询常用语法总结

				
			

			

				

					weixin_42504788的博客
				

				

					03-06
					
					1643
					
				

			

		

		

			
				
用spark进行数据查询常用语法总结

			
		

	





	

		

			

				
					
spark Sql选择列和选择行的函数

				
			

			

				

					只想买把蝴蝶knife
				

				

					03-24
					
					2621
					
				

			

		

		

			
				
在spark sql中，行和列是非常重要的，但是sql中的一些函数是非常容易混淆的，比如filter、select、where函数，特此写一篇博客来记录这些区别。

select 函数是从dataframe中取得列，有以下几种格式:

select(cols : Column*) : DataFrame
select(col : String, cols : String*) : DataFrame
select[U1](c1 : TypedColumn[T, U1]) : Dataset[U1]
sele

			
		

	





	

		

			

				
					
在scala中使用spark sql解决特定需求（2）

				
			

			

				

					三劫散仙
				

				

					07-21
					
					312
					
				

			

		

		

			
				

接着上篇文章，本篇来看下如何在scala中完成使用spark sql将不同日期的数据导入不同的es索引里面。


首下看下用到的依赖包有哪些：

[code="java"]

elasticsearch-spark-20_2.11   5.3.2
elasticsearch                 2.3.4
spark-sql_2.11               ...

			
		

	





	

		

			

				
					
SparkSQL DataFrame常用操作（一）

				
			

			

				

					Running_Tiger的博客
				

				

					03-10
					
					6805
					
				

			

		

		

			
				
DSL风格语法DataFrame提供了一个领域特定语言(DSL)以方便操作结构化数据。下面是一些使用示例1、查看DataFrame中的内容，通过调用show方法personDF.show2、查看DataFrame部分列中的内容查看name字段的数据personDF.select(personDF.col("name")).show查看name字段的另一种写法personDF.select("name

			
		

	





	

		

			

				
					
SparkSQL数据读取 简单操作使用 DataFrames相关操作

				
			

			

				

					sixgold的博客
				

				

					04-16
					
					746
					
				

			

		

		

			
				
目录一 认识SparkSQL1.1 什么是SparkSQL1.2 SparkSQL的作用1.3 运行原理1.4 特点1.5 SparkSession1.6 DataFrames二  RDD转换为Dataframe方式一：通过 case class 创建 DataFrames（反射）方式二：通过 structType 创建 DataFrames（编程接口）方式三：通过 json 文件创建 DataF...

			
		

	





	

		

			

				
					
如何使用Spark SQL进行复杂的数据查询和分析

					
最新发布

				
			

			

				

					2402_85246552的博客
				

				

					02-19
					
					1966
					
				

			

		

		

			
				
使用Spark SQL进行复杂的数据查询和分析是一个涉及多个步骤和技术的过程。

			
		

	





	

		

			

				
					
spark sql——3. dataframe及常用操作

				
			

			

				

					03-16
				

			

		

		

			
				
DataFrame是Spark SQL中最常用的数据结构，它是一个分布式的数据集合，可以看作是由一组有序的列组成的表格。DataFrame支持多种数据源，包括Hive表、文本文件、JSON、Parquet等。DataFrame的常用操作包括选择、过滤、聚合、排序等，可以使用Spark SQL提供的API或者SQL语句进行操作。其中，选择操作可以选择DataFrame中的一部分列，过滤操作可以根据条件过滤出符合条件的行，聚合操作可以对数据进行统计分析，排序操作可以按照指定的列进行排序。除此之外，DataFrame还支持join、union等操作，可以将多个DataFrame进行合并。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值