SparkSql创建DataFrame(Scala语言 )

最新推荐文章于 2024-05-16 19:50:37 发布

张俊杰zjj

最新推荐文章于 2024-05-16 19:50:37 发布

阅读量922

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： scala spark

本文链接：https://blog.csdn.net/qq_41489540/article/details/109897744

Spark 专栏收录该内容

33 篇文章

订阅专栏

本文介绍如何使用Apache Spark从JSON文件中创建DataFrame，并展示如何执行基本的数据查询操作。通过具体的代码实例，演示了如何配置SparkSession，读取本地JSON文件，并使用SQL查询方式展示数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备json数据

users.json


[{"name":"张三" ,"age":18} ,{"name":"李四" ,"age":15}]

注意,必须得是一行,不能是换行的.

Maven依赖

 <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>

    </dependencies>
    <build>
        <plugins>
            <!-- 打包插件, 否则 scala 类不会编译并打包进去 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.4.6</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

代码


import org.apache.spark.sql.SparkSession
object CreateDataFrame {
  def main(args: Array[String]): Unit = {

    val sparkSession = SparkSession.builder()
      .appName("CreateDataFrame")
      .master("local[2]")
      .getOrCreate()

    val dataFrame = sparkSession.read.json("E:\\ZJJ_SparkSQL\\demo01\\src\\main\\resources\\users.json")
    dataFrame.createOrReplaceTempView("user")
    dataFrame.cache()

    sparkSession.sql("select * from user").show()

    sparkSession.stop()


  }

}

结果

+---+----+
|age|name|
+---+----+
| 18|  张三|
| 15|  李四|
+---+----+