Spark SQL 查询人口数量与平均年龄实验

最新推荐文章于 2025-08-19 01:33:02 发布

weixin_34054931

最新推荐文章于 2025-08-19 01:33:02 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据数据库数据结构与算法

原文链接：http://blog.51cto.com/6144912/1951895

本文通过一个案例展示了如何使用Spark SQL查询某地的人口数量和平均年龄。首先，创建数据文件，然后用Spark读取并转换为DATAFRAME，再执行SQL查询。总结中强调了理解数据结构和转换为DATAFRAME的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

案例：查询某地的人口数量与平均年龄；

分析:使用Spark查询人口的数量和平均年龄，首先我们使用Spark SQL 方式查询，将原始数据读入，将其转化为DATAFRAME，然后是SQL方式计算：

准备实验数据代码如下：

object demo {
  def main(args: Array[String]): Unit = {
    val write = new FileWriter("e://data.txt",false)
    val rand = new Random()
    for (i <- 1 to 1000){
      write.write(i + " " + rand.nextInt(100))
      write.write(System.getProperty("line.separator"))
    }
    write.flush()
    write.clo