14 | Spark SQL 的 DataFrame API 读取CSV 操作

小刘要努力。

于 2023-09-03 13:14:29 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据系列 hadoop Spark 系列文章标签： spark sql ajax

liurunsen

本文链接：https://blog.csdn.net/weixin_44510615/article/details/132648911

大数据系列 hadoop Spark 系列专栏收录该内容

37 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

sales.csv 内容

date,category,product,full_name,sales
2023-01-01,Electronics,Laptop,John Smith,1200.0
2023-01-02,Electronics,Smartphone,Jane Doe,800.0
2023-01-03,Books,Novel,Michael Johnson,15.0
2023-01-04,Electronics,Tablet,Emily Wilson,450.0
2023-01-05,Books,Textbook,James Brown,40.0

当使用 Spark SQL 的 DataFrame API 读取 CSV 文件时，你可以按照以下步骤进行操作。

package com.sparksql.operation;

import org.apache.spark.sql.*;

import org.apache.spark.sql.expressions.*;

import static org.apache.spark.sql.functions.*;


public class SparkDataFrame {

    public static void main(String[] args) {
        // 创建 SparkSession
        SparkSession spark = SparkSession.builder()
                .appName("SparkDataFrameTutorial")
                .master("local[*]")