关于spark2.x后的SparkSession

最新推荐文章于 2025-06-26 11:55:24 发布

身体健康,万事如意

最新推荐文章于 2025-06-26 11:55:24 发布

阅读量3.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_30366667/article/details/79511880

大数据专栏收录该内容

60 篇文章

订阅专栏

Apache Spark 2.0引入的SparkSession提供了一个统一的接口来使用Spark的各种功能,简化了编程模型并允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。本文将介绍如何创建SparkSession以及它的主要功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Apache Spark2.0 引入了SparkSession，其为用户提供了一个统一的切入点来使用Spark的各项功能，并且允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。最重要的是，它减少了用户需要了解的一些概念，使得我们可以很容易地与Spark交互,在SparkSession中封装了SparkContext,SparkConf等,为了解决用户可能对SparkContext的混乱(不知道当时使用的哪一个Context),使用的时候就和SparkContext差不多;

val spark=SparkSession.builder().master("local").getOrCreate().config("key","value") //工厂创造

spark.read.textFile(Path:String),除了textFile,还有load,csv,json,text,format,jdbc等读取方法;封装了;很是方便的;

sparksession中部分源码如下:

@InterfaceStability.Stable
class Builder extends Logging {

  private[this] val options = new scala.collection.mutable.HashMap[String, String]

  private[this] var userSuppliedContext: Option[SparkContext] = None

  private[spark] def sparkContext(sparkContext: SparkContext): Builder = synchronized {
    userSuppliedContext = Option(sparkContext)
    this
  }

val sparkContext = userSuppliedContext.getOrElse {
  // set app name if not given
  val randomAppName = java.util.UUID.randomUUID().toString
  val sparkConf = new SparkConf()
  options.foreach { case (k, v) => sparkConf.set(k, v) }
  if (!sparkConf.contains("spark.app.name")) {
    sparkConf.setAppName(randomAppName)
  }
  val sc = SparkContext.getOrCreate(sparkConf)
  // maybe this is an existing SparkContext, update its SparkConf which maybe used
  // by SparkSession