<转>Spark执行模式解析

最新推荐文章于 2025-02-19 10:06:48 发布
最新推荐文章于 2025-02-19 10:06:48 发布
阅读量379 收藏
点赞数
分类专栏： Spark
本文介绍了Apache Spark的不同执行模式，包括local、Standalone client/cluster、YARN client/cluster等，并详细解释了每种模式下的应用执行流程及提交脚本示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        摘要：本文主要讲了Spark几种不同的执行模式以及其原理

一、执行模式

提交脚本常见的语法：

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. ./bin/spark-submit \  
  2. --class <main-class>  
  3. --master <master-url> \  
  4. --deploy-mode <deploy-mode> \  
  5. --conf <key>=<value> \  
  6. ... # other options  
  7. <application-jar> \  
  8. [application-arguments]  

脚本说明：

（1）—-class： 主类，即main函数所有的类
（2）—- master : master的URL，见下面的详细说明。
（3）—-deploy-mode:client和cluster2种模式
（4）—-conf:指定key=value形式的配置

下面对各种模式做一个说明：

1、local

    本地跑程序，一般用来测试。可以指定线程数

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. # Run application locally on 8 cores  
  2. ./bin/spark-submit \  
  3. --class org.apache.spark.examples.SparkPi \  
  4. --master local[8] \  
  5. /path/to/examples.jar \  
  6. 100  

2、Standalone client

该方式应用执行流程：

（1）用户启动客户端，之后客户端运行用户程序，启动Driver进程。在Driver中启动或实例化DAGScheduler等组件。 客户端的Driver向Master注册。
（2）Worker向Master注册，Master命令Worker启动Exeuctor。Worker通过创建ExecutorRunner线程，在ExecutorRunner线程内部启动ExecutorBackend进程。
（3）ExecutorBackend启动后，向客户端Driver进程内的SchedulerBackend注册，这样Driver进程就能找到计算资源。Driver的DAGScheduler解析应用中的RDD DAG并生成相应的Stage，每个Stage包含的TaskSet通过TaskScheduler分配给Executor。 在Executor内部启动线程池并行化执行Task。

示例脚本：

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. # Run on a Spark Standalone cluster in client deploy mode  
  2. ./bin/spark-submit \  
  3. --class org.apache.spark.examples.SparkPi \  
  4. --master spark://207.184.161.138:7077 \  
  5. --executor-memory 20G \  
  6. --total-executor-cores 100 \  
  7. /path/to/examples.jar \  
  8. 1000  

3、standalone cluster

该方式应用执行流程：

（1）用户启动客户端，客户端提交应用程序给Master。
（2）Master调度应用，针对每个应用分发给指定的一个Worker启动Driver，即Scheduler-Backend。 Worker接收到Master命令后创建DriverRunner线程，在DriverRunner线程内创建SchedulerBackend进程。Driver充当整个作业的主控进程。Master会指定其他Worker启动Exeuctor，即ExecutorBackend进程，提供计算资源。流程和上面很相似，（3）Worker创建ExecutorRunner线程，ExecutorRunner会启动ExecutorBackend进程。
（4）ExecutorBackend启动后，向Driver的SchedulerBackend注册，这样Driver获取了计算资源就可以调度和将任务分发到计算节点执行。SchedulerBackend进程中包含DAGScheduler，它会根据RDD的DAG切分Stage，生成TaskSet，并调度和分发Task到Executor。对于每个Stage的TaskSet，都会被存放到TaskScheduler中。TaskScheduler将任务分发到Executor，执行多线程并行任务。


示例脚本：

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. # Run on a Spark Standalone cluster in cluster deploy mode with supervise  
  2. ./bin/spark-submit \  
  3. --class org.apache.spark.examples.SparkPi \  
  4. --master spark://207.184.161.138:7077 \  
  5. --deploy-mode cluster  
  6. --supervise  
  7. --executor-memory 20G \  
  8. --total-executor-cores 100 \  
  9. /path/to/examples.jar \  
  10. 1000  

4、yarn-client

         在yarn-client模式下，Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor Container进行交互，并将最后的结果汇总。结束掉终端，相当于kill掉这个spark应用。一般来说，如果运行的结果仅仅返回到terminal上时需要配置这个。

客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和executor，另外ApplicationMaster和executor都 是装载在container里运行，container默认的内存是1G，ApplicationMaster分配的内存是driver- memory，executor分配的内存是executor-memory。同时，因为Driver在客户端，所以程序的运行结果可以在客户端显 示，Driver以进程名为SparkSubmit的形式存在。

Yarn-client模式下作业执行流程：
1. 客户端生成作业信息提交给ResourceManager(RM)
2. RM在本地NodeManager启动container并将Application Master(AM)分配给该NodeManager(NM)
3. NM接收到RM的分配，启动Application Master并初始化作业，此时这个NM就称为Driver
4. Application向RM申请资源，分配资源同时通知其他NodeManager启动相应的Executor
5. Executor向本地启动的Application Master注册汇报并完成相应的任务

示例脚本：

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. # Run on a YARN client  
  2. export HADOOP_CONF_DIR=XXX  
  3. ./bin/spark-submit \  
  4. --class org.apache.spark.examples.SparkPi \  
  5. --master yarn-client \  
  6. --executor-memory 20G \  
  7. --num-executors 50 \  
  8. /path/to/examples.jar \  
  9. 1000  

5、Yarn-cluster

Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的worker节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用。因为Driver程序在YARN中运行，所以事先不用启动Spark Master/Client，应用的运行结果不能在客户端显示（可以在history server中查看），所以最好将结果保存在HDFS而非stdout输出，客户端的终端显示的是作为YARN的job的简单运行状况


Yarn-cluster模式下作业执行流程：
1. 客户端生成作业信息提交给ResourceManager(RM)
2. RM在某一个NodeManager(由Yarn决定)启动container并将Application Master(AM)分配给该NodeManager(NM)
3. NM接收到RM的分配，启动Application Master并初始化作业，此时这个NM就称为Driver
4. Application向RM申请资源，分配资源同时通知其他NodeManager启动相应的Executor
5. Executor向NM上的Application Master注册汇报并完成相应的任务

示例脚本：

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. # Run on a YARN cluster  
  2. export HADOOP_CONF_DIR=XXX  
  3. ./bin/spark-submit \  
  4. --class org.apache.spark.examples.SparkPi \  
  5. --master yarn-cluster \   
  6. --executor-memory 20G \  
  7. --num-executors 50 \  
  8. /path/to/examples.jar \  
  9. 1000  

二、执行注意事项

1、关于jar包

hadoop和spark的配置会被自动加载到SparkContext,因此，提交application时只需要提交用户的代码以及其它依赖包，这有2种做法：

（1）将用户代码打包成jar，然后在提交application时使用—-jar来添加依赖jar包（推荐使用这种方法）
（2）将用户代码与依赖一起打包成一个大包 assembly jar （打一个jar包，有可能整个jar打出来上百M，打包和发布过程慢）

2、调试模式

Spark  Standlong模式：

只支持FIFO

Spark On Mesos模式：有两种调度模式

1) 粗粒度模式（Coarse-grained Mode）
2) 细粒度模式（Fine-grained Mode）
Spark On YARN模式：

目前仅支持粗粒度模式（Coarse-grained Mode）

3、读取配置优先级

在代码中的SparkConf中的配置参数具有最高优先级，其次是传送spark-submit脚本的参数，最后是配置文件(conf/spark-defaults.conf)中的参数。
如果不清楚配置参数从何而来，可以使用spark-submit的—verbose选项来打印出细粒度的调度信息。


参考文章：

https://spark.apache.org/docs/latest/submitting-applications.html

http://www.cnblogs.com/lujinhong2/p/4666748.html

http://www.jianshu.com/p/20d5ae9631da

http://www.cnblogs.com/MOBIN/p/5857314.html


Spark 执行过程以及相应概念解释
节至
02-24 2767
相关概念 Client：客户端进程，负责提交作业到Master。 Master：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver和Executor。 Worker：Standalone模式中slave节点上的守护进程，负责管理本节点的资源，定期向 Master汇报心跳，接收Master的命令，启动Drive
Spark执行模式解析
Evankaka的专栏
03-07 3279
摘要：本文主要讲了Spark几种不同的执行模式以及其原理
Spark运行模式详解
weixin_43553142的博客
12-06 560
二、Spark运行模式 2.1 local模式 Local 模式就是指的只在一台计算机上来运行 Spark.通常用于测试的目的来使用 Local 模式, 实际的生产环境中不会使用 Local 模式. 2.2 Spark 核心概念介绍 2.2.1 Master Spark 特有资源调度系统的 Leader。掌管着整个集群的资源信息，类似于 Yarn 框架中的 ResourceManager，主要功能： 监听 Worker，看 Worker 是否正常工作； Master 对 Worker、Applicatio
Spark概述
weixin_62982569的博客
06-15 691
​ 可以看到，在数据计算层，作为Hadoop核心组成的MapReduce可以结合Hive通过类SQL的方式进行数据的离线计算（当然也可以编写独立的MapReduce应用程序进行计算）；而Spark既可以做离线计算（Spark SQL），又可以做实时计算（Spark Streaming），它们底层都使用的是Spark的核心（Spark Core）。
Spark基础【五种运行模式】
weixin_43923463的博客
08-05 4296
这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。在自己学习时，每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程，并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度，Spark非常暖心地提供了可以在windows系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习Spark的基本使用。所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的环境称之为开发环境，不太一样。..
JAVA spark创建DataFrame的方法
09-07
Dataset<Row> df = spark.createDataFrame(rdd, StructType.fromDDL("title string, qty long")); ``` 创建DataFrame后，我们可以进行更复杂的SQL查询和分析，或者将结果保存到文件。在上述示例中，使用`write()....
Spark执行模式详解：local, Standalone client模式
Spark执行模式解析 Spark作为一个分布式计算框架，提供了多种执行模式，以便在不同环境和需求下运行应用程序。本文将详细解析Spark的执行模式，包括`local`、`Standalone client`以及其他的集群模式。理解这些模式...
Spark执行模式详解：client与cluster模式对比
Spark执行模式解析 Spark执行模式是决定Spark应用程序如何在分布式环境中运行的关键因素。它主要分为两种基本模式：client模式和cluster模式，以及一种特殊的local模式，适用于本地开发和测试。 1. local local...
spark程序执行过程
wuxizhi777的专栏
05-09 1625
这个博客写的比较好： https://blog.csdn.net/liuxiangke0210/article/details/79687240 https://www.jianshu.com/p/b9ec3c2ff8dd cluster ...
dubbo服务调用
10-29
dubbo实现服务调用、超时、重试、服务降级、服务熔断的功能。
Spark任务的任务执行流程
qq_41316200的博客
02-28 2906
（1）将我们编写的程序打成jar包 （2）调用spark-submit脚本提交任务到机场上运行 （3）运行sparkSubmit的main方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用main方法，开始执行我们的代码（注意，我们的spark中的driver就运行在sparkSubmit进程中）。 （4）当代码运行到创建SparkContext对象时，那就开始初始化SparkContext对象了 （5）在初始化SparkContext对象的时候，会创建两个特别重要的对象，分别是
大数据之Spark:Spark 底层执行原理
weixin_43597208的博客
05-29 366
目录1、Spark 运行流程1. 从代码角度看 DAG 图的构建2. 将 DAG 划分为 Stage 核心算法3. 将 DAG 划分为 Stage 剖析4. 提交 Stages6. 获取任务执行结果7. 任务调度总体诠释2、Spark 运行架构特点1. Executor 进程专属2. 支持多种资源管理器Job 提交就近原则4. 移动程序而非移动数据的原则执行 1、Spark 运行流程 具体运行流程如下： 1、SparkContext 向资源管理器注册并向资源管理器申请运行 Executor 2、资源管理器
Spark底层原理详细解析(深度好文，建议收藏)
yuan_more的博客
01-29 1802
Spark简介 Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。 Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执行原理。 Spark运行流程 具体运行流程如下： SparkContext 向资源管理器注册并向资源管理器申请运行Executo
spark概念、作业提交和执行过程
qq_45450889的博客
06-21 754
Spark是一个基于内存的开源计算框架，用于分布式处理大规模数据。它可以大幅提升数据处理的速度和效率。Spark支持多种编程语言（如Java、Python和Scala），并且可以与Hadoop等大数据平台配合使用。Spark不仅可以处理批处理任务，还支持流处理、SQL查询、机器学习等多种任务类型。Spark具有易于使用的API、高性能和可靠性等特点。
【Spark精讲】Spark任务运行流程
话数Science
12-12 4446
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
大数据之spark udf函数使用详解
weixin_42396197的博客
02-07 2738
今天我们来讲讲spark中的udf函数，我们经常会碰到某些需求需要我们对数据中某个字段的数据做自定义处理，UDF：User Defined Function，下面我用实际代码举两个例子： 两种方法： 1 dataframe中使用 # 声明自定义方法 def json_decode(string): decode_json = json.loads(string) if bool(decode_json): return decode_json.get('channel
Spark-部署模式详解（Deploy modes in Apache Spark）
喻师傅的学习笔记
05-20 1718
Spark部署模式
Spark SQL 使用及进阶详解
weixin_44821805的博客
02-19 2589
Spark SQL 是 Apache Spark 中的一个模块，它提供了一种统一的方式来处理结构化和半结构化数据。Spark SQL 允许用户使用 SQL 语句或者编程接口（如 Scala、Java、Python 和 R）来查询数据，同时支持多种数据源，包括 Hive 表、JSON 文件、Parquet 文件等。它将 SQL 查询与 Spark 的分布式计算能力相结合，能够高效地处理大规模数据。可以创建自定义函数来满足特定的业务需求。python# Python 示例scala// Scala 示例。
默认端口9083是什么服务，和spark有关，spark的hive-site.xml文件里面有<property><name>hive.metastore.uris</name><vlue>thrift://node1:9083</vlue></property>
最新发布
02-27
<think>好的，我现在需要回答用户关于默认端口9083是什么服务的问题，特别是和Spark相关的情况。用户提到在Spark的hive-site.xml文件中有一个配置项指向thrift://node1:9083。首先，我需要确认这个端口对应的服务是什么。 首先，我记得Hive Metastore通常使用Thrift服务来提供元数据访问。Hive Metastore默认的Thrift端口是9083，这可能是用户提到的端口。接下来，需要确认Spark如何与Hive Metastore交互。当Spark需要访问Hive的元数据时，比如在使用Spark SQL查询Hive表时，会通过hive-site.xml配置文件中的hive.metastore.uris属性连接到Hive Metastore服务。这个属性指定了Metastore服务的位置，这里用的是thrift协议，节点是node1，端口9083，所以应该就是Hive Metastore服务在node1节点上监听9083端口。 另外，可能需要解释一下Hive Metastore的作用，即存储表结构、分区信息等元数据，使得Spark或其他计算引擎可以访问这些元数据。同时，用户可能想知道如何验证这个服务是否正常运行，比如检查端口监听状态或者查看服务日志。还需要注意配置的正确性，比如主机名node1是否正确解析，防火墙是否开放9083端口等潜在问题。 最后，确保回答结构清晰，分点说明，使用用户提到的配置示例，并保持语言口语化，避免技术术语堆砌，让用户容易理解。同时，按照系统指令使用中文，正确使用LaTeX格式，虽然在这个问题中可能用不上数学公式，但如果有变量或代码部分，需要正确应用格式。</think>在Spark的Hive集成配置中，**端口9083**通常对应的是 **Hive Metastore服务的默认Thrift端口**。以下是关键信息分步说明： --- ### 1. **服务归属** - **Hive Metastore**：这是Hive的核心元数据管理服务，负责存储表结构、数据库信息、分区信息、文件路径等元数据。 - **通信协议**：通过**Thrift RPC协议**（跨语言服务通信框架）对外提供服务，默认端口为**9083**。 --- ### 2. **Spark与Hive Metastore的关系** Spark本身不管理元数据，当需要访问Hive表时，需通过以下配置连接到Hive Metastore： ```xml <!-- hive-site.xml配置示例 --> <property> <name>hive.metastore.uris</name> <value>thrift://node1:9083</value> </property> ``` - **作用**：告知Spark从`node1:9083`获取Hive元数据。 - **典型场景**：在Spark SQL中执行`SHOW DATABASES`或`SELECT * FROM hive_table`时，Spark会通过此端口查询Hive Metastore获取表信息。 --- ### 3. **验证服务状态** #### 方法1：检查端口监听 在服务器`node1`上执行： ```bash netstat -tuln | grep 9083 ``` 若输出包含`LISTEN`状态，则服务正常运行： ``` tcp6 0 0 :::9083 :::* LISTEN ``` #### 方法2：查看Hive Metastore日志 日志路径通常为`/var/log/hive/hive-metastore.log`，检查是否有启动成功记录： ``` INFO [main] metastore.HiveMetaStore: Started MetaStore Server on port 9083 ``` --- ### 4. **常见问题排查** - **连接失败**：检查`node1`主机名/IP是否正确，防火墙是否开放9083端口。 - **版本兼容性**：确保Spark与Hive Metastore的版本兼容（例如Spark 3.x通常需Hive 2.3+）。 - **多实例配置**：高可用场景下可能配置多个Metastore地址： ```xml <value>thrift://node1:9083,thrift://node2:9083</value> ``` --- ### 5. **扩展知识** - **元数据存储后端**：Hive Metastore的元数据实际存储在关系型数据库（如MySQL、PostgreSQL）中， Metastore服务仅提供访问接口。 - **Spark独立元数据库**：若不依赖Hive，Spark也可使用内置的Derby数据库，但仅限于单机模式。 --- 总结：端口9083是**Hive Metastore的Thrift服务端口**，Spark通过`hive.metastore.uris`配置与其通信，从而实现Hive元数据查询功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值