(超详细)Spark on Yarn安装配置

本文详述了如何在已安装Hadoop的基础上,以root用户身份进行Spark on Yarn的安装配置,包括Spark的上传解压、环境变量设置、spark-env.sh文件修改,以及通过运行计算Pi的jar包来验证安装。特别提示,若遇到内存错误,需调整yarn-site.xml中的虚拟内存配置,确保其为物理内存的4倍。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1,前期准备

使用 root 用户完成相关配置,已安装配置Hadoop 及前置环境

2,spark上传解压到master服务器

3,修改环境变量

 /etc/profile末尾添加下面代码

export SPARK_HOME=.../spark-3.1.1-bin-hadoop3.2(注意:需要替换成你自己得路径)
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4,环境变量生效

source /etc/profile

5,运行spark-submit --version

显示如下

41f9d15d13d14772a9e60e57e2586a26.png

6,修改saprk-env.sh文件

  在.../spark-3.1.1-bin-hadoop3.2/conf目录下,将下面两行添加至spark-env.sh文件末尾:

HADOOP_CONF_DIR=.../hadoop-3.1.3/etc/hadoop
YARN_CONF_DIR=.../hadoop-3.1.3/etc/hadoop

7,运行计算Pi的jar包

 命令如

<think>好的,我需要帮用户查找关于Spark on Yarn安装配置教程,特别是黑马程序员的资料。首先,用户提供的引用中,引用[^1]提到黑马程序员的Spark教程,可能包含相关内容。但问题在于用户提供的链接是否直接对应到Spark on Yarn配置部分。 我需要先检查引用内容。引用[^1]是Spark教程,但描述中只提到4天快速入门,可能涵盖基础内容,但不确定是否包含Spark on Yarn的具体配置步骤。用户可能需要更详细的步骤,比如环境变量设置、配置文件修改等。 接下来,引用[^2]是Hadoop的下载地址,而Spark on Yarn需要Hadoop环境,所以可能需要指导用户安装Hadoop 3.3.0,并配置Yarn。引用[^3]是下载工具,可能对用户下载所需软件有帮助,但不太相关于安装配置本身。 用户可能需要的步骤包括:1. 确保Hadoop(Yarn)已正确安装;2. 下载并解压Spark;3. 配置Spark的环境变量和配置文件(如spark-env.sh);4. 测试Spark on Yarn模式。 需要确认黑马程序员的教程中是否有这些步骤。由于引用的教程是基于Python的,可能涉及PySpark配置,需要注意相关细节。另外,可能需要引导用户参考官方文档作为补充,因为第三方教程可能步骤不全。 用户可能遇到的常见问题包括环境变量配置错误、Yarn资源管理配置不当,或者Spark与Hadoop版本不兼容。因此,在回答中应提醒注意版本匹配,例如Spark 3.2与Hadoop 3.3.0的兼容性。 最后,需要确保回答结构清晰,分步骤说明,并引用提供的参考资料,特别是黑马程序员的教程和Hadoop的下载链接。如果教程中没有详细步骤,建议用户查阅官方文档或提供额外资源链接。</think>以下是根据黑马程序员Spark教程整理的Spark on Yarn安装配置步骤: ### 一、环境准备 1. 已安装Hadoop 3.3.0集群(下载地址见引用) 2. 下载Spark 3.2版本(需与Hadoop版本匹配) 3. 确保YARN_RESOURCEMANAGER_USER环境变量已配置 ### 二、核心配置步骤 1. 解压Spark安装包并配置环境变量 ```bash export SPARK_HOME=/opt/spark-3.2.0-bin-hadoop3.2 export PATH=$PATH:$SPARK_HOME/bin ``` 2. 修改`spark-env.sh`配置文件 ```bash cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh echo "export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop" >> spark-env.sh echo "export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop" >> spark-env.sh ``` 3. 配置`spark-defaults.conf` ```properties spark.master yarn spark.eventLog.enabled true spark.eventLog.dir hdfs://namenode:8020/spark-logs ``` ### 三、验证部署 执行测试任务: ```bash spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.0.jar 10 ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奈奈聊成长

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值