Linux下运行带有Spark依赖的Python脚本

最新推荐文章于 2025-05-28 14:48:45 发布

ClaireQi

最新推荐文章于 2025-05-28 14:48:45 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark # Linux 文章标签： Spark

本文链接：https://blog.csdn.net/wangxiao7474/article/details/81205426

Spark 同时被 2 个专栏收录

6 篇文章

订阅专栏

Linux

5 篇文章

订阅专栏

本文介绍如何通过Spark的spark-submit脚本来运行Python应用程序。文章详细解释了spark-submit的作用及如何配置运行环境，并提供了一个简单的示例脚本用于演示如何创建Spark上下文并进行数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Python中，你可以把应用写成Python脚本，但是需要使用Spark自带的bin/spark-submit脚本来运行。spark-submit脚本会帮我们引入Python程序的Spark依赖。这个脚本为Spark的PythonAPI配置好了运行环境。

首先找到spark的安装目录，一般在Linux下，会将第三方软件安装到/opt目录下面。

然后运行下述指令：

/opt/spark/bin/spark-submit my_script.py

或者进入到spark的安装目录下面：

bin/spark-submit my_script.py

测试脚本：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)

lines = sc.parallelize(["pandas", "cat", "i like pandas"])
word = lines.filter(lambda s: "pandas" in s)
print(word.collect())