pyspark on yarn 集群方式提交计算的驱动问题

最新推荐文章于 2024-11-06 10:29:18 发布

原创最新推荐文章于 2024-11-06 10:29:18 发布 · 376 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

1 篇文章

订阅专栏

本文详细解析了如何使用spark-submit命令提交PySpark作业到YARN集群，包括参数设置如--master、--deploy-mode、--num-executors、--executor-memory和--executor-cores。同时强调了在配置文件或提交时指定python解释器版本和添加mysql驱动路径的重要性，以避免运行时找不到驱动的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark-submit \
--master yarn \
--verbose \
--deploy-mode cluster \
--num-executors 1 \
--executor-memory 1G \
--executor-cores 1 \
test.py  -table 'ods.tabe' -fields 'dt' -prov hl -dt 20201122

在spark-default.conf
配置

spark.pyspark.python python3
spark.driver.extraClassPath /opt/ops/spark/jars/mysql-connector-java-5.1.42-bin.jar
spark.driver.extraLibraryPath /opt/ops/spark/jars/mysql-connector-java-5.1.42-bin.jar

或者在提交的时候配置

--conf spark.pyspark.python=python3 \
--driver-class-path /opt/ops/spark/jars/mysql-connector-java-5.1.42-bin.jar \
--driver-library-path /opt/ops/spark/jars/mysql-connector-java-5.1.42-bin.jar \

否则会报驱动找不到问题