Spark在StandAlone模式下提交任务，spark.rpc.message.maxSize太小而出错

最新推荐文章于 2023-02-22 16:05:02 发布

weixin_30828379

最新推荐文章于 2023-02-22 16:05:02 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/liujStudy/p/7581603.html

本文介绍了Spark中因数据传输过大导致的任务失败问题及其解决方法。通过调整spark.rpc.message.maxSize参数，可以有效避免任务因传输数据超出限制而终止。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.错误信息
org.apache.spark.SparkException: Job aborted due to stage failure:Serialized task 32:5 was 1728746673 bytes,
    which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes).
    Consider increasing spark.rpc.message.maxSize or using broadcast variables for large values.at org.apache.spark.scheduler.DAGScheduler……
2.错误原因
　　Spark节点间传输的数据过大，超过系统默认的128M，因此需要提高spark.rpc.message.maxSize的大小或者选择用broadcast广播数据。
然而在某些情况下，广播数据并不能契合我们的需求，这时我们可以在提交任务时对spark.rpc.message.maxSize进行配置，调高maxSize即可。
3.具体解决方案

./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf spark.rpc.message.maxSize=256
  ... # other options
  <application-jar> \
  [application-arguments]
红色区域即可根据需求更改spark.rpc.message.maxSize的大小，举例改为256M，实测有效。