Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

最新推荐文章于 2022-02-23 23:04:11 发布

迷路剑客

最新推荐文章于 2022-02-23 23:04:11 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 错误处理文章标签：异常 spark

本文链接：https://blog.csdn.net/baichoufei90/article/details/83026635

spark 同时被 2 个专栏收录

7 篇文章

订阅专栏

错误处理

7 篇文章

订阅专栏

本文详细解析了SparkStreaming提交任务到master时遇到的版本冲突错误，即scala.Predef$.ArrowAssoc方法未找到的问题。该问题源于本地打包的scala-library版本与Spark集群版本不一致。通过检查spark-shell启动日志中的版本信息，调整本地pom文件中的scala-library版本至2.10.5，重新打包并提交任务，成功解决了这一问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkStreaming提交任务到master时报错：

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

这个错误是因为打包版本中的scala-library版本号和spark集群用的scala-library版本不一致导致。

可以通过运行 $SPARK_HOME/bin/spark-shell 查看版本号：

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.3
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_77)

在spark-shell的启动日志中可以观察到服务器上使用的spark版本是1.6.3，scala-library版本是2.10.5。

在我们本地将pom里面的scala-library版本改正确，重新打包、提交，一切就OK了