runtime过程中，常见jar问题解决 （Intellij 或 maven）

source download

Intellij IDEA 有时候不下载不了 code，使用如下命令，在“terminal”下运行

mvn dependency:resolve -Dclassifier=sources

io.netty

java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.<init>

此类问题报错，主要是io.netty 多个jar 冲突导致。、

使用以下命令查看同一个jar 有哪些版本

mvn dependency:tree

对一些不愿意引入的依赖加上 exclusion

<exclusions>
                <exclusion>
                    <groupId>io.netty</groupId>
                    <artifactId>netty-common</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>io.netty</groupId>
                    <artifactId>netty-buffer</artifactId>
                </exclusion>
            </exclusions>

需要注意的是 netty-all 不能顶替所有其他的netty的依赖，比如 netty-common

<exclusions>
            	 <exclusion>
                    <groupId>io.netty</groupId>
		    <artifactId>netty-all</artifactId>
            	 </exclusion>
             </exclusions>  

java.lang.NoSuchMethodError

java.lang.NoSuchMethodError通常是由于方法在运行时无法找到而引发的错误。可能的原因包括：

版本不匹配：方法可能在编译时存在，但在运行时的类路径中找不到匹配的版本。这可能是因为编译时使用了一个版本的库，而运行时使用了另一个版本的库。

依赖冲突：项目中可能存在多个依赖项，这些依赖项可能包含不同版本的相同类。当存在这种情况时，编译器可能会选择其中一个版本，而运行时却可能加载另一个版本，导致找不到方法。

比如：

2024-05-10 11:47:55,507 [ERROR] [Executor task launch worker for task 0.0 in stage 0.0 (TID 0)] TaskResources: Task 0 failed by error: 
java.lang.NoSuchMethodError: org.apache.spark.sql.execution.datasources.parquet.ParquetToSparkSchemaConverter.<init>(ZZZ)V
        at org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$.$anonfun$mergeSchemasInParallel$1(ParquetFileFormat.scala:565)
        at org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$.$anonfun$mergeSchemasInParallel$1$adapted(ParquetFileFormat.scala:563)
        at org.apache.spark.sql.execution.datasources.SchemaMergeUtils$.$anonfun$mergeSchemasInParallel$2(SchemaMergeUtils.scala:76)

在 Scala 中，.init(ZZZ)V 也是一个方法的描述符，类似于 Java 中的构造函数描述符。让我们来逐步解释这个描述符：

.：表示该方法是类的构造函数，因为构造函数在 Scala 中同样是通过类名调用的。
<init>：这同样是 Scala 中构造函数的特殊名称。与 Java 类似，Scala 也将构造函数编码为 <init>。
(ZZZ)V：这是构造函数的描述符，指定了构造函数的参数类型和返回类型。
(ZZZ)：表示构造函数接受三个参数，均为布尔类型（Z 表示布尔类型，Z 后面的 Z 表示第二个布尔参数，依此类推）。
V：表示构造函数的返回类型为 void，即构造函数不返回任何值。
因此，.<init>(ZZZ)V 可以理解为一个接受三个布尔型参数的构造函数，它的类名由前面的调用者（.）确定。这个描述符在堆栈跟踪中通常用来标识正在调用的构造函数。在 Scala 中，构造函数的描述符与 Java 中的略有不同，但基本思想是相同的。

classnotfound 问题

Caused by: java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.util.LookupCache

需要引入如下的依赖

<dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.13.4.1</version>
            <scope>compile</scope>
        </dependency>

类加载问题

maven。scope元素主要用来控制依赖的使用范围，指定当前包的依赖范围和依赖的传递性，也就是哪些依赖在哪些classpath中可用。常见的可选值有：compile, provided, runtime, test, system等。

compile:默认值。compile表示对应依赖会参与当前项目的编译、测试、运行等，是一个比较强的依赖。打包时通常会包含该依赖，部署时会打包到lib目录下。比如：spring-core这些核心的jar包。

provided:provided适合在编译和测试的环境，和compile功能相似，但provide仅在编译和测试阶段生效，provide不会被打包，也不具有传递性。比如：上面讲到的spring-boot-devtools、servlet-api等，前者是因为不需要在生产中热部署，后者是因为容器已经提供，不需要重复引入。

runtime:仅仅适用于运行和测试环节，在编译环境下不会被使用。比如编译时只需要JDBC API的jar，而只有运行时才需要JDBC驱动实现。

test:scope为test表示依赖项目仅参与测试环节，在编译、运行、打包时不会使用。最常见的使用就是单元测试类了。

system:system范围依赖与provided类似，不过依赖项不会从maven仓库获取，而需要从本地文件系统提供。使用时，一定要配合systemPath属性。不推荐使用，尽量从Maven库中引用依赖。

import: import scope只能用在dependencyManagement里面。表示从其它的pom中导入dependency的配置。

provided 是不会编译进 jar， fat jar 也不会

$ ll .//target/SparkSQLOptimization-1.0-SNAPSHOT-jar-with-dependencies.jar
-rw-r--r--  1 user  staff  21259 Dec 25 15:46 .//target/SparkSQLOptimization-1.0-SNAPSHOT-jar-with-dependencies.jar
$ ll .//target/SparkSQLOptimization-1.0-SNAPSHOT.jar
-rw-r--r--  1 user  staff  21233 Dec 25 15:46 .//target/SparkSQLOptimization-1.0-SNAPSHOT.jar

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
    at org.apache.spark.sql.execution.datasources.v2.odps.SparkHiveExample$.main(SparkHiveExample.scala:42)
    at org.apache.spark.sql.execution.datasources.v2.odps.SparkHiveExample.main(SparkHiveExample.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
    at java.net.URLClassLoader.findClass(URLClassLoader.java:387)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    ... 2 more

如果以上不生效，
那就去掉依赖中的

<scope>provided</scope>

IDEA 错误：找不到或无法加载主类

这个问题同上，相关依赖类变成了 provided，
去掉这一行后，须进行 “invalidate” 操作

scala 相关类找不到

java.lang.ClassNotFoundException: scala.reflect.api.TypeCreator

如下图，
可以手动添加 reflect jar

jdk NoSuchMethodError

org.apache.spark.SparkException: Job aborted due to stage failure: Task serialization failed: java.lang.NoSuchMethodError: java.nio.ByteBuffer.flip()Ljava/nio/ByteBuffer;
java.lang.NoSuchMethodError: java.nio.ByteBuffer.flip()Ljava/nio/ByteBuffer;
	at org.apache.spark.util.io.ChunkedByteBufferOutputStr