报错：java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.SerDeUtils.initializeSerDe

最新推荐文章于 2024-04-01 18:59:57 发布

原创

最新推荐文章于 2024-04-01 18:59:57 发布 · 2.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文解决Spark通过Hive读取HBase表时遇到的NoSuchMethodError错误，通过升级Hive版本及调整依赖库成功解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark 通过Hive中的外部表读Hbase表时报错：
java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.SerDeUtils.initializeSerDe(Lorg/apache/hadoop/hive/serde2/Deserializer;Lorg/apache/hadoop/conf/Configuration;Ljava/util/Properties;Ljava/util/Properties;)V

最开始报错：
java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams
解决办法：
javap -classpath hive-serde-0.13.1.jar org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | grep initSerdeParams
发现类LazySimpleSerDe 中有方法initSerdeParams ，于是拷贝hive-serde-0.13.1.jar 到spark的jars目录下。
在这里插入图片描述

继续报错：
java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.SerDeUtils.initializeSerDe(Lorg/apache/hadoop/hive/serde2/Deserializer;Lorg/apache/hadoop/conf/Configuration;Ljava/util/Properties;Ljava/util/Properties;)V
解决办法：关键提示为NoSuchMethodError。将hive-serde-0.13.1.jar解压，通过java反编译工具j