impala报错NoSuchMethodError: org.apache.hadoop.hive.metastore.MetaStoreUtils.updatePartitionStatsFast

最新推荐文章于 2024-12-08 01:36:51 发布

Sin_Geek

最新推荐文章于 2024-12-08 01:36:51 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据技术文章标签： impala 分区

本文链接：https://blog.csdn.net/sin_geek/article/details/86158817

在使用Impala向表的新分区写入数据时遇到错误，原因是Impala与Hive的版本不兼容。Impala在解析SQL时尝试调用Hive中不存在的`MetaStoreUtils.updatePartitionStatsFast`函数，导致运行时异常。解决方案是通过先在Hive中创建分区，然后再将数据插入到Impala中，避免直接用Impala操作新分区。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

在使用impala往表的新分区写数据时报错

NoSuchMethodError: org.apache.hadoop.hive.metastore.MetaStoreUtils.updatePartitionStatsFast(Lorg/apache/hadoop/hive/metastore/api/Partition;Lorg/apache/hadoop/hive/metastore/Warehouse;)Z

原因

impala与hive版本问题。应该是impala解析SQL的时候用到的是上面这个函数，而HIVE本身解析的时候用的不是该函数且该版本hive没有该函数，导致impala找不到执行函数，发生报错。

方案

之前都是用HIVE写入新分区

insert overwrite xxx.xxx partition(xxx = '20190109')

这样会自动创建20190109的分区目录，然后把数据写入进去，但是impala不能这样操作，需要先新建分区，再插入数据

alter xxx

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Sin_Geek

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hive初始化报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

zhengzaifeidelushang的博客

05-18

1万+

Hive初始化报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver 完整错误如下所示： org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver Underlying cause: java.lang.ClassNotFoundException : com.mysql.jdbc.Driver Use --verbose

impala-3.2.0安装教程（centos7无需安装CDH）

weixin_43899386的博客

08-26

6988

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入导语：已安装...

参与评论您还未登录，请先登录后发表或查看评论

Kylin java.lang.NoSuchMethodError: org.apache.hadoop.hive.metastore.HiveMetaStoreClient.＜init＞(Lorg/

乘风小栈的博客

07-14

1352

在Kylin中倒入hive表的时候报错： java.lang.NoSuchMethodError: 将HIVE版本更换到之后就能成功显示

hive报错org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.

weixin_38383877的博客

04-07

2638

使用schematool -dbType mysql --initSchema --verbose也无错误。2.检查Hive-site.xml文件是否有错误，尤其是关于metastore相关内容，无误。1.检查MySQL是否启动成功 systemctl status mysqld,没有问题。4.突然反应过来主机名应与jdbc的一致。啊啊啊啊啊啊，要疯了。3.检查root是否有权限访问，无误。hive初始化元数据失败。

错误：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version

最新发布

mnwl12_0的博客

12-08

3481

在Hive中，数据定义语言（DDL）是一种用于定义数据结构的语言，如表、分区和桶。创建表是使用DDL中最常见的任务之一。use test;id INT,创建一个名为employeesidnamesalary, 和department。这些字段分别被定义为整型（INT）、字符串（STRING）、浮点型（FLOAT）和字符串类型（STRING）。此表使用逗号作为字段分隔符，并以文本格式存储。表创建后，可能会出现需要修改表结构的情况。例如，要向employees表中添加一个新字段age。

hive初始化Mysql报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.

qq_42129258的博客

04-29

2605

报错： org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version. Underlying cause：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure 简单来说就是连不上Mysql，总结原因可能有两个：1、mysql-connector.jar包版本的问题，删掉之前的jar包，重新下载其

hive初始化数据库失败 org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED!

Wingkin的博客

12-14

1万+

问题：安装好hive后，执行初始化数据库命令schematool -dbType mysql -initSchema,出现以下错误： Starting metastore schema initialization to 2.3.0 Initialization script hive-schema-2.3.0.mysql.sql Error: Got error 168 from storage engine (state=HY000,code=1030) org.apache.hadoop.hive.

【已解决】org.apache.hadoop.hive.metastore.hivemetaexception: failed to get schema version.

Handoking的博客【学无止境】

08-03

1万+

在stackoverflow上查阅大量相关的问题后我发现，这个问题并不是各个中文博客上所说的版本太新的问题，归根结底是hive没有连上数据库。与ERROR:”Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient”这个错误解决方法一致。解决办法：首先要确保你hive，mysql配...

flink NoSuchMethodException: org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy

彪叔的博客

01-12

2589

{bootstrap.servers=192.168.30.167:29092, group.id=loadInfo_to_hive} Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Nativ

Flink1.12.1使用HiveCatalog(HIve3.1.2)出现java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUt

《@书山有径%》的博客

02-19

2619

Flink1.12.1使用HiveCatalog(HIve3.1.2)出现java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUtils.getDefaultRetryPolicy(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/String java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUtils.getDef

hive安装问题（java.lang.NoSuchMethodError、Required table missing、No appropriate protocal）

weixin_48876595的博客

12-28

2080

问题描述安装hive完成，运行hive的时候，出现一大堆日志错误，逐个排查错误一：java.lang.NoSuchMethodError：com.google.common.base.Preconditions.checkArgument 这是因为hive内依赖的guava.jar和hadoop内版本不一致 hive的guava.jar文件在 hive/lib/下 hadoop的guava.jar文件在hadoop/share/hadoop/common/lib/下让二者的版本保持一致即可，都用

hadoop装mysql配置hive神坑集合

weixin_44495941的博客

04-12

1783

真的是一步一个坑啊！！！！初始化数据库 sudo mysql_secure_installation 这条赋权命令分三部分写 grant all on *.* to hive@localhost identified by 'hive'; 创建两个文件输入内容问题一...

java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader

qq_56870570的博客

08-20

1931

遇到的问题： 21/08/20 16:29:40 INFO hive.HiveImport: Loading uploaded data into Hive Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf....

Hive报错，NoSuchMethodError: org.apache.hadoop.mapred

weixin_33898876的博客

12-24

727

hive能正常运行，当查到xiaoping数据库中的student表中的数据hive自动退出而报错信息如下。 [root@xp hive-0.13.1-cdh5.3.6]# bin/hive 17/12/21 10:11:23 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. U...

NoSuchMethodError 解决方法

gsdgdg00的博客

08-01

838

这种错误可能由如下导致。下面两个截图都是同一种原因导致的异常，如下如图这个问题是由于这里报的异常，这个异常是由于springframework里面缺少applicationcontext方法导致的。