Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

最新推荐文章于 2024-10-24 10:16:15 发布
最新推荐文章于 2024-10-24 10:16:15 发布
阅读量2.7k 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： spark on yarn hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fansy1990/article/details/87276487
在Spark运行于YARN上时遇到'Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found'的错误。问题源于Classpath缺少datanucleus-api-jdo.jar。尝试将Hive的lib添加到Classpath，但引发新的冲突，由于多个derby.jar导致的安全异常。解决方案是使用HDP中spark-client的lib替换Hive的lib，避免derby.jar冲突，问题得到解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

问题描述：
一次应用程序迁移底层Hadoop集群（由CDH迁移至HDP），在发起Spark On YARN任务的时候，Spark任务连接Hive异常，出现如标题所示的异常。
软件版本：

软件 版本
HDP 2.6.4.0-91
Spark 1.6.3
Hadoop 2.7.3

1. 思路第一步

  1. 首先查找此类，此类是在datanucleus-api-jdo.jar中的，如下图所示；
    JDOPersistenceManagerFactory
  2. 也就是说，在Spark On YARN调用的时候其Classpath并没有该类，考虑添加此jar包到Classpath；
  3. 此jar包在Hive的安装目录，直接把整个Hive的lib添加到Classpath；

2. 新问题及解决

最低0.47元/天 解锁文章

200万优质内容无限畅学
fansy1990
关注
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
予挚之的博客
06-08 4468
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一些类似的解决方案，不过经过博主测试，都不能解决出现的问题，因此才有了此篇博文，当然最后也完美解决了所有问题，不保证后面使用过程中是否会出现问题，因为还没有进一步测试，但是升级和使用，是没有问题的。！
解决Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
u014034497的专栏
05-29 1427
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 175 in stage 4.0 failed 8 times, most recent failure: Lost task 175.7 in stage 4.0 (TID 421, bsa100):...
Spark读取Hive on Tez任务问题
fansy1990的专栏
03-18 1462
Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续，由于HDP集群调整Hive引擎为Tez后，出现的问题。具体问题如下： 19/03/18 10:40:16 INFO client.TezClient: Session mode. Star...
ClassLoader not found datanucleusXXXXX
u012543819的博客
07-05 262
<dependency>--> <!--<groupId>org.datanucleus</groupId>--> <!--<artifactId>datanucleus-core</artifactId>--> <!--<version&g
【Hive】Hive 本地启动时报错 Persistence Manager has been closed
HHoao的博客
09-07 1089
解决办法是将 ObjectStore 类中静态变量 forTwoMetastoreTesting 为 true
关于 找不到名称“JDO”的API定义。也许您在CLASSPATH中没有必要的datanucleus api XXX jar？的解决方法
m0_74302467的博客
04-30 417
查看sparksql代码，发现设置了setmaster，删除后正常运行。hive找不到datanucleus相关jar包。
datanucleus 报错 org.datanucleus.api.jdo.JDOTransaction cannot be cast to org.datanucleus.Transaction
c20061924的博客
03-23 656
datanucleus 报错    java.lang.ClassCastException:org.datanucleus.api.jdo.JDOTransaction cannot be cast toorg.datanucleus.Transaction        at com.chi.test.JDOTest.testSave(JDOTest.java:30)        at
hive创建表时出现MetaException(message:An exception was thrown while adding/validating class(es)
yj2434的博客
08-14 1407
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : You have an error in your SQL syntax; check the manual that corresponds to your MySQL serv
java提交spark代码_使用java代码提交Spark的hive sql任务，run as java application
weixin_33196106的博客
02-25 405
我的环境：hadoop 2.7.1、spark 1.6.0、hive 2.0、java 1.7目标：通过java -jar xxx.jar的方式来运行提交spark应用，执行查询hive sql。问题一：首先要提一下，按照java -jar执行，会报java.lang.OutOfMemoryError: PermGen space错误，所以需要使用以下参数启动java-Xms1024m-Xmx...
hivemetastore java,hive启动报错 hive.metastore.HiveMetaStoreClient
weixin_39746282的博客
03-19 686
之前用的是hive-0.90 ，想与hbase整合下，所以更换hive为0.13.1版本，因为偷懒将原来的conf配置文件拷贝，结果出现如下错误，hive.metastore.local，hive.metastore.ds.retry.*是新版本不建议使用，删除配置文件中的内容即可，java.lang.RuntimeException: Unable to instantiate org.apac...
[root@hadoop002 conf]# hive Logging initialized using configuration in jar:file:/opt/programs/apache-hive-1.2.2-bin/lib/hive-common-1.2.2.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104) at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3005) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3024) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503) ... 8 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1521) ... 14 more Caused by: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory NestedThrowables: java.lang.reflect.InvocationTargetException at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:587) at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:788) at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:333) at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965) at java.security.AccessController.doPrivileged(Native Method) at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960) at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166) at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808) at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701) at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:365) at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:394) at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:291) at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:258) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:76) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:136) at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:57) at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:66) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:593) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:571) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:624) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:461) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:66) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:72) at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5768) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:199) at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:74) ... 19 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:631) at org.datanucleus.plugin.PluginManager.createExecutableExtension(PluginManager.java:325) at org.datanucleus.store.AbstractStoreManager.registerConnectionFactory(AbstractStoreManager.java:282) at org.datanucleus.store.AbstractStoreManager.<init>(AbstractStoreManager.java:240) at org.datanucleus.store.rdbms.RDBMSStoreManager.<init>(RDBMSStoreManager.java:286) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:631) at org.datanucleus.plugin.PluginManager.createExecutableExtension(PluginManager.java:301) at org.datanucleus.NucleusContext.createStoreManagerForProperties(NucleusContext.java:1187) at org.datanucleus.NucleusContext.initialise(NucleusContext.java:356) at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:775) ... 48 more Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver. at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:259) at org.datanucleus.store.rdbms.ConnectionFactoryImpl.initialiseDataSources(ConnectionFactoryImpl.java:131) at org.datanucleus.store.rdbms.ConnectionFactoryImpl.<init>(ConnectionFactoryImpl.java:85) ... 66 more Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver. at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58) at org.datanucleus.store.rdbms.connectionpool.BoneCPConnectionPoolFactory.createConnectionPool(BoneCPConnectionPoolFactory.java:54) at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238) ... 68 more
最新发布
06-20
</think>### 解决 Hive Metastore 无法加载 MySQL 驱动问题（`com.mysql.jdbc.Driver` not found） 该错误表明 Hive 无法在 CLASSPATH 中找到 MySQL JDBC 驱动。以下是完整解决方案： #### 1. 确认驱动文件存在 ``...
【已解决】【hadoop】启动不成功 报错 无法与MySQL服务器建立连接 Hive连接到MetaStore失败 无法进入交互式执行环境（2024新）
Kika写代码的博客
10-24 4190
当你成功启动Hive时，通常会看到一系列的日志信息输出到控制台，这些信息包括了Hive服务初始化的过程以及它与Metastore服务连接的情况等。解决这些问题通常需要检查Hadoop和Hive的配置文件，确保所有的服务都已经正确启动，并且相关的依赖服务（如MySQL）也已经就绪并可以正常访问。确保MySQL服务正在运行，并且Hive MetaStore配置的数据库URL、用户名和密码是正确的。配置文件中的数据库连接设置，以及Hadoop和Hive的日志文件中可能包含的更详细的错误信息。
Ubuntu 16.04 LTS上用IDEA编程操作hive报错：Table or view not found
u25th_engineer的博客
07-26 2364
Table of Contents 系统： 环境： 问题： 原因： 解决方法： 参考连接： 这个问题（Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not f...
HIVE 配置遇到的所有错误
理性的浪漫的程序人生
08-04 4040
Starting Hive Metastore Server
hive启动失败报异常
baidu_35310727的博客
03-18 6959
hive突然就不能启动了,之前明明是好的,莫名其妙的报如下错误:解决方法:    杀掉一个run jar 进程,莫名其妙的就好.后来了解到可能是因为hive的元数据库是Derby,不支持同时多用户操作(如果理解的不对烦请)指正.Logging initialized using configuration in jar:file:/home/soft/apache-hive-1.2.0-bin/l...
Hive的metastore报错日志
陆山右的技术博客
12-08 2991
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server. at sun.reflect.GeneratedConstructorAccessor20.newInstance(Unknown Sourc...
hive启动报错 hive.metastore.HiveMetaStoreClient
TURING.DT
04-13 2774
之前用的是hive-0.90 ，想与hbase整合下，所以更换hive为0.13.1版本，因为偷懒将原来的conf配置文件拷贝， 结果出现如下错误，hive.metastore.local，hive.metastore.ds.retry.*是新版本不建议使用，删除配置文件中的内容即可， java.lang.RuntimeException: Unable to instantiate or
使用java代码提交Spark的hive sql任务，run as java application
weixin_33720956的博客
05-03 283
为什么80%的码农都做不了架构师？>>> ...
java.lang.ClassNotFoundException: org.datanucleus.exceptions.ClassNotResolvedException
02-12
### 解决 Java 中 `java.lang.ClassNotFoundException` 和 `org.datanucleus.exceptions.ClassNotResolvedException` 当遇到 `java.lang.ClassNotFoundException: org.datanucleus.exceptions.ClassNotResolvedException` 这样的异常时，通常意味着 JVM 尝试加载某个类却未能找到该类定义。这可能是由于缺少必要的库文件或配置错误引起的。 #### 类路径设置不正确 确保所有依赖项都已正确添加到项目的构建路径中。对于 Maven 或 Gradle 项目，确认 pom.xml 或 build.gradle 文件包含了 DataNucleus 的相关依赖[^1]： ```xml <dependency> <groupId>org.datanucleus</groupId> <artifactId>datanucleus-core</artifactId> <version>5.2.8</version> <!-- 版本号需根据实际情况调整 --> </dependency> ``` 如果使用的是非打包工具管理的环境，则应手动下载并把 JAR 放入应用程序的 lib 目录下，并通过 `-classpath` 参数指定给 JVM。 #### 数据核插件缺失 DataNucleus 是一个持久化框架，在某些情况下可能还需要额外安装特定于所使用的数据库类型的增强器（enhancer）。例如 MySQL 可能会涉及到如下命令来初始化 Ambari Server 并设置 JDBC 驱动程序位置[^2]: ```bash ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar ``` 同时也要注意 Spark 使用 Hive 外部表连接时可能会因为默认采用 Tez 执行引擎而引发兼容性问题；此时可以考虑切换回 MapReduce 模式以规避潜在冲突[^3]。 #### 应用服务器重启 更改了任何关于 classpath 设置之后都需要重新启动应用服务端才能使改动生效。此外，清理缓存以及临时编译产物也有助于排除残留旧版本的影响。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值