解决hadoop执行MapReduce程序时Ha和yarn的冲突 YarnRuntimeException: java.lang.NullPointerException

最新推荐文章于 2023-08-06 10:30:37 发布
最新推荐文章于 2023-08-06 10:30:37 发布
阅读量1.1k 收藏 6
点赞数 3
CC 4.0 BY-SA版权
分类专栏： hadoop 问题汇总 文章标签： hadoop mapreduce hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52918377/article/details/116751791

解决hadoop执行MapReduce程序时Ha和yarn的冲突

错误信息：YarnRuntimeException: java.lang.NullPointerException

在hadoop高可用环境下执行MR程序报如下错误：

2020-04-09 22:56:58,827 ERROR [Listener at 0.0.0.0/45871] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPointerException
    at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.register(RMCommunicator.java:178)
    at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.serviceStart(RMCommunicator.java:122)
    at org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator.serviceStart(RMContainerAllocator.java:280)
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
    at org.apache.hadoop
最低0.47元/天 解锁文章

200万优质内容无限畅学
【已解决】关于IDEA中 Driver 出现Exception in thread &quot；main&quot； java.lang.NullPointerException问题
qq_53137648的博客
03-21 3475
IDEA 编写Driver时报错“空指针”
Hadoop 2.4.1 搭建Ha遇到问题记录
热爱生活,热爱技术的大彪
07-08 8881
15/06/19 17:12:44 ERROR namenode.FSNamesystem: FSNamesystem initialization failed. java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled. // 明明我配置了H
今天使用MapReduce HA时遇到空指针异常org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPoint
yj2434的博客
08-05 927
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPointerException at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.register(RMCommunicator.java:177) at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.serviceStart(RMCommunic
yarn NullPointerException
空中的鱼
07-13 1009
yarn重启后，部分nm启动不了，报空指针问题 2015-03-26 07:41:00,367 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.LocalizedResource: Resource hdfs://:8020/user/hive/.staging/job_1426073522130
java.lang.NullPointerException错误分析
weixin_33670786的博客
12-01 755
java.lang.NullPointerException是什么错误 你使用了空的指针。在java中虽然号称抛弃了C＋＋中不安全的指针，但其实他所有的东西你都可以理解为指针。这种情况一般发生在你使用了一个对象实例（其实是一个类指针）来调用它的成员函数，但这个实例却为null。 建议先检查一下你的SQL是不是有问题，然后看你的逻辑是不是有问题主要有以下几种原因：1、使用了未初始化的变...
在执行Sparksql操作orc类型的表时抛出：java.lang.IndexOutOfBoundsException 或者 java.lang.NullPointerException
01-12 783
案例 (spark version 2.4.6)： create tmp.table_Y_x_h partitioned by (key string) stored as orc ; insert overwrite table tmp.table partition(key='ur_my_love') select * from tablex where 1=2 ; 会在hdfs key path 下生成一个000000_00 size 大小为 0 的空文件 ; 在spark-s...
java.lang.RuntimeException: java.lang.NullPointerExcept的处理
kiss_zhan的专栏
10-08 5149
今天做项目遇到了这个问题，我把R.id写成了R.layout
An internal error occurred during: "Map/Reduce location status updater".java.lang.NullPointerException at org.apache.hadoop.mapred.JobClient.getAllJobs(JobClient.java:814) at org.apache.hadoop.mapred.JobClient.jobsToComplete(JobClient.java:790) at org.apache.hadoop.eclipse.server.HadoopServer$LocationStatusUpdater.run(HadoopServer.java:119) at org.eclipse.core.internal.jobs.Worker.run(Worker.java:55)java.io.IOException: failure to login at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:796) at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:748) at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:621) at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:81) at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:75) at org.apache.hadoop.mapred.JobClient.init(JobClient.java:470) at org.apache.hadoop.mapred.JobClient.<init>(JobClient.java:449) at org.apache.hadoop.eclipse.server.HadoopServer.getJobClient(HadoopServer.java:488) at org.apache.hadoop.eclipse.server.HadoopServer$LocationStatusUpdater.run(HadoopServer.java:103) at org.eclipse.core.internal.jobs.Worker.run(Worker.java:55) Caused by: javax.security.auth.login.LoginException: No LoginModule found for com.sun.security.auth.module.NTLoginModule at java.base/javax.security.auth.login.LoginContext.invoke(LoginContext.java:731) at java.base/javax.security.auth.login.LoginContext$4.run(LoginContext.java:672) at java.base/javax.security.auth.login.LoginContext$4.run(LoginContext.java:670) at java.base/java.security.AccessController.doPrivileged(AccessController.java:688) at java.base/javax.security.auth.login.LoginContext.invokePriv(LoginContext.java:670) at java.base/javax.security.auth.login.LoginContext.login(LoginContext.java:581) at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:771) ... 9 more
最新发布
04-02
嗯，用户遇到了Hadoop MapReduce作业中的NullPointerException和LoginException问题，需要解决。首先，我得想这些错误通常是什么原因引起的。NullPointerException通常是因为某个对象没有被正确初始化或者为空，可能...
java.lang.NullPointerException at org.apache.hadoop.mapred.JobClient.getAllJobs(JobClient.java:814) at org.apache.hadoop.mapred.JobClient.jobsToComplete(JobClient.java:790) at org.apache.hadoop.eclipse.server.HadoopServer$LocationStatusUpdater.run(HadoopServer.java:119) at org.eclipse.core.internal.jobs.Worker.run(Worker.java:55)怎么解决
03-30
好的，我现在要解决用户提到的Hadoop中出现的NullPointerException问题。具体来说，错误发生在`org.apache.hadoop.mapred.JobClient.getAllJobs`方法中，导致Eclipse插件中的Map/Reduce位置状态更新失败。我需要分析...
Mapreduce运行HBase错误
weixin_42534356的博客
11-09 508
运行Mapreduce程序报错 我在idea上运行mapreduce程序，实现HDFS数据存储到HBASE，控制台报错如下 Application application_1573201815446_0001 failed 2 times due to AM Container for appattempt_1573201815446_0001_000002 exited with exitC...
mapreduce操作hbase ClassNotFoundException
bcsix的博客
11-09 813
mapreduce操作hbase时 java.lang.ClassNotFoundException 问题
hadoop错误org.apache.hadoop.yarn.exceptions.YarnException Unauthorized request to start container
10-08 730
错误： 14/04/29 02:45:07 INFO mapreduce.Job: Job job_1398704073313_0021 failed with state FAILED due to: Application application_1398704073313_0021 failed 2 times due to Error launching appatte...
MapReduce执行插入Hbase时的报错解决
weiqiangGG的博客
12-25 466
刚写了个MapReduce用于数据处理，并把结果写到Hbase中保存，但在执行MapReduce过程中报错 我记得应该是执行完下面的hadoop-env.sh那一步之后我做了次同步，又执行了次报了.NoClassDefFoundError的错 大概是这么个情况 错误已经修复，当时忘了截图了 NoClassDefFoundError这种错误是没有配置classpath导致的 我把两个步骤放在一起写...
hadoop-MR任务报错：org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing
Himma71的博客
07-01 1499
yarn的运行报错：初始化运行报错 介绍：我的一个MR任务，运行失败，查看运行日志，错误如下： mapreduce.Job: Job job_1591237623212_1255 failed with state FAILED due to: Application application_1591237623212_1255 failed 2 times due to AM Container for appattempt_1591237623212_1255_000002 exited with e
[1217]org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded
周小董
08-06 1149
注意：因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。mapreduce.{map|reduce}.java.opts能够通过Xmx设置JVM最大的heap的使用，一般设置为0.75倍的memory.mb，因为需要为java code等预留些空间。参数的值自己可调，根据自己的需要设置就好。
ClouderaManager启动NodeManager失败！报错Failed to initialize container executor
weixin_34124651的博客
07-27 710
报错信息： 2016-07-27 10:53:14,102 WARN org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor: Exit code from container exec utor initialization is : 24 ExitCodeException exitCode=24: Invalid...
hadoop的web ui的8088端口打不开一例
微电子学与固体电子学-俞驰
04-27 2020
首先jps看下，得到: 25013 Master 8599 SecondaryNameNode 8200 NameNode 8377 DataNode 9902 Jps 可以发现没有resourcemanager,也就是说yarn没有启动． log路径: /home/appleyuchi/bigdata/hadoop-2.7.7/logs/yarn-appleyuchi-resourc...
Hadoop运行错误：org.apache.hadoop.yarn.exceptions.YarnException
热门推荐
小萌猿的博客
03-03 2万+
打包MapReduce程序为jar包后在Hadoop集群执行时出错： 原因：集群时间不一致造成的 解决：同步集群时间即可 同步步骤： 思路：比如集群有三台机器：node1,node2,node3,将node1作为时间服务器，其它两台与node1同步即可。 一、设置时间服务器：（node1中执行） 1、vi /etc/ntp.conf 注释掉restrict default kod...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值