<th
ink>嗯，用户遇到了一个Hadoop的RemoteException问题，提示指定的应用程序
ID在ResourceManager中
不存在。这个问题在Hadoop集群中挺常见的，需要系统性地排查。
首先想到应用程序
ID格式问题。Hadoop的
ID格式通常是"
application_<时间戳>_<序列号>"，用户可能输错了格式。需要提醒用户用
yarn application -list命令验证
ID是否
存在。
然后是时间因素。ResourceManager默认只保留7天内的应用记录，如果用户查询的是旧任务，可能已经被清理了。这时候需要检查
yarn-site.xml里的
yarn.resourcemanager.state-store.max-completed-
applications参数值。
集群状态也很关键。ResourceManager服务如果刚重启过，内存中的状态就会丢失。而NodeManager重启可能导致容器状态
不一致，需要查看ResourceManager和NodeManager的日志时间戳。
用户权限问题容易被忽视。如果用户用的是非提交者账号或者没有查看权限，也会报这个错。可以建议用户用
yarn application -status <
ID> -appOwner <user>指定所有者试试。
还有个特殊情况是作业刚提交时的延迟。ResourceManager接收AM注册可能有几秒到几十秒的延迟，这时候查询会
显示不存在。需要提醒用户耐心等待后再查。
日志排查方面，ResourceManager的日志会记录应用注册和状态变更，NodeManager日志有容器启动记录，而AM自身的日志可能包含注册过程的错误。用户应该重点检查这三类日志的时间线是否衔接。
如果上述
方法都
不行，可能需要考虑状态存储异常。比如ZooKeeper-based的状态存储出现连接问题，或者FS-based的存储目录权限错误。这时候需要检查
yarn.resourcemanager.store.class的配置和对应存储介质的健康状况。
最后要注意的是，
不同Hadoop版本对这个错误的处理可能有差异。比如2.7之前版本在AM注册失败时
不会清理残留状态，而3.x版本有更好的状态同步机制。用户需要根据版本来调整排查方向。</th
ink>以下是Hadoop报错`RemoteException:
Application with id does not
exist in RM`的完整排查指南：
---
### **一、错误原因分析**
1. **应用程序
ID无效**
- 检查
ID格式是否正确（标准格式：`
application_<时间戳>_<序列号>`）
- 使用命令验证是否
存在：
```bash
yarn application -list | grep <
application_
id>
```
2. **应用记录过期**
ResourceManager (
RM) 默认保留7天内的应用记录（由`
yarn.resourcemanager.state-store.max-completed-
applications`配置控制）。若查询超期应用会触发该错误[^1]。
3. **集群状态
不一致**
- **ResourceManager重启**：
RM重启后内存状态丢失
- **NodeManager异常**：容器状态未同步（需检查`nodemanager.log`）
- **应用未成功注册**：
ApplicationMaster (AM) 未能向
RM注册（超时或网络故障）
4. **权限问题**
- 用户无访问权限（非应用提交者或未配置ACL）
- 跨集群查询时Kerberos认证失败
5. **延迟问题**
作业提交后，AM向
RM注册可能有 **10-30秒延迟**（受集群负载影响），立即查询会报错。
---
### **二、排查步骤**
#### **1. 验证应用状态**
```bash
# 检查所有运行/完成的应用
yarn application -list -appStates ALL | grep <app_
id>
# 查看
RM日志中的注册记录
grep <app_
id> /var/log/hadoop-
yarn/resourcemanager/*.log
```
#### **2. 检查时间范围**
- 若应用是**历史作业**：
确认`
yarn.resourcemanager.state-store.max-completed-
applications`的值（默认10000）
查看历史服务器是否启用：`
yarn timel
ine-service`
#### **3. 日志关键点排查**
| 日志类型 | 检查内容 |
|------------------|----------------------------------|
| **ResourceManager** | `Receiv
ing registration request from AM`（AM注册请求） |
| **
ApplicationMaster** | `Register
ing
with RM`（注册记录）或`Retry
ing connection`（重连） |
| **NodeManager** | `Conta
iner <conta
iner_
id> runn
ing`（容器状态） |
#### **4. 权限验证**
```bash
# 指定所有者重试查询
yarn application -status <app_
id> -appOwner <submit_user>
```
#### **5. 集群状态检查**
```bash
# 确认
RM/NM服务状态
yarn rmadm
in -getServiceState
rm1 # 返回ACTIVE/STANDBY
yarn node -list | grep <node_ip> # 检查节点状态
```
---
### **三、
解决方案**
1. **等待重试**
新提交作业等待 **30秒以上** 再查询。
2. **调整保留策略**
在`
yarn-site.xml`增加配置：
```xml
<property>
<name>
yarn.resourcemanager.state-store.max-completed-
applications</name>
<value>20000</value> <!-- 增加保留数量 -->
</property>
```
3. **修复状态存储**
- 若使用**ZooKeeper存储状态**：
```bash
zkCli.sh ls /
rmstore # 检查ZNode是否
存在
```
- 若使用**HDFS存储**：
检查目录权限：`hdfs dfs -ls /
rmstate`
4. **强制清理残留状态**
删除
RM本地缓存（谨慎操作）：
```bash
rm -rf /tmp/hadoop-
yarn/resourcemanager/recovery/*
```
5. **API直查方案**
通过REST API绕过CLI工具验证：
```bash
curl http://<
rm_host>:8088/ws/v1/cluster/apps/<app_
id>
```
---
### **四、预防措施**
1. **增加AM注册超时时间**
```xml
<property>
<name>
yarn.am.liveness-monitor.expiry-
interval-ms</name>
<value>600000</value> <!-- 默认10分钟改为60分钟 -->
</property>
```
2. **启用高可用（HA）**
配置多个ResourceManager避免单点故障。
> **典型场景案例**：某集群因磁盘写满导致
RM状态存储失败，AM注册后无法持久化记录。清理磁盘空间并重启
RM后恢复[^2]。
---
https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/deployment/resource-providers/yarn/
扫一扫
1633
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
