K8s 应用故障排查：常见问题及解决思路汇总

最新推荐文章于 2025-08-04 23:00:11 发布
原创 最新推荐文章于 2025-08-04 23:00:11 发布 · 1.3k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes #容器 #云原生

目录

一、引言

二、Pod 启动失败问题

（一）镜像拉取失败

（二）容器启动命令错误

三、网络通信问题

（一）Pod 间通信失败

（二）Service 访问异常

四、资源不足问题

（一）CPU 和内存资源不足

（二）存储资源不足

五、总结

{"type":"load_by_key","key":"banner_image_0","image_type":"search"}

一、引言

在 Kubernetes（K8s）环境中部署和运行应用时，难免会遇到各种故障。快速准确地排查并解决这些故障，对于保障应用的稳定运行、减少业务中断时间至关重要。K8s 的分布式特性以及复杂的组件交互，使得故障排查工作具有一定挑战性。本文将汇总 K8s 应用常见的故障问题，并提供系统的解决思路与排查方法。

二、Pod 启动失败问题

（一）镜像拉取失败

  1. 问题表现：Pod 长时间处于Pending状态，描述信息中显示ImagePullBackOff。例如，执行kubectl describe pod <pod - name>命令后，在Events部分看到类似Failed to pull image "<image - name>": rpc error: code = Unknown desc = Error response from daemon: manifest for <image - name> not found的错误信息。
  1. 解决思路：
    • 检查镜像仓库连接：确认镜像仓库地址是否可达，可尝试从集群节点使用curl命令访问仓库地址。如果无法访问，可能是网络配置问题，检查防火墙设置、网络代理配置等。例如，若使用私有镜像仓库，需确保节点能访问到仓库的 IP 地址和端口。
    • 验证镜像名称和标签：检查镜像名称是否正确，标签是否存在于仓库中。镜像名称应包含仓库地址、镜像名及标签，如registry.example.com/your - image:latest。若标签错误，可能导致镜像拉取失败。
    • 检查认证信息：若镜像仓库需要认证，需确保 K8s 中已正确配置认证信息。可以通过创建Secret资源，并在 Pod 的spec.imagePullSecrets字段中引用该Secret来解决认证问题。

（二）容器启动命令错误

  1. 问题表现：Pod 进入CrashLoopBackOff状态，容器不断重启。查看容器日志（使用kubectl logs <pod - name>命令），发现报错信息与容器启动命令相关，如executable file not found in $PATH。
  1. 解决思路：
    • 检查 Dockerfile 或容器启动脚本：确认容器启动命令是否正确。若使用自定义启动脚本，需确保脚本路径正确且有可执行权限。例如，在 Dockerfile 中，CMD或ENTRYPOINT指令定义的命令应准确无误。若启动脚本需要依赖某些环境变量，需确保这些环境变量在容器中已正确设置。
    • 验证基础镜像：基础镜像中应包含容器启动所需的依赖和工具。如果基础镜像缺少必要的命令或库，可能导致容器启动失败。可以尝试在本地运行基础镜像，执行相关启动命令，检查是否正常。

三、网络通信问题

（一）Pod 间通信失败

  1. 问题表现：一个 Pod 无法访问另一个 Pod 提供的服务，使用ping或应用层面的请求都无法成功。例如，在 Pod 内执行ping <target - pod - ip>命令，显示Request timeout。
  1. 解决思路：
    • 检查网络插件配置：K8s 使用网络插件（如 Flannel、Calico 等）来实现 Pod 间通信。确认网络插件配置正确，相关组件正常运行。例如，检查 Flannel 的kube - flannel.yml配置文件，确保网络地址段设置合理，且kube - flannel Pod 处于Running状态。
    • 验证 Pod 网络配置：检查源 Pod 和目标 Pod 的网络配置，包括 IP 地址、端口等。确保目标 Pod 的服务端口已正确暴露，并且源 Pod 的请求能正确到达目标 Pod。可以通过查看 Pod 的spec.containers.ports字段来确认端口配置。
    • 排查网络策略：K8s 的网络策略可能限制了 Pod 间的通信。检查是否存在相关网络策略阻止了源 Pod 对目标 Pod 的访问。使用kubectl get networkpolicy命令查看网络策略，并分析其规则。

（二）Service 访问异常

  1. 问题表现：通过 Service 的 IP 和端口无法访问后端的 Pod 服务，浏览器访问显示连接超时或服务不可用。
  1. 解决思路：
    • 检查 Service 配置：确认 Service 的spec.selector字段与后端 Pod 的标签匹配，确保 Service 能正确选择后端 Pod。同时，检查spec.ports字段的配置，包括port（Service 对外暴露的端口）和targetPort（后端 Pod 实际监听的端口）是否正确。
    • 验证后端 Pod 健康状态：使用kubectl get pods命令查看后端 Pod 的状态，确保 Pod 处于Running且健康状态。若 Pod 存在问题，可能导致 Service 无法正常转发请求。例如，Pod 可能因为资源不足或应用程序错误而无法提供服务。
    • 检查 kube - proxy 运行情况：kube - proxy 负责将 Service 的流量转发到后端 Pod。检查 kube - proxy 组件在各个节点上是否正常运行，其日志中是否有相关错误信息。在节点上执行systemctl status kube - proxy命令查看其运行状态。

四、资源不足问题

（一）CPU 和内存资源不足

  1. 问题表现：Pod 运行缓慢，出现卡顿现象，或者被 K8s 驱逐（Evicted状态）。使用kubectl top pods命令查看 Pod 的资源使用情况，发现 CPU 或内存使用率持续高于 Pod 定义的limits。
  1. 解决思路：
    • 优化应用程序：检查应用程序代码，看是否存在资源消耗过高的代码逻辑，如内存泄漏、死循环等。对应用程序进行性能优化，减少不必要的资源占用。
    • 调整资源请求和限制：根据应用实际的资源需求，合理调整 Pod 的resources.requests和resources.limits。例如，如果应用在高负载下需要更多内存，可以适当增加limits.memory的值，但同时要确保节点有足够的资源可供分配。
    • 扩缩容集群：若集群整体资源不足，考虑增加节点数量或升级节点的硬件配置。使用 K8s 的自动扩缩容功能（如 Horizontal Pod Autoscaler，HPA），根据资源指标自动调整 Pod 副本数量。

（二）存储资源不足

  1. 问题表现：Pod 因无法挂载存储卷而启动失败，或者在运行过程中出现磁盘空间不足的错误。例如，应用程序写入文件时提示磁盘已满。
  1. 解决思路：
    • 清理无用数据：检查存储卷中的数据，删除不必要的文件或日志。对于日志文件，可以设置定期清理策略。例如，使用logrotate工具对日志文件进行管理。
    • 扩展存储卷：如果是持久化卷（PV），可以尝试扩展其容量。不同的存储后端有不同的扩展方法，如在 AWS EBS 卷中，可以在控制台直接扩展卷的大小，然后在 K8s 中更新 PersistentVolumeClaim（PVC）以使用扩展后的容量。
    • 调整存储策略：评估应用对存储的需求，考虑使用更高效的存储策略。例如，对于一些读写频繁但对数据持久性要求不高的应用，可以使用EmptyDir存储卷，它基于节点的内存或磁盘临时存储数据，不会占用持久化存储资源。

五、总结

K8s 应用故障排查需要对 K8s 的各个组件和运行机制有深入理解。通过对 Pod 启动失败、网络通信问题、资源不足等常见故障的分类排查，结合具体的错误信息和排查方法，能够逐步定位并解决问题。在实际工作中，建立完善的监控体系和故障排查流程，有助于更快速地应对和解决 K8s 应用故障，保障业务的连续性和稳定性。

花笺墨韵
关注
k8s（kubernetes）常见故障处理总结——详细文档
qq_34953582的博客
06-21 9488
k8s（kubernetes）常见故障处理总结——详细文档
【K8S系列】K8S集群 15个 常见问题及解决方案总结，建议收藏
热门推荐
颜淡慕潇
10-23 1万+
在 Kubernetes 集群的使用过程中，用户可能会遇到各种问题。以下是 15 个常见问题及其详细描述、故障排查步骤、常见错误信息和解决方案，帮助用户更有效地管理和维护 Kubernetes 环境。
Kubernetes日常故障处理集锦
Docker的专栏
08-12 999
问题1：Kubernetes集群服务访问失败？原因分析：证书不能被识别，其原因为：自定义证书，过期等。解决方法：更新证书即可。问题2：Kubernetes集群服务访问失败？curl:(7...
20个 K8S集群常见问题总结，建议收藏
虫虫的博客
03-04 3516
20个 K8S集群常见问题总结，建议收藏
K8s 容器化安全产品性能问题排查指南
weixin_46356409的博客
06-15 797
通过 K8s 原生工具（如 top、logs、describe）结合第三方监控系统（Prometheus、Grafana），可以构建从宏观到微观的全方位诊断体系。建议为安全产品配置合理的资源限制、探针和自动扩缩策略，同时建立标准化的故障排查流程，确保快速定位并解决性能问题。
19 个 K8S 日常故障处理集锦！
weixin_45727359的博客
08-10 5591
问题1：K8S集群服务访问失败？原因分析：证书不能被识别，其原因为：自定义证书，过期等。解决方法：更新证书即可。问题2：K8S集群服务访问失败？ curl:(7)Failedconn...
k8s（kubernetes）常见故障处理总结-详细笔记文档总结
06-21
k8s（kubernetes）常见故障处理总结——详细笔记文档总结
k8s-常见问题汇总
因上努力，果上随缘。但行好事，莫问前程。
04-27 4762
问题1：单node上容器网段pod被隔离 现象： 1)生产环境节点node_A重启后，上面有几个pod_1(pod namespace的pod) 的init container初始化失败，报错连接svc/kubernetes(apiserver的service) timed out 2)该节点上：容器网络ns(namespace)的pod访问不了自己的GW(GW1)，node网络ns的可以访问自己的GW(GW2) 3)容器网络ns的pod可以ping通自己node_A，但是ping不通其他node 4)物
k8s常见问题
最新发布
zwh1zwh的博客
08-04 1778
遇到具体问题时可结合。和事件日志精准定位！
k8s面试能问什么？
Java知音
06-15 844
注：以下所有问题，均为自己总结，若有错误之处，还请指出。1、 k8s是什么？请说出你的了解？答：Kubenetes是一个针对容器应用，进行自动部署，弹性伸缩和管理的开源系统。主要功能是生产...
K8S集群中网络通信故障常见问题的排查思路
江晓龙的博客
07-15 4225
K8S集群有自己独立的内部网络，整个集群的通信都需要依赖网络插件，常见的网络插件有Calico、Flannel、Canel等等。Pod与Pod之间的通信故障是经常会出现的现象，可以去排查网络组件Calico和Kube-proxy这两个组件。Pod自身网络出现问题，会导致Pod中多个容器通信出现异常，具体排查网络组件Calico即可解决问题。当出现此故障时，一定是Calico网络组件产生了问题，需要排查具体的日志。...
【Kubernetes运维】常用K8S运维面试题汇总：核心概念、集群管理与安全故障排查要点总结
04-23
内容概要：本文档汇总了Kubernetes（K8S）运维岗位常见的面试题及核心知识点，涵盖五个主要方面：核心概念与组件、集群管理与调度、网络与存储、安全与故障排查以及高级运维场景。具体包括Master和Node节点的核心...
【云原生】Prometheus+Grafana对k8s集群服务资源pod进行监控；kubernetes常见问题汇总和排查
点赞的都能无bug通过！
01-09 2561
blog本文钟，我们要实现通过Prometheus监控k8s集群中各种资源：如微服务,容器资源指标 并在Grafana显示思路可以通过外部prometheus通过连接apiserver去监控k8s集群内指标。（前提k8s集群内安装好相应的exports）可以通过部署kube-prometheus(集群内部起了一套监控) 在通过联邦的方式,进行监控。包括监控k8s节点、监控coreDns服务以及监控Ingress-nginx，但是本文侧重于监控k8s的指标。
k8s基本问题排查
吴广智的博客
05-20 766
排查pod故障 #查看pod是否正常 kubectl get pods -n fronted #常见pod排查命令 kubectl logs <pod name> 有助于检索 Pod 中容器的日志 kubectl describe pod <pod name> 对检索与 Pod 相关的事件列表很有用 kubectl get pod <pod name> -o yaml 可提取 Kubernetes 中存储的 Pod 的 YAML 定义； kubectl exec -t
k8s常见故障
ss810540895的博客
10-09 1337
问题出现不可怕, 重要的是加好监控及时报警, 我们之前一直对 kube-system 的监控没有做到很好, flannel 一直启动不成功的问题是我检查时发现的,使用别人提供的yaml文件前, 要注意下资源设置的, 类似 Prometheus 也有这种问题的, 它对内存的要求很高预算充足就不要自建集群了, 有不少运维问题的, 万一出现一个解决不了的就很麻烦, 类似上次那篇文章: 记一次Kubernetes机器内核问题排查[1]希望我们的经验能帮助到使用 K8s 的各位读者.
k8s常见问题大收集
m0_69745415的博客
05-05 1063
3.1、问题1：提示/etc/rhsm/ca/redhat-uep.pem no file or dirctory 3.1.1、解决方法： 3.1.1.1、yum安装需要的依赖包 yum -y install rhsm 3.1.1.2、下载python-rhsm-certificates软件并生成密钥文件 wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86
19 个 K8S 日常故障处理集锦
qq_40907977的博客
08-09 1569
问题1：K8S集群服务访问失败？ 原因分析：证书不能被识别，其原因为：自定义证书，过期等。 解决方法：更新证书即可。 问题2：K8S集群服务访问失败？ curl: (7) Failed connect to 10.103.22.158:3000; Connection refused 原因分析：端口映射错误，服务正常工作，但不能提供服务。 解决方法：删除svc，重新映射端口即可。 kubectl delete svc nginx-deployment 问题3：K8S集群服务暴露失败？ Error fr
k8s常见问题汇总
zenglingmin8的博客
08-03 372
问题一 pv删除不了，命令hang住 kubectl delete -f zk-pv.yaml persistentvolume "k8s-pv-zk01" deleted persistentvolume "k8s-pv-zk02" deleted persistentvolume "k8s-pv-zk03" deleted ^C 查看pv一直处于Terminating状态 kubectl get pv NAME CAPACITY ACCESS MODES RECLAI
k8s常见故障和解决办法
03-20
<think>好的，我现在要帮用户查找Kubernetes的常见故障及其解决方法。用户已经提供了一些引用内容，我需要先仔细看看这些引用，找出相关的信息。 首先看引用[1]提到的Pod初始化失败的问题，这可能涉及到容器启动时的配置错误或者镜像拉取失败。用户可能需要知道如何检查Pod日志，使用kubectl describe命令来查看事件，这些是排查Pod问题的常用方法。然后引用[2]讲到了安装Kubernetes时的系统要求和验证安装的步骤，比如kubectl version，这可能和节点状态异常有关联吗？比如安装不正确导致节点无法加入集群。 接下来引用[3]详细描述了节点状态为NotReady的情况，列出了Kubelet异常、网络故障和资源压力这三个主要原因，并给出了检查Kubelet服务状态、网络连接和节点资源的解决方案。这里需要把这三个原因和对应的解决步骤整理清楚。 用户想要常见故障及其解决方法，所以需要把引用中的问题汇总起来，比如Pod初始化失败、节点NotReady、安装问题、代码运行问题等。但用户提供的引用内容中，引用[1]和[2]提到的问题可能不够详细，需要结合引用[3]的具体分析。 可能还需要补充其他常见问题，比如服务不可访问、持久化存储问题、配置错误等，但根据用户提供的引用，可能只能集中在已有的三个问题上。不过引用[1]还提到了其他问题，比如第15个常见问题，但具体内容没给出，所以可能只能根据已有的三个引用内容来组织答案。 现在需要结构清晰地列出每个问题，描述问题，分析原因，给出解决步骤。例如： 1. Pod初始化失败：检查日志，describe命令，镜像是否正确。 2. 节点状态NotReady：检查Kubelet，网络，资源。 3. 安装问题：系统要求，安装步骤，验证安装。 同时，每个问题后面要添加对应的引用标识，比如[^1]、[^3]等。 还要注意用户提到的“生成相关问题”，所以最后需要提出几个相关问题，比如如何监控Kubernetes集群，如何排查网络问题等，基于已有的引用内容。 现在需要确保回答符合系统级指令，使用中文，正确引用，结构清晰，分步骤说明。可能还需要检查是否遗漏了其他在引用中提到的问题，但根据用户提供的引用，主要问题有三个，加上安装验证的问题。</think>### Kubernetes 常见故障排查与解决方案 #### 1. **Pod 初始化失败** **问题描述** Pod 处于 `Init` 或 `CrashLoopBackOff` 状态，无法正常启动。可能由镜像拉取失败、初始化容器配置错误或依赖服务未就绪导致。 **解决步骤** 1. 查看 Pod 日志： ```bash kubectl logs <pod-name> -c <init-container-name> ``` 2. 检查 Pod 详细信息： ```bash kubectl describe pod <pod-name> ``` 重点关注 `Events` 部分，例如镜像拉取失败（`ImagePullBackOff`）或资源限制问题。 3. 验证镜像名称、标签及仓库权限是否正确[^1]。 --- #### 2. **节点状态为 NotReady** **问题描述** 执行 `kubectl get nodes` 时，部分节点状态显示 `NotReady`，可能由 kubelet 异常、网络故障或资源耗尽引起[^3]。 **解决步骤** 1. **检查 Kubelet 服务状态**： ```bash systemctl status kubelet # 确保服务处于运行状态 journalctl -u kubelet # 查看详细日志 ``` 2. **排查网络连接**： - 确认节点与 Master 的通信正常（如 `ping` 或 `telnet` 检查端口 6443）。 - 检查 CNI 插件（如 Calico、Flannel）是否正常运行。 3. **检查节点资源**： ```bash kubectl describe node <node-name> # 查看资源使用情况（CPU、内存、磁盘） ``` --- #### 3. **安装或配置验证失败** **问题描述** 安装 Kubernetes 后，执行命令（如 `kubectl version`）报错或组件无法启动。 **解决步骤** 1. **验证系统要求**： - 操作系统需为 Linux 或 macOS，且满足内核版本要求。 - 禁用交换分区：`swapoff -a`。 2. **重新安装组件**： 根据官方文档重新安装 `kubectl`、`kubeadm` 或 `minikube`。 3. **检查配置文件**： - 确认 `~/.kube/config` 文件权限及内容正确[^2]。 --- #### 4. **服务无法访问** **问题描述** Service 或 Ingress 配置后，外部请求无法到达后端 Pod。 **解决步骤** 1. 检查 Service 的 Endpoints 是否正常： ```bash kubectl get endpoints <service-name> ``` 2. 验证网络策略（NetworkPolicy）是否阻止流量。 3. 测试从 Pod 内部访问服务，排除 DNS 解析问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值