Linux: 深入解析Watchdog: CPU软锁定问题及解决方案

最新推荐文章于 2025-06-15 09:56:40 发布
最新推荐文章于 2025-06-15 09:56:40 发布
阅读量1.6k 收藏 5
点赞数 4
CC 4.0 BY-SA版权
分类专栏： linux 系统运维 文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14829643/article/details/138355989

在Linux系统中，当我们看到类似消息：“watchdog: BUG: soft lockup - CPU#1 stuck for 34s! [kworker/1:3:3315742]”，这通常表明操作系统检测到了一个严重的问题，即CPU软锁定。这种情况是由于CPU在较长时间内没有响应系统调度器的中断。下面，我们将深入讨论这一现象及其潜在的解决方案。
在这里插入图片描述

1. CPU软锁定问题简介

在Linux操作系统中，watchdog是一种监视系统运行状态的机制，它可以在系统出现不响应时重启设备。"Soft lockup"是指某个CPU核心在一定时间内（通常为几十秒）未能执行其他任务，这通常表明该核心在执行某个过程或任务时进入了无限循环。
在这里插入图片描述

2. 原因分析

CPU软锁定可能由多种因素引起，包括但不限于：

  • 驱动程序错误：某些硬件驱动程序可能含有缺陷，导致CPU在执行特定操作时陷入死循环。
  • 硬件故障：硬件问题，如过热或电源不稳定，也可能导致CPU响应缓慢或卡死。
  • 内核bug：Linux内核本身的bug可能会在特定情况下触发软锁定。
3. 解决方案

解决CPU软锁定问题通常需要根据具体原因采取不同策略：

  • 更
最低0.47元/天 解锁文章

新学期VIP享超值加赠
12、Linux字符设备驱动深入解析
earth的博客
07-09 12
本文深入解析了Linux系统中的字符设备驱动，涵盖了RTC子系统、伪字符驱动（如/dev/null、/dev/zero、/dev/random等）、杂项驱动的开发与实现原理，并提供了看门狗定时器的具体驱动示例和用户程序。同时讨论了字符驱动的通用注意事项、常见问题及解决方案，并总结了开发流程与未来发展趋势，帮助开发者构建更健壮的设备驱动程序。
浅谈Linux中的软锁定（soft lockup）和硬件监视器（watchdog）
码农研究僧的博客
03-26 3347
软锁定（soft lockup）和硬件监视器（watchdog）是两个与Linux系统稳定性和可靠性密切相关的概念
linux报cpu软锁,BUG：软锁定-CPU＃卡住了x秒
weixin_35733495的博客
05-13 3525
我已经看到了一些有关reports的错误报告和问题(在stackexchange和其他地方)"BUG: soft lockup - CPU# stuck for s!"。到目前为止，我还没有找到有关做什么或尝试的任何线索(相反，我找到并遵循的线索并未阻止这种情况的发生)。我对此进一步担心，因为：这些事件的频率最近似乎一直在缓慢上升(每月超过700个)，yum update 重新启动使它变慢了一段时...
虚拟机节点麒麟系统出现持续 CPU 软锁死（Soft Lockup），导致系统自动重启
bcxwz669的博客
06-15 1036
3，在23.42版本之上的内核中，开启了napi_tx，tpacket_snd函数发送数据包，只能在软中断中执行tpacket_destruct_skb对pending_refcnt减1，在这之前CPU会陷入do-whlie循环中，而循环退出的条件又只能在软中断处理中去执行，刚好软中断也是在同一个CPU上，而且对应的ksoftirqd进程又被调度唤醒（实际得不到执行），在硬中断irq_exit中也无法执行软中断处理，即此CPU上的软中断永远得不到调度执行了，从而就卡死在这里了。
Linux下Sentinel LDK 软件锁的使用教程
03-13
Sentinel LDK 软锁 美国圣天诺 safenet 使用教程 阿拉丁 hasp
kernel:NMI watchdog: BUG: soft lockup - CPU
luyanpingya的博客
03-11 3204
如果由于某种原因计时器达到了预定的阈值而没有被重置（意味着系统可能卡住或无响应），看门狗就会生成NMI中断，以引起系统的注意。软死锁通常发生在CPU长时间占用内核模式，没有释放给其他进程或线程运行的机会，但系统并没有完全崩溃，仍有一定的响应能力。进程名称可以给出一些关于进程功能或来源的线索，但具体含义可能需要结合使用该进程的软件或系统文档来理解。这可以帮助你判断该进程是由你启动的，还是由系统的其他用户或服务启动的。（对于给定的进程ID）可以查看更多关于该进程的信息，如启动命令、启动时间等。
Linux软锁问题
2301_76763288的博客
03-15 1452
Soft lockup：这个bug没有让系统彻底死机，但是若干个进程（或者kernel thread）被锁死在了某个状态（一般在内核区域），很多情况下这个是由于内核锁的使用的问题。6、VM网卡驱动存在bug，处理高水位流量时存在bug导致CPU死锁。7、BIOS开启了超频，导致超频时电压不稳，容易出现CPU死锁。9、BIOS Intel C-State开启导致，关闭可解决。4、虚机所在的宿主机的CPU太忙或磁盘IO太高。2、服务器电源供电不足，导致CPU电压不稳定。5、虚机机的CPU太忙或磁盘IO太高。
【Linux】记一次CPU软死锁导致系统宕机问题
小白鸽i的博客
08-19 6156
记一次FTs2500 因CPU软锁宕机问题。
精通Linux内核regulator：组件解析与工作机理揭秘
Linux内核中的regulator模块是电源管理的关键组件，本文从概念介绍、核心组件解析到驱动开发实践，再到系统集成与应用，以及未来发展方向，全面阐述了regulator的工作原理和应用。内容涵盖regulator API设计与实现、...
Oracle监听日志文件过大揭秘：深入分析其对数据库的影响
![Oracle监听日志文件过大揭秘：深入分析其对数据库的影响]...同时，本文还提供了有效的解决方案和自动化管理策略，介绍了日志文件内容的结构解析和监控报警机制，并通
Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: watchdog: BUG: soft lockup - CPU#55 stuck for 22s! [kworker/55:0:3030] Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: ip_protocol_deliver_rcu+0x19/0x180 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: Modules linked in: 8021q(E) Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: ip_local_deliver_finish+0x44/0x50 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: garp(E) Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: __netif_receive_skb_one_core+0x55/0x80 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: process_backlog+0x8a/0x140 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: mrp(E) Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: napi_poll+0x8f/0x1b0 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: bridge(E) stp(E) Jul 15 15:37:17 hpubms033213202226.wulan01 syslog-ng[3065]: Error resolving hostname; host='syslog.tbsite.net' Jul 15 15:37:17 hpubms033213202226.wulan01 syslog-ng[3065]: Initiating connection failed, reconnecting; time_reopen='10' Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: net_rx_action+0xaa/0x1b0 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: llc(E) veth(E) Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: __do_softirq+0xba/0x264 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: nfsv3(E) Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: asm_call_irq_on_stack+0xf/0x20 Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: nfs_acl(E) nfs(E) Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: </IRQ> Jul 15 15:37:17 hpubms033213202226.wulan01 kernel: lockd(E)
最新发布
07-17
临时解决方案：在`/etc/hosts`中手动添加syslog.tbsite.net的IP地址，例如： <ip_address> syslog.tbsite.net 然后重启syslog-ng服务。 五、临时应急措施 如果软锁定频繁发生，可以考虑临时禁用看门狗（不推荐...
报错：　watchdog: BUG: soft lockup - CPU#0 stuck for 23s
Top_xiao的博客
06-28 1万+
转载：https://www.cnblogs.com/nulige/p/8000490.html 解决办法: #追加到配置文件中 echo 30 > /proc/sys/kernel/watchdog_thresh #查看 [root@git-node1 data]# tail -1 /proc/sys/kernel/watchdog_thresh 30 #临时生效 sysc...
解决bug：kernel:NMI watchdog: BUG: soft lockup - CPU#8 stuck for 23s!
kayotin的博客
08-31 5438
解决虚拟机出现的watchdog lockup问题
蓝易云 - Linux系统监控报告CPU软锁定问题（soft lockup）诊断方法
高性价比服务器就选：蓝易云
10-08 561
CPU软锁定问题，即软件锁定（soft lockup），是指CPU在一段时间内被一个内核进程占用而无法处理其他任务，通常是由于某个进程或驱动程序在内核空间执行了过长时间的循环或者死锁。：如果系统仍然有反应，在某些Linux发行版中可以通过SysRq键触发一些立即执行动作如打印调用栈（t）、显示运行队列（l）等来帮助诊断问题所在。: NMI watchdog可以配置为当某个CPU核心被长时间占用时产生中断，并尝试打印出堆栈跟踪信息到日志文件中去。这将记录10秒钟内发生的所有事件，并生成一个报告以供分析。
报错kernel:NMI watchdog: BUG: soft lockup - CPU的解决办法
热门推荐
JAVA_LuZiMaKei的博客
09-06 2万+
#!/bin/bash #修改阈值为30，写入文件 echo 30 > /proc/sys/kernel/watchdog_thresh #修改阈值为30，临时生效 sysctl -w kernel.watchdog_thresh=30 #修改阈值为30，写入启动文件 grep 'watchdog_thresh' /etc/sysctl.conf if [ $? -ne 0 ]; then echo "kernel.watchdog_thresh=30" >> /etc/sysctl
K8S集群节点负载无故飙升：CPU软死锁解决方案
weixin_43592627的博客
04-07 497
本次分享一个CPU软锁死的问题。这个问题致使我们公司K8S集群一个节点被锁死，负载不断飙升，整个集群也被拖死，导致重要业务受影响，现在来回顾一下整个过程。
服务器报错kernel:[33161,367636] watchdog: BuG: soft lockup - cPu#10 stuck for 22s! [iava:2575001] 内核软死锁
one_uueu的博客
04-23 640
linux服务器 内核软死锁 问题分析及处理办法
报错 watcgdog: BUG； soft lockup -CPU#0 stuck for 26s! [swapper/0:1]
qq_54947566的博客
03-06 1611
这样的错误信息，通常表示系统遇到了“软锁定”（soft lockup）问题。软锁定是指某个 CPU 核心在指定的时间内没有响应内核的调度请求，导致系统认为该 CPU 核心被“卡住”了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云原生水神

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值