记录一次生产Redis 告警

最新推荐文章于 2025-07-07 11:27:57 发布
原创 最新推荐文章于 2025-07-07 11:27:57 发布 · 300 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #redis #github

博客记录了一次生产环境中Redis告警的排查过程，分析了接口调用频率与缓存策略导致的内存增长问题，并提出了优化方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

记录一次生产Redis 告警

当社会工具人 开始享受完成996的福报,晚上10.30到家开始享受这一天的仅有的自己私人生活,突然手机邮件. 群里被疯狂的@我 把我搞慌了,最近好像没有发版啊,一直挺稳定的啊,运维组开始刷锅直接扔图出来 看下方:–>

在这里插入图片描述

从上午的6点开始正常的增长一直在稳定的增长 直到晚上9点才基本稳定下来, TMD 我都到家了,才告诉我 哎!没有办法 大佬都在群里,应用负责人是我,还好我带了电脑,这个还是比较难排查的,这个不是代码的bug

在这里插入图片描述

先想想 最近做了什么, …

哦,这个应用功能比较少,只是给我客户端提供了一个接口,这个接口是分装了多个业务方的接口这个比较复杂简单的说一下 这个暴露一个接口给客户端(app)使用得到数据在前端展示 . 这个接口的业务 封装了业务方的数据

  1. 实时接口 每次都要调用 实时性比较强 (每个人得到的数据不一样)

  2. 一天调用一次 (每个人得到的数据不一样)

  3. 业务方接口 返回的数据量比较大 也是一天调用一次 (每个人得到的数据不一样)

  4. 一天调用一次 (目前所有人看到数据是一样的)

    这个接口早就上生产了,但是新版本app 会使用到,新版本好像还是在审核中,一直卡在App Store中.

    赶紧找运营咨询 -->

在这里插入图片描述

竟然发布了安卓, ios没有更新 这个好像也没有同时我们啊.差不多定位到问题了,赶紧去看一下数据埋点.安卓用户差不多有70%用户, 我们用户日活正常百万级别的.又看了一下 安卓升级到了最新版本的差不多有50w 用户.我在去看了一下逻辑, 重点上面2和3 的接口进行了缓存 都是缓存到12点进行定时清除,那这个容量图稳步增长是有道理的, 在思考了一下这个其实不是太好的, 其实可以缓存4小时后者2小时,因为我们是做支付app 有大量的用户的是为了支付的场景 后面停留的时间不多, 这个是一个可以改造的.

在看了一下生产的日志,第三个接口 缓存的数据比较大这个返回的是对象进行返回的 这个对象下面包装了5个List<对象> 每个人都会缓存下来,所以想想 这又是空间的浪费.当时的开发的时候只是为了快速完成,没有考虑到.

在这里插入图片描述

和运维沟通 等等到12点后看一下容量图的结果,后面来优化代码,培训一下组内 Redis 的设计标准.

最后我们看一下效果

图片转存中...(img-4su8REvB-1590307095568)]

好了先写到这里,后面把我组内的redis 的设计规范放出来,谢谢大家

9、redis的性能优化及监控告警
xuebo1129927648的博客
05-30 73
Redis 监控需覆盖。
Redis电商实战大全：从秒杀到物流，16个高并发redis使用场景深度解析
最新发布
肖哥弹架构博客
08-01 1026
🚀 【全网最全Redis电商解决方案】 从百万级秒杀到实时物流追踪，从智能搜索到精准风控，本文用16个真实场景+完整代码，彻底讲透Redis在电商中的高阶用法！ 💎 核心亮点： ✅ 16大核心场景：秒杀系统、购物车、商品缓存、订单追踪、物流监控、优惠券防刷、用户行为分析… ✅ 工业级键设计：每种场景配套专业键命名规范+数据结构选型指南 ✅ Lua脚本全实现：原子操作、分布式锁、库存扣减等关键逻辑完整代码 ✅ 异常处理矩阵：雪崩/击穿/穿透/超卖等12种异常场景应对方案
redis 告警
huangliang0703的专栏
06-15 261
启动错误 1.WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take eff
Redis内容告警机制
喝醉酒的小白
07-07 932
你当前的表达式能起到一定告警作用，但建议提高阈值或增加 Redis exporter 指标做补充。Redis 到达maxmemory淘汰阈值容器总内存接近 limit，可能被 OOMKill是否需要我帮你写出完整的 Prometheus 告警规则 YAML 示例？
Redis 启动告警
vkingnew 的技术博客
06-10 381
8161:M 10 Jun 2019 10:52:43.222 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 8161:M 10 Jun 2019 10:52:43.222 # S...
记一次redis内存告警
编程界的许嵩
01-08 969
为什么要记录这个？ 前段时间，悲剧的事情出现了，新项目线上的redis服务内存持续告警，逐出机制并没有起到明显的效果，导致redis持续了一段时间写入不进去，刚告警的时候，以为只是纯粹的内存太小，当时运维就扩容了。没想到过了两天之后，内存又满了。怎么会在短时间内吃掉所有内存，这时候就来到了麻烦的排查时刻了，最终排查的结果得到的就是一个很小的问题，懒得看原因，可以直接跳过看总结，记住别犯这种低级错误！！！ 问题原因 一开始通过redis服务的redis key分析，想通过查看查看比较大的key，去查看对应出现
如何完善Redis监控告警？
码农小胖哥
02-25 1646
本文字数：3940字预计阅读时间：20分钟一、背景二、监控指标分类三、监控指标说明四、总结一、背景Redis监控告警实践是基于开发CacheCloud云平台过程中不断实践和总结出来，随着...
Redis集群扩容实战指南：从原理到生产环境最佳实践
Doctor_96的博客
03-17 1162
通过以上步骤，可以有效地完成Redis集群在扩容时的Slots迁移规划和实施工作，确保集群的稳定性和业务的连续性。
Docker中Redis数据安全和备份恢复详解：从基础到生产的全方位指南
weixin_42593797的博客
06-02 854
本文详细解析了Docker环境下Redis的安全防护与数据管理策略。主要内容包括：1）构建多层次安全防护体系，通过ACL认证、连接限制、TLS加密和容器安全配置保障数据安全；2）优化持久化策略，包括RDB智能快照和AOF混合模式配置；3）设计自动化备份方案，提供全量备份脚本和增量备份方法，并给出恢复演练流程。文章结合具体代码示例，为开发者构建高可用、高安全的Redis容器化部署方案提供实践指导，涵盖访问控制、数据加密、持久化优化等核心环节。
Redis 高频数据类型使用详解
congge
08-08 4112
Redis 高频数据类型使用详解
Redis监控和告警
weixin_30363509的博客
02-20 81
https://blog.csdn.net/isoleo/article/details/52981140 转载于:https://www.cnblogs.com/diyunpeng/p/10409976.html
细说Redis监控和告警
wejack的专栏
08-09 2319
Redis监控和告警指标
Prometheus+Grafana企业级监控实战（数据库监控篇）
04-23
本课程是承接《Prometheus+Grafana企业级监控实战（运维篇)》 来进行讲解运维篇课程可以点击主页进行查看，本课程主要讲解监控数据库的实战内容。本课监控的数据库有 Mysql，ElasticSearch，Redis，Kafka，Mongodb，主要以实战内容为主。本课程是以我们线上的DBA团队的监控配置进行讲解，干货很多。温馨提示： 课件在 课堂总结 打包下载
redis告警简单处理-5.0.14版本
Haibolun的博客
08-03 2548
redis告警简单处理-5.0.14版本
redis 启动告警
li66934791的博客
11-12 5687
启动报错如下 3193:M 12 Nov 18:09:03.503 * Increased maximum number of open files to 10032 (it was originally set to 1024). 3193:M 12 Nov 18:09:03.503 # Creating Server TCP listening socket 127.0.0.1:6379: ...
简易实现Redis监控自动短信告警
coolmsn8786的博客
07-02 351
如果没有企业短信网关，如何实现监控的自动短信告警呢? 1.开通QQ邮箱,并且绑定手机号。 设置之后，一旦QQ邮箱接收到新邮件，就会自动发送短信提醒。 http://jingyan.baidu.com/article/9...
Scheduled redis任务锁
03-13
// 记录告警并触发人工核查 monitorService.reportLockError(); } finally { try { redisLock.release(); } catch (Exception e) { // 记录异常日志但不再重试 } } ``` #### 五、优化方案对比 | 方案 | 优点...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值