性能提升3倍之路：记Guava cache带来的GC问题

已于 2022-08-27 09:29:21 修改
阅读量1.3k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark JanusGraph Hadoop 文章标签： guava jvm
于 2022-08-26 14:46:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/penngrove/article/details/126542322
在Spark executor中，由于Guava Cache的使用导致大量GC，分析发现Guava的ConcurrentLinkedQueue$Node造成内存泄漏。问题源于纯读场景下，Guava Cache的recencyQueue清理不及时。解决方案是替换为Caffeine Cache，不仅性能提升，且接口兼容Guava。替换后，GC开销显著降低，执行时间从45分钟缩短到18分钟。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    问题 

      在用JanusGraph做OLAP分析的项目中，我发现Spark的executor节点出现大量GC，每个executor的GC开销都在task运行时间的10%以上。用JVM async profiler查看后发现，大概40%~50%的CPU时间都花在GC上。尝试G1GC后，现象依旧没有任何改观。

     分析

       只好老老实实做heap dump，但是一直苦于heap dump的结果太大，无法分析。最后从同事那里得知，可以用Memory Analyzer Tool (mat)的脚本去做分析，当然前提也要运行mat的机器有足够的内存，分析的结果是html，可以方便查看。

       打heap dump有专门的命令：

jmap -dump:live,format=b,file=<heap_dump_file> <JVMPID>

       分析heap dump用

最低0.47元/天 解锁文章

200万优质内容无限畅学
GuavaCache的一个坑把服务器的CPU给占满了
林风自在
10-08 994
坑已经挖好了，要不要进来踩一下？
缓存分享(1)——Guava Cache原理及最佳实践
麦田里的码农
05-01 6904
Guava Cache最佳实践
guava缓存使用不当导致的FullGC
码农无双的博客
08-20 3865
java使用guava cache不当，导致的fullgc研究
JVM Full GC 频繁问题排查、优化及解决方案
最新发布
weixin_56018532的博客
05-29 2117
JVM频繁Full GC问题是Java应用性能调优中常见且重要的挑战。本文系统地分析了导致频繁Full GC的各种原因，包括内存泄漏、高并发、大对象分配、内存碎片化等，并提供了详细的排查方法和优化建议。JVM参数调优：合理配置堆内存大小、分代比例、垃圾收集器等参数，使其适合应用特性。代码层面优化：减少不必要的对象创建，避免内存泄漏，优化数据结构和算法，合理管理资源。架构层面优化：实现流量控制，优化线程模型，改进数据处理方式，提高系统整体效率。监控与预警：建立完善的监控体系，及时发现潜在问题，防患于未然。
GuavaCache与物模型大对象引起的内存暴涨分析——设备管理运维类
AIoT2688的博客
03-17 760
首先对物联网平台的几个概念做下名词解释名词描述产品设备的集合，通常指一组具有相同功能的设备设备归属于某个产品下的具体设备。设备可以直接连接物联网平台，也可以作为子设备通过网关连接物联网平台。物模型物模型是对设备在云端的功能描述，包括设备的属性、服务和事件。物模型是阿里云物联网平台为产品定义的数据模型，用于描述产品的功能。总结一下产品是一类设备的集合，物模型描述了这一类设备的功能，包括属性、事件、服务。
干掉GuavaCache：Caffeine才是本地缓存的王，GC+堆排+Tomcat+算法题
weixin_58134620的博客
03-22 959
我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习已经将知识体系整理好（源码，笔记，PPT，学习视频）我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习已经将知识体系整理好（源码，笔记，PPT，学习视频）[外链图片转存中…(img-Xbi97wsD-1711108208762)][外链图片转存中…(img-bIJXtnlO-1711108208762)][外链图片转存中…(img-HYyodq0P-1711108208763)]本文已被。
JVM初探——使用堆外内存减少Full GC
GarfieldEr007的专栏
01-22 2109
问题: 大部分主流互联网企业线上Server JVM选用了CMS收集器(如Taobao、LinkedIn、Vdian), 虽然CMS可与用户线程并发GC以降低STW时间, 但它也并非十分完美, 尤其是当出现Concurrent Mode Failure由并行GC转入串行时, 将导致非常长时间的Stop The World(详细可参考JVM初探- 内存分配、GC原理与垃圾收集器). 解
本地缓存：Guava Cache
玉汝于成
01-07 539
Guava Cache与ConcurrentMap很相似，但也不完全一样。最基本的区别是ConcurrentMap会一直保存所有添加的元素，直到显式地移除。相对地，Guava Cache为了限制内存占用，通常都设定为自动回收元素。在某些场景下，尽管LoadingCache 不回收元素，它也是很有用的，因为它会自动加载缓存。例如当你需要多次访问一个计算或者查询加载耗时成本高时，你就可以考虑使用缓存。例如，计算或检索一个值的代价很高，并且对同样的输入需要不止一次获取值的时候，就应当考虑使用缓存。
本地缓存之Guava Cache
PJ码匠人
03-26 1099
Guava cache是一个支持高并发的线程安全的本地缓存。多线程情况下也可以安全的访问或者更新Cache。这些都是借鉴了ConcurrentHashMap的结果。不过，guava cache 又有自己的特性当cache中不存在要查找的entry的时候，它会自动执行用户自定义的加载逻辑，加载成功后再将entry存入缓存并返回给用户未过期的entry，如果不存在或者已过期，则需要load。
Java开发利器之Guava Cache
Q54665642ljf的博客
09-21 427
总结：第一种写法更像是前面说到的Map，在对数据进行CRUD操作时，需要用户手动对缓存进行同步的更新或删除操作，所以叫ManualCache（手动），当然Guava Cache对Map的加强依然有效，比如过期清除，缓存容量限制。此时构建的是一个实现了Cache接口的LoadingCache，相比ManualCache，提供了缓存回填机制，即当缓存不存在时，会基于CacheLoader查询数据并将结果回填到缓存， 在高并发时，可以有效地基于缓存锁减少对系统资源的调用。降低系统数据读写压力...
Guava Cache实现原理及最佳实践
xidianhuihui的专栏
08-30 1553
expireAfterWrite 是允许一个线程进去load方法，其他线程阻塞等待。refreshAfterWrite 是允许一个线程进去load方法，其他线程返回旧的值。在上一点基础上做成异步，即回源线程不是请求线程。异步刷新是用线程异步加载数据，期间所有请求返回旧的缓存值。Guava Cache是一个很优秀的本地缓存工具，缓存的作用不多说，一个简单易用，功能强大的工具会使你在开发中事倍功半。
Guava中Cache的使用
Learning
06-14 2283
缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源的瓶颈出现。缓存的作用就是将这些来自不易的数据保存在内存中，当有其他线程或者客户端需要查询相同的数据资源时，直接从缓存的内存块中返回数
缓存与垃圾收集 GC and Cache
jackoo的专栏
12-24 592
 One of the performance tips is recycling whatever you created aslong as the memory allows. In Java, its pretty easy to implement acache using weak references. In AS, its easy too. You just use
Guava缓存过期的一些坑
eck_燃的博客
04-24 3984
Guava loadingCache的一些使用注意事项
Guava Cache的使用方式
凉茶铺的博客
11-10 6359
介绍了Guava的使用方式，以及它的核心类的介绍
对Guava Cache的封装和使用（包括一个管理页面实现了查看统计信息、情况、查看记录等）
热门推荐
Clement-Xu的专栏
06-14 1万+
由于项目的实际情况，需要缓存一些比较不经常改动的数据在本地服务器中，以提高接口处理的速度。决定采用Guava Cache。现在，该系统已经实现，并已经在正式环境中运行了一段时间，日均总命中次数超过一百万，大部分缓存的命中率在98%以上，为某些接口的请求节省了一半的时间。本文介绍具体的实现详情。
Guava Cache：缓存的回收、刷新和统计
琦彦
07-09 1万+
适用性         缓存在很多场景下都是相当有用的。例如，计算或检索一个值的代价很高，并且对同样的输入需要不止一次获取值的时候，就应当考虑使用缓存。         Guava Cache与ConcurrentMap很相似，但也不完全一样。最基本的区别是ConcurrentMap会一直保存所有添加的元素，直到显式地移除。相对地，Guava Cache为了限制内存占用，通常都设定为自动回收元素...
本地缓存ehcache、guava cache和Caffeine
weixin_42578444的博客
07-01 8560
在多线程高并发场景中往往是离不开cache的，需要根据不同的应用场景来需要选择不同的cache，比如分布式缓存如redis、memcached，还有本地（进程内）缓存如ehcache、GuavaCache、Caffeine。一、ehcache在Java项目广泛的使用。它是一个开源的、设计于提高在数据从RDBMS中取出来的高花费、高延迟采取的一种缓存方案。正因为Ehcache具有健壮性（基于java...
guava cache cpu 100%
03-04
为了有效解决问题并优化性能，可以考虑以下几个方面： #### 1. 调整缓存大小和过期策略 合理设置最大条目数(`maximumSize`)以及存活时间(`expireAfterWrite` 或 `expireAfterAccess`)能够防止内存泄漏的同时减少...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值