Cloudera集群运维-如何优化Hbase Regionserver GC

原创

已于 2024-12-23 22:46:18 修改 · 776 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#cloudera #运维 #hbase

于 2024-12-23 22:36:41 首次发布

[前]Region Server GC调优

【警告】为 HBase 配置 JVM 垃圾回收是一项高级操作。配置不当可能对集群的性能产生重大影响。请仔细测试任何配置更改

。

【警告】使用 OpenJDK 11 时，Cloudera Manager 和大多数 Cloudera Runtime 服务使用 G1GC 作为默认的垃圾回收方法。（Java 8 使用“ConcurrentMarkSweep”（CMS）进行垃圾回收。）使用 G1GC 时，垃圾回收的暂停时间更短，因此组件通常会更加响应，但它们对内存过度分配更加敏感。您应监控内存使用情况以确定是否存在内存过度分配。如果您集群使用的是Java 8，Hbase相关参数默认如下：
-XX:+UseParNewGC 
-XX:+UseConcMarkSweepGC 
-XX:CMSInitiatingOccupancyFraction=70 
-XX:+CMSParallelRemarkEnabled
【重要提示】当Hbase Regionserver的堆内存大于 32 GB 时，Java 会禁用 Compressed Oops（压缩对象指针），这会将内存分配大小从 4 字节更改为 8 字节，从而减少堆中可存储的对象数量。这意味着，将最大堆内存设置为接近 32 GB 到 47 GB 的值实际上会减少可用内存，可能导致 OutOfMemoryError（内存不足错误）。你可以给Hbase Regionserver配置32GB内存，也可以配置48GB内存，但不要配置33GB-47GB！！参考：