Clickhouse-CPU内存资源优化配置

置顶 Light Gao

已于 2024-06-27 14:47:51 修改

阅读量1.2w

点赞数 6

CC 4.0 BY-SA版权

分类专栏： ClickHouse 在企业级应用中的实际操作与经验文章标签： java linux 大数据数据库分布式

于 2022-07-20 17:43:39 首次发布

本文链接：https://blog.csdn.net/qq_35128600/article/details/125897196

ClickHouse 在企业级应用中的实际操作与经验专栏收录该内容

7 篇文章 ¥79.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了ClickHouse的CPU资源和内存资源优化，包括配置背景线程池大小、最大并发查询数以及内存使用限制等。同时提到了冷热磁盘管理、熔断机制和SQL优化策略，为ClickHouse在大数据场景下的高效运行提供参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- 优化

优化

CPU资源优化

config.xml 官网配置项 https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/

物理机的CPU资源：

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Light Gao

关注关注

6
点赞
踩
35

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

ClickHouse-7（性能优化）

getBinary的博客

12-12

2371

性能优化执行计划数据类型时间类型空值存储执行计划从我们编写的SQL有时并不能看出实际底层运行的逻辑，而要性能优化的话，阅读执行计划可以帮助理解运行逻辑，从而提供优化思路。另一方面，ClickHouse会对书写的SQL做一定的优化，可以通过查看优化执行计划帮助我们改进SQL语句需要注意的是ClickHouse在20.6版本起才支持查看执行计划，之前的版本只能通过将日志级别设置为TRACE，查看执行日志了解运行过程执行计划基本语法： EXPLAIN [AST | SYNTAX | PLAN | PIP

ClickHouse性能优化

2401_84715997的博客

05-15

1669

列式存储是一种数据库存储技术，它将数据按列而不是按行存储。这意味着每一列的数据都存储在一起，而不是每一行的数据存储在一起。这种存储方式对于联机分析处理(OLAP)非常有用，因为它可以避免读取不必要的列，从而避免昂贵的磁盘读取操作。此外，将同一列的不同值存储在一起通常会导致更好的压缩比率（与行式系统相比），因为在实际数据中，相邻行的同一列通常具有相同或不太多的不同值。在ClickHouse中，主键和索引的定义对查询性能有很大影响。你可以在创建表时使用语句来定义主键和索引。

3 条评论您还未登录，请先登录后发表或查看评论

【配置优化】Clickhouse配置参数优化

热门推荐

孤傲然的博客

07-01

1万+

max_memory_usage_for_user, max_memory_usage, max_bytes_before_external_group_by, max_bytes_before_external_sort, max_memory_usage_for_all_queries, max_concurrent_queries_for_user, max_concurrent_queries_for_all_users, max_concurrent_queries, max_serve

ClickHouse 内存管理是如何实现的

zg_hover的专栏

05-03

2579

本文介绍Clickhouse内存管理的实现原理。通过本文的分析，可以对Clickhouse的内存管理有一个概要的理解。

clickhouse,硬件管理与优化(cpu,内存,网络,存储,操作系统配置),profile管理，Quotas设置，约束管理，查询权限，用户管理配置等

花&败

05-04

6033

1.运维管理与优化 1.1)硬件管理与优化 1.1.1)CPU ClickHouse的并行数据处理机制，使得其能利用所有可用的硬件资源。在选择CPU处理器时，应选择更多核心数而不是更高频率的处理器。例如：频率为2600MHz的16核心处理器比3600MHz的8核心的处理器的效率更高。建议使用Turbo Boost和超线程技术，在高工作负载情况下能显著提高性能。 ...

ClickHouse中的CPU调度

ClickHouseDB的博客

12-20

1483

描述向量化的工作原理，什么是CPU调度，如何找到CPU调度优化的空间，以及如何在ClickHouse中使用CPU调度。

一篇文章学会调优 ClickHouse

Shockang的博客

12-04

1896

本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ClickHouse 的通用优化配置如下表所示，大部分配置需要根据线上实际楼况进行优化，具体需要优化的配置可参考官方文档：https://clickhouse.tech/docs/en/operations/settings/query-complexityhttps://clickhouse.tech/docs/en/operations/settings/用户在查询数据时，可以参考如下几点对 SQ

clickhouse 优化

silver9886的专栏

05-29

209

clickhouse配置项system.settings详解_clickhouse settings_Aiky哇的博客-CSDN博客Clickhouse优缺点、性能以及错误躺坑_clickhouse insert_deduplicate_天空飘来一个云哥哥的博客-CSDN博客

Clickhouse 的性能优化实践总结

奔跑的蜗牛的博客

06-24

3033

ClickHouse是一个性能很强的OLAP数据库，性能强是建立在专业运维之上的，需要专业运维人员依据不同的业务需求对ClickHouse进行有针对性的优化。同一批数据，在不同的业务下，查询性能可能出现两极分化。

【ClickHouse】深入浅出系列之配置详解，全中文注释！

zcs_978176963的博客

04-25

2229

熬夜整理的ck最详细的配置文件，纯干货，不带一点水分，直接拿来就能用！

5.7.1、ClickHouse性能调优 - 配置和优化表引擎-了解表引擎的基本概念

lang830349821的博客

04-14

695

表引擎是ClickHouse中的一个核心概念，它决定了数据在表中的存储方式、访问方式和处理方式。不同的表引擎在性能、功能和数据一致性等方面具有不同的特点。根据业务需求和场景选择合适的表引擎是优化ClickHouse性能的关键。

clickhouse到底有哪些吊炸天的优化？

禹鼎侯的博客

01-20

4200

从技术实现上来说，肯定是可行的。上面有三个part，现在我的诉求是查询出其中>=3且<=5的所有数据，虽然在各个part内部，数据本身是有序的，但是这三个part很不凑巧地都包含了3~5的范围，因此必须每个part都扫描一遍，而实际上，part3是没有任何符合条件的数据的，所以这个扫描其实是无用的操作。热数据，经常会被查询的数据（比如近两三天的数据），存储到固态磁盘，这样不论是写入，还是查询都非常快，超过一定时间的数据，可以通过存储策略转移到机械磁盘上，因为查询频率并不怎么高，那么受到的影响就会有限。

鲲鹏服务器源码编译clickhouse-odbc 具体步骤

04-18

内存资源准备（防编译OOM） ```bash # 创建4GB交换空间（针对低内存机型） sudo dd if=/dev/zero of=/swapfile bs=1M count=4096 sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile ``` --- ...