
大数据运维-ClickHouse
ClickHouse相关的运维
戒掉贪嗔痴
10年以上DBA从业经验,Oracle ACE,中国DBA联盟成员,青学会专家顾问,Oracle,MySQL,PostgreSQL DBA,大数据运维工程师。
熟悉20种数据库的运维及管理:横跨关系数据库,NoSQL数据库,搜索引擎,大数据等。
获得IT类认证十几张。
擅长数据库系统架构涉及,容量规划,灾备系统建设,故障诊断及性能优化。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ClickHouse 删除重建表需要注意什么
使用Mutation操作:ClickHouse通过Mutation操作来实现数据的删除和修改。Mutation是一个异步操作,适合批量数据操作,但不支持事务且无法回滚。数据备份:在进行删除和重建表的操作之前,务必确保对重要数据进行备份。ClickHouse不支持事务,一旦执行删除操作,数据将无法恢复。检查Mutation状态:执行删除命令后,可以通过查询 system.mutations 表来检查Mutation的执行状态。重建表的步骤:如果需要重建表,可以先删除原表,然后重新创建。原创 2025-06-17 16:09:48 · 344 阅读 · 0 评论 -
ClickHouse的分布式表
1.ClickHouse的分布式表。原创 2025-06-17 15:02:22 · 167 阅读 · 0 评论 -
ClickHouse 建表语句
在这个例子中,数据首先按 event_date 排序,然后是 event_time,接着是 user_id 和 event_type。例如,event_date 是日期类型,event_time 是日期时间类型,等等。在 ClickHouse 中,MergeTree 系列表是存储引擎的一种,它提供了高性能的列式存储和索引支持。SETTINGS:可以设置一些额外的参数,比如 index_granularity,这决定了索引粒度的大小。ENGINE:指定表使用的存储引擎,这里使用的是 MergeTree()。原创 2025-06-17 14:53:51 · 448 阅读 · 0 评论 -
ClickHouse重要参数:internal_replication
true:仅写入分片内的一个健康副本,依赖表引擎(如ReplicatedMergeTree)的自身同步机制通过ZooKeeper协调。复制表引擎(如ReplicatedMergeTree):必须设为true,避免与表引擎的同步机制冲突导致数据重复或不一致。非复制表引擎(如MergeTree):需设为false,依赖分布式表完成副本同步,但需注意宕机时可能丢失部分数据。false(默认):强制写入分片内所有副本,由分布式表自行复制数据,可能引发一致性风险。原创 2025-06-17 14:44:06 · 189 阅读 · 0 评论 -
ClickHouse的分布式表
ClickHouse支持将查询请求并行分发到多个节点上进行处理,实现分布式查询。这种处理方式利用了多台机器的计算力,减少了查询时间,提高了查询性能。在使用分布式表进行查询时,ClickHouse会自动根据负载均衡选择一个副本进行查询,确保查询的高效性和可靠性。副本复制则是为了保障数据的高可用性,每个分片可以有多个副本,ClickHouse 的分布式特性主要包括数据分片、副本复制和分布式查询处理。分布在不同的节点上,即使某个节点宕机,其他节点上的副本也可以提供数据服务。分布式表的创建和使用。原创 2025-06-17 10:21:21 · 206 阅读 · 0 评论 -
ClickHouse 的存储引擎
核心机制:数据按分区键(PARTITION BY)水平分割,按主键(ORDER BY)排序存储,支持高效的范围查询和聚合。预聚合优化:在后台合并分区时自动聚合数值(如 SUM、COUNT)或预计算状态(如 uniqState),加速聚合查询。去重机制:按主键合并分区时保留最新版本数据,适用于时序数据更新(如用户状态变更)。每个 part 包含列文件(.bin)、索引(.idx)和标记文件(.mrk)。优势:列式存储 + 数据压缩(如 LZ4/ZSTD),显著减少 I/O 开销。原创 2025-06-17 10:07:13 · 420 阅读 · 0 评论 -
ClickHouse 的 Parser 分析器
ClickHouse的Parser分析器是其SQL查询处理的核心组件之一,主要功能是将SQL语句解析为抽象语法树(AST)。Parser 采用递归方式解析SQL语句,生成AST语法树结构,不同类型的SQL语句会调用对应的parse实现类。作为查询处理流程的第一阶段,Parser与分布式处理、列式存储等特性共同构成ClickHouse的高性能分析能力。生成的AST会被后续的Interpreter解释器用于创建查询执行计划。其设计充分考虑了OLAP场景对复杂查询解析的需求。使用C++编写,性能优化显著。原创 2025-06-17 10:06:42 · 126 阅读 · 0 评论 -
ClickHouse 的 server 组件
ClickHouse 的 Server 是 ClickHouse数据库管理系统 的核心组件之一,查询解析与优化:ClickHouse Server接收用户的SQL查询,进行语法分析和语义分析,存储引擎管理:ClickHouse使用多种存储引擎,其中最常用的是 MergeTree 系列。向量化执行:ClickHouse Server采用向量化执行引擎,能够同时处理多条记录,这一过程包括查询优化,选择最优的执行路径,以提高查询效率。负责处理用户的查询请求、管理存储引擎、执行查询计划等任务。原创 2025-06-17 10:05:52 · 151 阅读 · 0 评论