数据库治理之冷热数据分离

最新推荐文章于 2025-02-28 00:05:40 发布

原创

最新推荐文章于 2025-02-28 00:05:40 发布 · 2.1w 阅读

45 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #性能优化 #java #后端 #开发语言 #springboot #架构

优质博文：IT-BLOG-CN

一、背景

随着机票业务的快速发展，订单量持续增长对业务性能带来影响，需要进行冷热数据分离。目前机票订单模块主要使用Mysql(InnoDB)作为数据库存储，历史订单信息状态修改频率低并占用大量数据库存储空间，期望历史数据与生产最新的数据进行分离，当前数据库保留最近一个月的数据作为热库，历史交易存在另一个库作为冷库。减少因在线存储空间不足扩容导致停服不可用的时长。

如何判断一个数据是冷数据还是热数据？
需要根据自己业务系统来区分了，一般而言是根据主表中的一个或者多个字段进行标识区分，比如订单的时间，这个是时间维度，可以将3个月之前的数据定义为冷数据，最近3个月的数据定义为热数据。当然也可以是状态维度，比如订单的状态，已完结的订单定义为冷数据，未完结的订单定义为热数据。同样的也可以将时间维度和状态维度组合起来，比如下单时间大于3个月且订单状态为已完结的定义为冷数据，反则为热数据。

我的冷热数据怎么拆分的：已过起飞时间 + 订单状态=“完成”的数据都是冷数据，其余为热数据。

二、方案选型

业务代码修改

这种方案是在业务代码层面判断是否进行冷热数据分离，对代码的侵入性比较高，在数据修改时触发冷热分离。因机票QPS很高，如果更新状态时，需要进行进行冷热数据分离，删除热库中的数据，并将数据写入冷库中，需要使用到分布式事务。会增加系统和数据库的压力。不适用

监听binlog日志

需要监听binlog日志的方式进行触发，当订单状态修改了，则触发冷热分离。比较适合实时性要求高的系统，这里虽然不会影响业务的响应时间。但是冷热数据分离的操作实时操作的，会给数据库造成压力。不适用，但是有用

怎么读取binlog中的内容，我们通过公司内部开发的DRC服务，这里简单看下重要流程：
【1】在pom.xml中添加MySQL Binlog Connector Java的依赖

<dependency>
    <groupId>com.github.shyiko</groupId>
    <artifactId>mysql-binlog-connector-java</artifactId>
    <version>0.25.0</version>
</dependency>