Python实现mysql基于配置文件的全自动增量数据备份

lytcreate.

已于 2024-05-31 11:38:37 修改

阅读量842

点赞数 16

CC 4.0 BY-SA版权

分类专栏： Mysql Python 文章标签： mysql 数据库

于 2024-05-29 15:37:50 首次发布

本文链接：https://blog.csdn.net/qq_35204012/article/details/139296273

Mysql 同时被 2 个专栏收录

21 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

Python

98 篇文章

订阅专栏

本文介绍了使用Python实现MySQL数据库的全自动增量备份方法，适用于数据及时性要求不高的场景。通过修改配置文件，可实现自动建库、建表、数据同步和分区。备份流程包括配置数据库信息、设置定时任务和补采旧数据。提供了配置文件、主备份脚本和定时任务配置的详细说明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在mysql备份或者高可用当中，常见的方式主要有NDBcluster集群，MGR组复制技术，Mycat+mysql分片存储技术（以上三种都可以在mysql专栏查看）以及主从备份。

在上述的几种方式中，所需要的机器及部署配置都是相当繁琐的，集群至少三台起步，对于一些小的备份场景下可能不是那么的便捷。所以，对于只需要备份数据，对数据的及时性要求不太高的场景下，可以使用Python完成数据库的增量备份，本方案可以实现在只需要修改配置文件的情况下，实现自动建库，建表，重复数据删除，同步新数据，自动增加全库数据库分区的功能。

整体被备份过程分为三步：

1.修改配置文件里面包含的数据库信息和需要同步的表信息

2.开启定时任务，可按小时或天维度对数据进行同步

3.对于过往的旧数据，采用脚本进行循环补采

配置文件

config.py

"""
版本号：1.0
日期：2024/5/27
描述：
"""

# 待备份的数据库
DB_INFO_SOURCE = {
    'host': '127.0.0.1',
    'port': 3306,
    'user': 'root',
    'pwd': 'lytcreate',
}

# 备份至该数据库
DB_INFO_BACKUP = {
    'host': '192.168.131.131',
    'port': 3306,
    'user': 'root',
    'pwd': 'Lytcreate@123'
}

# 需要备份的数据库表配置
TABLE_INFO = [
    {
        'database': '