【Pandas驯化-17】一文搞懂Pandas如何优雅的连接mysql函数to_sql技巧

【Pandas驯化-17】一文搞懂Pandas如何优雅的连接mysql函数to_sql技巧
 
本次修炼方法请往下查看

🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 相关内容文档获取 微信公众号
🎇 相关内容视频讲解 B站

🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。

🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。

📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。

🎯 1. 基本介绍

  在数据分析和数据科学项目中，经常需要将数据在不同的存储介质之间进行迁移。Pandas 提供了非常方便的功能，可以轻松地将 DataFrame 数据写入到 MySQL 数据库中。这通常通过 SQLAlchemy 这个 Python SQL 工具包来实现，它为数据库提供了一个优雅的接口。

💡 2. 使用方法

2.1 安装必要的库

  首先，确保安装了 pandas, pymysql, 和 SQLAlchemy。

pip install pandas pymysql sqlalchemy

2.2 创建数据库连接引擎

  使用 create_engine 函数创建数据库连接。

import pymysql
from sqlalchemy import create_engine

def connect_mysql(host='0.0.0.0',
                  port=3306, 
                  user='ttt', 
                  password='1234', 
                  db='fds'):
    try:
        utf_flag = "charset=utf8"
        engine = create_engine(f"mysql+pymysql://{user}:{password}@{host}:{port}/{db}?{utf_flag}")
        print("数据库连接成功！")
    except Exception as e:
        print("数据库连接失败：", e)
    return engine

2.3 将DataFrame写入MySQL

  使用 to_sql 方法将 DataFrame 数据写入到 MySQL 数据库中。

import pandas as pd

# 假设 df_res 是我们要写入数据库的 DataFrame
df_res = pd.DataFrame({
    'column1': [1, 2, 3],
    'column2': ['A', 'B', 'C']
})

# 获取数据库连接引擎
engine = connect_mysql()

# 写入数据，这里需要指定表名和更新标志
table_name = 'your_table_name'
update_flag = 'append'  # 或 'replace'

with engine.begin() as conn:
    df_res.to_sql(name=table_name, con=conn, if_exists=update_flag, index=False)

🔍 3. 注意事项

  对上述的各个函数在使用的过程中需要注意的一些事项，不然可能会出现error，具体主要为：

• 确保在 connect_mysql 函数中正确设置了数据库连接参数，包括主机、端口、用户名、密码、数据库名。
• to_sql 方法中的 if_exists 参数可以设置为 ‘fail’、‘replace’ 或 ‘append’，以控制当表已存在时的行为。
• 设置 index=False 可以防止 Pandas 将 DataFrame 的索引作为一列写入数据库。
  确保在写入数据之前，DataFrame 的列数据类型与数据库中的列数据类型兼容。

🔧 4. 总结

  本文介绍了如何使用 Pandas 和 SQLAlchemy 将 DataFrame 数据写入 MySQL 数据库。通过创建数据库连接引擎和使用 to_sql 方法，我们可以方便地将数据导入到数据库中。这些技术在数据迁移和数据仓库操作中非常有用。希望这篇博客能够帮助你更好地理解并应用这些数据导入技巧。