用 Go 语言并发处理 CSV 文件到数据库

Ai 编码

于 2025-01-07 18:40:20 发布

阅读量1.3k

点赞数 20

CC 4.0 BY-SA版权

分类专栏： Golang教程文章标签： golang 数据库开发语言

本文链接：https://blog.csdn.net/wuchaoyong0413/article/details/144991293

文章正文

问题背景

假设你拥有一个包含大量联系人信息的 CSV 文件，需要将这些信息迁移到数据库中。这些联系人信息可能包含姓名、电话号码、邮箱地址等。如果使用传统的单线程方式，逐条处理数据，迁移过程可能会非常缓慢，尤其是在数据量很大时。

在处理大量的 CSV 文件数据并迁移到数据库时，使用并发可以显著提升处理效率。Go 语言的 goroutine 和通道（channel）非常适合用来并发地处理数据。

下面我将给出一个示例，展示如何使用 Go 语言并发地处理 CSV 文件，并将数据插入到数据库中。

主要思路：

读取 CSV 文件：使用 encoding/csv 包来解析 CSV 文件。
并发处理数据：将 CSV 文件的数据分批次发送到多个 goroutine 中进行并发处理。
数据库插入：每个 goroutine 从通道中接收数据并将其插入到数据库中。
同步控制：使用 sync.WaitGroup 来等待所有 goroutine 完成任务。

假设我们的数据库是 MySQL，使用 github.com/jinzhu/gorm 作为 ORM 库来处理数据库插入。我们会定义一个 Contact 结构体来映射数据库中的表，并用并发的方式将每一行 CSV 数据插入到数据库。

示例代码

1. 安装必要的依赖

首先，你需要安装 gorm 和 csv 相关的包：

go get github.com/jinzhu/gorm
go get github.com/jinzhu/gorm/dialects/mysql
go get encoding/csv

2. 数据库模型定义

我们先定义一个 Contact 结构体，它会对应数据库中的联系人表。

package main

import (
	"github.com/jinzhu/gorm"
	_ "github.com/jinzhu/gorm/dialects/mysql"
	"fmt"
)

// Contact 是数据库中表的模型
type Contact struct {
   
   
	ID        uint   `gorm:"primary_key"`
	Name      string `gorm:"size:255"`
	Phone     string `gorm:"size:255"`
	Email     string `gorm:"size:255"`
}

func initDB() (*gorm.DB