SpringBoot 导出数据至CSV文件

lizjf

于 2024-02-05 11:17:34 发布

阅读量2.2k

点赞数 16

CC 4.0 BY-SA版权

分类专栏： java 文章标签： spring boot windows 后端

本文链接：https://blog.csdn.net/u013682979/article/details/136038556

本文介绍了在处理大数据量时，如何使用多线程分批读取CSV文件以避免内存溢出，以及利用消息队列实现数据削峰。核心展示了Java代码，包括批量写入CSV文件的方法和处理表头的逻辑。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、大数据量情况下导出csv格式文件，一般使用多线程分批读取到内存中，这样可以避免OOM情况，同时也可以使用消息队列方式，这样也可以实现数据削峰读取，本文主要是记录核心的导出CSV功能，架构没有在此文中实现

2、csv导出核心代码

String tableName = o.toString();
String path = System.getProperty("user.dir") + "\\res\\";
int pageNum = 1;
int listSize = pageSize;
// 批量写入数据
List<String[]> rows = new ArrayList<>();
// 创建 CSV 文件写入器
CsvWriter writer = new CsvWriter(path + tableName + PublicVariables.CSV_FORMAT, CharsetUtil.CHARSET_UTF_8);
            try     {
                while (listSize >= pageSize) {
                    PageHelper.startPage(pageNum, pageSize);
                    List<LinkedHashMap<String, Object>> list = environmentApiMapper.selectTaskDataInfo(tableName, pageSize);
                    String[] columnNames;
                    if (pageNum == 1 && !CollectionUtils.isEmpty(list)) {
                        LinkedHashMap<String, Object> firstData = list.get(0);
                        columnNames