Java百万级别数据Excel表导入导出实战

最新推荐文章于 2025-07-04 14:00:34 发布

原创最新推荐文章于 2025-07-04 14:00:34 发布 · 1.4k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#java #excel #开发语言

在实际开发中，处理百万级别数据的Excel表导入导出是一个较为常见且具有挑战性的场景。本文将结合常用的开源库Apache POI与SAX解析方法，详细讲解如何实现高效的Excel数据导入导出。

常见问题

内存溢出：Excel文件较大时，直接加载可能导致内存不足。
性能瓶颈：数据量大时，处理速度慢影响用户体验。

为了解决上述问题，我们需要采用流式操作和分批处理的方式优化性能和资源利用。

工具选择

Apache POI：操作Excel文件的强大工具，支持Excel 97-2007及以上版本。
SAX解析：事件驱动模式，适合处理大数据量的Excel文件。
EasyExcel：阿里巴巴开源工具，专注于高效处理大数据量的Excel文件。

数据导入

1. 基于Apache POI + SAX解析

步骤：

使用XSSFReader加载Excel文件。
使用SAX事件模式逐行读取内容。

核心代码示例：

import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.eventusermodel.XMLReaderFactory;
import org.apache.poi.xssf.model.SharedStringsTable;
import org.xml.sax.InputSource;
import org.xml.sax.XMLReader;

import java.io.InputStream;

public class ExcelSAXImport {
    public void importExcel(String filePath) throws Exception {
        OPCPackage pkg = OPCPackage.open(filePath);
        XSSFReader reader = new XSSFReader(pkg);
        SharedStringsTable sst = reader.getSharedStringsTable();

        XMLReader parser = XMLReaderFactory.createXMLReader();
        parser.setContentHandler(new ExcelHandler(sst));

        InputStream sheet = reader.getSheet("rId1");
        InputSource sheetSource = new InputSource(sheet);
        parser.parse(sheetSource);
        sheet.close();
    }
}

2. 基于EasyExcel

EasyExcel更简洁的流式处理：

import com.alibaba.excel.EasyExcel;

public class ExcelEasyImport {
    public void importExcel(String filePath, Class<?> dataClass) {
        EasyExcel.read(filePath, dataClass, new ExcelDataListener()).sheet().doRead();
    }
}

其中，ExcelDataListener是继承AnalysisEventListener的自定义监听器。

3. 数据清洗与校验

导入过程中，数据可能存在脏数据（如缺失值、格式错误等）。建议在读取时结合规则对数据进行校验与清洗。

示例代码：

public class DataValidator {
    public boolean isValidRow(List<String> row) {
        // 校验逻辑，比如检查非空、格式等
        return row.stream().noneMatch(String::isEmpty);
    }
}

使用时在导入的监听器中调用该校验方法，对数据进行过滤。

数据导出

1. 分批导出

由于大文件数据较多，我们需要将数据分批写入，避免一次性加载所有数据。

Apache POI分批写入示例：

import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;

import java.io.FileOutputStream;
import java.util.List;

public class ExcelExport {
    public void exportExcel(String filePath, List<List<String>> data) throws Exception {
        SXSSFWorkbook workbook = new SXSSFWorkbook(100);
        Sheet sheet = workbook.createSheet("Data");

        int rowIndex = 0;
        for (List<String> rowData : data) {
            Row row = sheet.createRow(rowIndex++);
            for (int colIndex = 0; colIndex < rowData.size(); colIndex++) {
                Cell cell = row.createCell(colIndex);
                cell.setCellValue(rowData.get(colIndex));
            }
        }

        try (FileOutputStream out = new FileOutputStream(filePath)) {
            workbook.write(out);
        }
        workbook.dispose();
    }
}

2. EasyExcel快速导出

EasyExcel的流式写入非常高效：

import com.alibaba.excel.EasyExcel;

public class ExcelEasyExport {
    public void exportExcel(String filePath, Class<?> dataClass, List<?> data) {
        EasyExcel.write(filePath, dataClass).sheet("Sheet1").doWrite(data);
    }
}

3. 自定义样式

可以通过工具类设置导出Excel的表头样式或数据样式。

示例代码：

import com.alibaba.excel.write.style.column.LongestMatchColumnWidthStyleStrategy;

public class StyledExcelExport {
    public void exportWithStyle(String filePath, Class<?> dataClass, List<?> data) {
        EasyExcel.write(filePath, dataClass)
                .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy())
                .sheet("StyledSheet")
                .doWrite(data);
    }
}