poi之SXSSFWorkbook导出十几万数据到Excel花费时间很长

<think>好的，我现在需要帮助用户优化Apache POI的SXSSFWorkbook导出十多万条数据到Excel的性能。首先，我得回想一下SXSSFWorkbook的工作原理。SXSSFWorkbook是POI的流式API，专门用于处理大数据量的导出，它通过滑动窗口机制在内存中只保留一定数量的行，其他的行会被写入磁盘临时文件，这样可以减少内存占用[^1]。 用户提到导出十多万条数据，可能遇到内存不足或速度慢的问题。根据之前的引用内容，分批次读取数据、流式写入、调整缓存大小和关闭连接是关键。接下来我需要具体分析每个优化点。 首先，分批次读取数据。如果用户的数据源是数据库，使用分页查询（LIMIT和OFFSET）来分批获取数据，而不是一次性加载所有数据到内存。这样可以避免内存峰值，同时减轻数据库压力。例如，每批读取1000条，处理完再读下一批。 然后是流式写入。确保在创建SXSSFWorkbook时设置适当的窗口大小，比如new SXSSFWorkbook(1000)，这样内存中最多保留1000行，超过的部分会被写入临时文件。但要注意，窗口大小不能太小，否则频繁的磁盘IO会影响性能。需要根据数据行的大小和可用内存找到一个平衡点。 接下来是缓存设置。POI的默认缓存可能不适合大数据量，调整SXSSFWorkbook的压缩临时文件的缓存大小，比如使用setCompressTempFiles(true)来启用压缩，减少磁盘空间占用。同时，可以通过系统属性设置临时文件的位置到SSD等高速存储设备，加快IO速度。 样式优化也是一个重点。避免为每个单元格单独创建样式，因为样式对象会占用大量内存。应该提前创建所需的样式，并在多个单元格中复用。例如，定义标题样式、数据样式等，然后在循环中重复使用这些样式对象。 关闭不必要的资源。处理完每一批数据后，及时调用flushRows()方法将数据写入磁盘，并清理不再需要的行。最后，在导出完成后，调用dispose()方法删除临时文件，释放资源。同时，确保关闭Workbook和输出流，避免资源泄漏。 数据生成的优化方面，可以考虑禁用公式计算和链接检查，使用SXSSFSheet的setRandomAccessWindowSize()来控制访问窗口的大小，减少内存中的缓存数据量。此外，如果不需要某些特性，比如自动调整列宽，可以在导出完成后再统一调整，避免每次写入都计算列宽。 还有一些其他注意事项，比如避免在循环中创建大量临时对象，尽量重用对象；使用字符串缓存池（如POI的SharedStringsTable）来减少重复字符串的内存占用；如果数据中有大量重复内容，可以提前处理成共享字符串，节省空间。 最后，参考引用[1]中的建议，分页导出是关键。结合分批次读取和流式写入，确保每个批次的数据处理完毕后及时释放内存。同时，监控内存使用情况和导出时间，根据实际情况调整批次大小和窗口大小，找到最优配置。 总结下来，优化步骤包括分批次处理、调整窗口和缓存、样式复用、资源管理和数据生成优化。需要逐一检查用户的代码，看是否有可以改进的地方，比如是否有不必要的样式创建，是否正确关闭资源，是否使用了分页查询等。此外，建议用户进行性能测试，逐步调整参数以达到最佳效果。</think>### 优化Apache POI SXSSFWorkbook导出大量数据的性能措施 #### 1. **分批次处理数据** - **分页读取数据源**：若数据来自数据库，使用分页查询（如`LIMIT`和`OFFSET`）逐批加载数据，避免一次性加载所有数据到内存。例如： ```java int pageSize = 1000; for (int page = 0; ; page++) { List<Data> batch = queryDataFromDatabase(page * pageSize, pageSize); if (batch.isEmpty()) break; writeBatchToExcel(batch); } ``` - **流式写入行**：每处理完一批数据后立即写入Excel，减少内存占用。 #### 2. **调整SXSSFWorkbook参数** - **设置合理的窗口大小**：通过构造函数`SXSSFWorkbook(windowSize)`控制内存中保留的行数。例如： ```java SXSSFWorkbook workbook = new SXSSFWorkbook(1000); // 内存中最多缓存1000行 ``` 窗口大小需根据数据行复杂度调整：行越复杂（如样式多），窗口应越小。 #### 3. **优化样式和格式** - **复用样式对象**：避免在循环中重复创建`CellStyle`。提前定义样式并复用： ```java CellStyle headerStyle = workbook.createCellStyle(); headerStyle.setFillForegroundColor(IndexedColors.GREY_25_PERCENT.getIndex()); // 后续所有标题单元格使用headerStyle ``` - **禁用自动调整列宽**：在写入数据时关闭`autoSizeColumn`，导出完成后再统一调整： ```java sheet.trackAllColumnsForAutoSizing(); // 数据写入完成后 for (int i = 0; i < columns; i++) { sheet.autoSizeColumn(i); } ``` #### 4. **管理临时文件和资源** - **启用临时文件压缩**：减少磁盘占用： ```java workbook.setCompressTempFiles(true); ``` - **手动清理临时文件**：导出完成后调用`dispose()`： ```java workbook.dispose(); // 删除临时文件 ``` #### 5. **减少内存开销** - **禁用公式计算**：若不需要公式，关闭相关功能： ```java workbook.setForceFormulaRecalculation(false); ``` - **使用字符串缓存**：对于重复的字符串值，利用`SharedStringsTable`优化存储： ```java // 默认启用，需确保数据中有重复文本 ``` #### 6. **代码示例 ```java try (SXSSFWorkbook workbook = new SXSSFWorkbook(1000)) { workbook.setCompressTempFiles(true); Sheet sheet = workbook.createSheet("Data"); // 预定义样式 CellStyle dataStyle = workbook.createCellStyle(); dataStyle.setDataFormat(workbook.createDataFormat().getFormat("@")); // 文本格式 int pageSize = 2000; for (int page = 0; ; page++) { List<Data> batch = fetchDataBatch(page, pageSize); if (batch.isEmpty()) break; for (Data item : batch) { Row row = sheet.createRow(currentRow++); Cell cell = row.createCell(0); cell.setCellValue(item.getId()); cell.setCellStyle(dataStyle); // 复用样式 // ...其他列 } // 每处理完一批次，手动刷新 if (currentRow % 1000 == 0) { ((SXSSFSheet) sheet).flushRows(1000); // 强制写入磁盘 } } // 最终调整列宽 for (int i = 0; i < columns; i++) { sheet.autoSizeColumn(i); } } ``` #### 7. **其他注意事项** - **输出流使用缓冲**：写入文件时使用`BufferedOutputStream`提升IO效率： ```java try (FileOutputStream fos = new FileOutputStream("output.xlsx"); BufferedOutputStream bos = new BufferedOutputStream(fos)) { workbook.write(bos); } ``` - **JVM参数调优**：增加堆内存（如`-Xmx4G`）并设置临时目录为高速存储： ```bash -Djava.io.tmpdir=/path/to/ssd/tmp ``` --- ###