Java 大文件压缩与上传优化

 问题背景：

        在业务开发中有部分文件占内存特别大（5个G以上），并且文件夹嵌套层级关系附件（有上千个文件夹）打包下载的时候服务就会挂掉。

问题分析：

1.大文件压缩问题：

        由于在业务中这种内存很大的文件占比很低，项目初期该功能实现的时候就采用了java.util.zip下ZipOutputStream常规的压缩方法，由于是单线程执行，文件量很大的时候服务就会崩掉。

2.大文件压缩完以后上传问题：

        优化前项目中采用的是java.io下的BufferedInputStream跟BufferedOutputStream对压缩后的文件进行上传。BufferedInputStream与最原始的InputStresam相比，可以读取更大的字节块并对其进行缓冲可大大加快 IO 速度。但是文件过大缓冲区同样会过大从而占用过多内存，上传耗时会很久。

问题解决思路：

1.大文件压缩过慢问题优化：

        采用多线程压缩，加快压缩速度。通过网上翻阅资料发现org.apache.commons中存现成的多线程压缩方法，优化后压缩文件代码如下：

/**
     * 压缩文件
     *
     * @param zipFileName 压缩文件名
     * @param zipFiles 需压缩的文件列表
     */
    private void zipFiles(String zipFileName, List<ZipFileDTO> zipFiles) {
        try {
            long zipStartTime = System.currentTimeMillis();
            ParallelScatterZipCreator parallelScatterZipCreator = new ParallelScatterZipCreator(threadPoolExecutor("zip"));
            FileOutputStream outputStream = new FileOutputStream(zipFileName);
            ZipArchiveOutputStream zipArchiveOutputStream = new ZipArchiveOutputStream(outputStream);
            zipArchiveOutputStream.setEncoding("UTF-8");