多线程优化大量数据如何事务回滚

最新推荐文章于 2025-07-15 21:05:02 发布

yelrihsss

最新推荐文章于 2025-07-15 21:05:02 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Java 文章标签： java

本文链接：https://blog.csdn.net/m0_63297646/article/details/134444841

文章讨论了如何提高4万条EXCEL数据导入订单表的性能，通过多线程处理并发插入，解决线程失败时的事务管理和回滚问题，以及使用Spring的@Async和CompletableFuture等工具来实现异步处理和事务控制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

场景：

4w单的EXECL表格，导入到订单表，校验数据后落库，响应速度超过2min，大约在8min左右，这是单线程的情况下，在使用批量插入后，仍超时2min。

于是使用多线程去处理，可能出现的问题是，如果一个线程出现失败，那么应该返回响应处理失败，已插入就绪的线程任务需要回滚，但是每个线程执行的是自己的事务，那么该如何处理呢。

原因：spring中对数据库连接是放在threadLocal里面，多线程场景下，拿到的数据库连接是不一样的，即是属于不同事务。

这里提供两种解决方案：

使用completeFuture，获取到每个执行线程的结果，然后等待所有线程处理完，for循环对结果进行判断，如果存在FALSE则全部线程回滚。需要注意的是，这里的回滚，需要将sql自动提交关闭，并且获取插入的mapper。
使用切面注解，基于springboot的@Async注解，避免繁琐的手动提交/回滚事务

工具类：

将大批量的数据，分为多个集合，每个线程处理一个。

    /**
     * 拆分集合
     * @param <T>
     * @param resList  要拆分的集合
     * @param count    每个集合的元素个数
     * @return  返回拆分后的各个集合
     */
    public static <T> List<List<T>> split(List<T> resList, int count) {
        if (resList == null || count < 1) {
            return null;
        }
        List<List<T>> ret = new ArrayList<List<T>>();
        int size = resList.size();
        if (size <= count) {
            ret.add(resList);
            return ret;
        }
        int pre = size / count;
        int last = size % count;
        for (int i = 0; i < pre; i++) {
            List<T> itemList = new ArrayList<T>();
            for (int j = 0; j < count; j++) {
                itemList.add(resList.get(i * count + j));
            }
            ret.add(itemList);
        }
        if (last > 0) {
            List<T> itemList = new ArrayList<T>();
            for (int i = 0; i < last; i++) {
                itemList.add(resList.get(pre * count + i));
            }
            ret.add(itemList);
        }
        return ret;
    }

第一种：

@Service
public class StudentServiceImpl implements StudentService {
    @Autowired
    private SqlSessionTemplate sqlSessionTemplate;
    
    //自定义线程池
    private static final ThreadPoolExecutor THREAD_POOL_EXECUTOR = new ThreadPoolExecutor(
            Runtime.getRuntime().availableProcessors() * 2,
            Runtime.getRuntime().availableProcessors() * 4, 
            60L, 
            TimeUnit.SECONDS, 
            new LinkedBlockingDeque<>(256),
            new ThreadPoolExecutor.CallerRunsPolicy()
    );

    @Override
    @Transactional
    public Result importExcel(ArrayList<StudentDto> studentDtoArrayList) throws