切分大任务成多个子任务(事务),汇总后统一提交或回滚

一、业务场景:
  系统中存在一个盘库的功能,用户一次盘库形成一两万条的盘库明细单,一次性提交给服务器进行处理。服务器性能比较优越,平均也得运行30秒左右。性能上需要进行优化。
 
二、处理方案:
  做过代码分析后,发现单线程逻辑没有什么优化空间。开始考虑引入多线程处理模型,用10个子线程进行任务切分处理。切分子线程问题需要考虑事务的一致性。10个子线程对应10个事务,需要保证所有事务一起提交或一起回滚。这里使用synchronized(wait,notifyall)机制做线程协作。
 
三、代码实现:
   3.1、添加一个多线程协作标志类,用于做子线程运行状态统计,通知子线程做事务提交还是回滚的操作;
package simm.framework.threadutils.multi;

import java.util.UUID;

/**
 * 多线程结束标志
 * 2018.09.22 by simm
 */
public class MultiEndFlag {
    private volatile boolean fired = false;
    //是否执行成功
    private volatile boolean isAllSuccess = false;
    private volatile int threadCount = 0;
    private volatile int failCount = 0;

    /**
     * 初始化子线程的总数
     * @param count
     */
    public MultiEndFlag(int count){
        threadCount = count;
    }

    public boolean isAllSuccess() {
        return isAllSuccess;
    }

    /**
     * 等待全部结束
     * @param threadId
     * @param result
     */
    public synchronized void waitForEnd(UUID threadId,int result){
        //统计失败的线程个数
        if(result==0){
            failCount++;
        }
        threadCount--;
        while (!fired){
            try {
                wait();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }

    /**
     * 执行结束通知
     */
    public synchronized void go(){
        fired = true;
        //结果都显示成功
        isAllSuccess = (failCount == 0);
        notifyAll();
    }
    /**
     * 等待结束
     */
    public void end(){
        while (threadCount > 0){
            waitFunc(50);
        }
        System.out.println("线程全部执行完毕通知");
        go();
    }

    /**
     * 等待
     */
    private void waitFunc(long millis){
        try {
            Thread.sleep(millis);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}

   3.2、提供一个数据保存服务的接口定义,一个默认的子线程任务执行类(需要接收数据保存服务实现,业务数据,协作标志变量);

package simm.framework.threadutils.multi;

import java.util.List;
import java.util.UUID;

/**
 * 保存服务接口
 * 2018.09.22 by simm
 * @param <T>
 */
public interface ISaveService<T> {
    /**
     * 子线程批量保存方法
     * @param list
     * @param endFlag
     * @param threadId
     * @return
     * @throws Exception
     */
    Integer batchSave(List<T> list, MultiEndFlag endFlag, UUID threadId) throws Exception;
}
package simm.framework.threadutils.multi;

import java.util.List;
import java.util.UUID;
import java.util.concurrent.Callable;

/**
 * 默认的执行任务
 * 2018.09.22 by simm
 */
public class DefaultExecTask<T> implements Callable<Integer> {
    private List<T> list;
    private ISaveService saveService;
    private MultiEndFlag endFlag;
    private UUID threadId;
    /**
     * 盘库子任务
     * @param saveService
     * @param notes
     * @param flag
     */
    public DefaultExecTask(ISaveService saveService, List<T> notes, MultiEndFlag flag){
        this.saveService = saveService;
        this.list = notes;
        this.endFlag = flag;
        this.threadId = UUID.randomUUID();
    }
    @Override
    public Integer call() throws Exception {
        return saveService.batchSave(this.list,this.endFlag,this.threadId);
    }
}

 

    3.3、实现最核心的线程池分发子线程,并汇总结果通知子线程事务做最终的提交或回滚。线程池使用定长池 newFixedThreadPool,子线程使用futureTask,可接收返回值和异常信息。
package simm.framework.threadutils.multi;

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;

/**
 * 多线程切分执行器
 * 2018.09.22 by simm
 */
public class MultiExecutor {
    private static int maxThreadCount = 10;
    /**
     * 执行方法(分批创建子线程)
     * @param saveService
     * @param notes
     * @param groupLen
     * @return
     * @throws ExecutionException
     * @throws InterruptedException
     */
    public static <T> Boolean exec(ISaveService saveService,List<T> notes,int groupLen) throws ExecutionException, InterruptedException {
        if(notes==null || notes.size()==0) return true;
        //创建一个线程池,最大10个线程
        ExecutorService executorService = Executors.newFixedThreadPool(maxThreadCount);
        List<Future<Integer>> futures = new ArrayList<>();
        int noteSize = notes.size();
        int batches = (int) Math.ceil(noteSize * 1.0 /groupLen);
        //分组超长最大线程限制,则设置分组数为10,计算分组集合尺寸
        if(batches>maxThreadCount){
            batches = maxThreadCount;
            groupLen = (int) Math.ceil(noteSize * 1.0 /batches);
        }
        System.out.println("总长度:"+noteSize+"  批次信息:"+batches+"  分组长度:"+groupLen);
        MultiEndFlag flag = new MultiEndFlag(batches);
        int startIndex, toIndex, maxIndex = notes.size();
        for(int i=0;i<batches;i++){
            startIndex = i * groupLen;
            toIndex = startIndex + groupLen;
            if(toIndex> maxIndex) {
                toIndex = maxIndex;
            }
            List<T> temp = notes.subList(startIndex,toIndex);
            if(temp == null || temp.size()==0) continue;
            futures.add(executorService.submit(new DefaultExecTask(saveService,temp,flag)));
        }
        flag.end();
        //子线程全部等待返回(存在异常,则直接抛向主线程)
        for(Future<Integer> future:futures){
            future.get();
        }
        //所有线程返回后,关闭线程池
        executorService.shutdown();
        return true;
    }
}
 
四、给出一个调用伪代码。需要注意的一点,子线程开启事务,这里使用@Transactional声明式事务,这要求服务的实体类需要通过spring的bean工厂创建,得到一个动态代理类,以达到支持事务拦截器的目的,保证注解的有效性。
package multi;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import simm.framework.threadutils.multi.DefaultExecTask;
import simm.framework.threadutils.multi.ISaveService;
import simm.framework.threadutils.multi.MultiEndFlag;
import simm.framework.threadutils.multi.MultiExecutor;

import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.concurrent.ExecutionException;

/**
 * 损益单保存服务
 */
@Service
public class DemoService implements ISaveService<NoteCheckBalance> {
    private static final Logger logger = LoggerFactory.getLogger(DefaultExecTask.class);
    @Autowired
    private NoteCheckBalanceMapper noteCheckBalanceMapper;

    /**
     * 业务保存
     * @param list
     */
    public void save(List<NoteCheckBalance> list){
        for(NoteCheckBalance item :list){
            noteCheckBalanceMapper.insert(item);
        }
    }
    /**
     * 批量保存事件
     */
    @Transactional(rollbackFor = Exception.class)
    @Override
    public Integer batchSave(List<NoteCheckBalance> list, MultiEndFlag endFlag, UUID threadId) throws Exception {
        int result = 0;
        try{
            //业务操作
            save(list);
            result = 1;
            //进行waitForEnd 操作,是为了确保所有的线程都最终通知同步协作标志
            endFlag.waitForEnd(threadId ,result);
            //其他线程异常手工回滚
            if(result==1 && !endFlag.isAllSuccess()){
                String message = "子线程未全部执行成功,对线程["+threadId+"]进行回滚";
                throw new Exception(message);
            }
            return result;
        }catch (Exception ex){
            logger.error(ex.toString());
            if(result ==0){
                //本身线程异常抛出异常,通知已经做完(判断是为了防止 与 try块中的通知重复)
                endFlag.waitForEnd(threadId ,result);
            }
            throw ex;
        }
    }

    /**
     * 调用示例
     * @param args
     * @throws ExecutionException
     * @throws InterruptedException
     */
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        //调用示例
        MultiExecutor.exec(new DemoService(), new ArrayList<NoteCheckBalance>(),500);
    }
}
 
参考文章

转载于:https://www.cnblogs.com/MrSi/p/9690937.html

### 父事务事务的关系 在分布式系统多层架构应用中,父事务可以包含多个子事务。每个子事务代表一个独立的操作单元,而父事务则负责协调这些事务的行为。 #### 提交机制 当所有事务都成功完成后,父事务才会尝试提交整个事务链。这意味着: - 所有事务必须全部成功才能触发最终的提交动作[^2]。 - 如果任何一个子事务失败,则整个父事务会被标记为失败并进入回滚流程[^4]。 ```java @Transactional(propagation = Propagation.REQUIRED) public void parentTransaction() { try { childTransaction1(); childTransaction2(); // 更多事务... } catch (Exception e) { throw new RuntimeException("Parent transaction failed", e); } } @Transactional(propagation = Propagation.REQUIRES_NEW) private void childTransaction1() { /* 事务逻辑 */ } @Transactional(propagation = Propagation.REQUIRES_NEW) private void childTransaction2() { /* 另一事务逻辑 */ } ``` 这段代码展示了如何在一个Spring环境中配置父事务。`parentTransaction()` 方法作为父事务,它调用了两个带有 `REQUIRES_NEW` 属性的方法来创建新的、独立的事务上下文。 #### 回滚机制 一旦某个子事务抛出了未捕获异常其他形式的错误信号,这将导致其所在的局部事务被标记为只读(即不能再继续写入),并且会向上传播这个状态给父事务处理器。此时会有两种情况发生: - **自动回滚**:如果使用的是声明式的事务管理方式(如通过注解),那么只要检测到了异常,默认情况下就会启动全局性的回滚过程,撤销自当前事务开始以来所做的任何更改。 - **手动控制**:开发者也可以显式地标记某些特定类型的异常不应引起回滚行为,者相反地指定哪些应该强制回滚。例如,在Java EE/Spring框架下可以通过设置 `@Transactional(noRollbackFor=..., rollbackFor=...)` 来定制这一特性。 #### 隔离级别影响 值得注意的是,不同级别的隔离度也会影响父事务事务间相互作用的方式以及它们对外界可见性的影响。较高的隔离等级能够更好地保护并发访问期间的数据一致性,但也可能带来性能上的开销。因此选择合适的隔离级对于优化应用程序至关重要[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值