java项目两种方法实现大批量数据：存在就更新，不存在就新增，脏数据就删除。

柠澈！

已于 2024-04-11 15:02:06 修改

阅读量1.1k

点赞数 3

CC 4.0 BY-SA版权

文章标签： java 开发语言

于 2024-04-11 14:48:11 首次发布

本文链接：https://blog.csdn.net/qq_57703172/article/details/137240798

本文介绍了两种在Java项目中处理大批量数据的方法：一是通过检查数据是否存在并更新或新增，同时删除脏数据；二是采用批次号策略，存储两批数据，仅进行新增和删除，不进行修改。作者还展示了如何使用线程池并发处理和事务管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

java项目两种方法实现大批量数据：存在就更新，不存在就新增，脏数据就删除。

一、法一：存在就更新，不存在就新增，原本的脏数据就删除

@Component
public class InsetUserUtils {
   
   
	@Resource
    private ThreadPoolExecutor threadPoolExecutor;

    /**
     * 方法一：
     * 存在就更新，不存在就新增，原本的脏数据就删除
     */
    public void getNewUserInfo() {
   
   
        //业务sql：查询出最新的user数据
        List<User> userList = userService.listInformation();
        if (!CollectionUtils.isEmpty(userList)) {
   
   

            // 查出全部库存,以code为key，id为value
            Map<String, Integer> cache = userService.list(new LambdaQueryWrapper<User>())
                    .stream().collect(Collectors.toMap(data -> data.getCode()
                            , User::getId));

            // 更新集合
            List<TableRowStatistics> update = new ArrayList<>();

            // 新增集合
            List<TableRowUStatistics> save = new ArrayList<>();
            for (User user : userList) {
   
   
                //数据量大可以用线程，如果数据量少可以不用
                Future<