MongoDB 排序超过内存限制

最新推荐文章于 2024-07-26 09:38:02 发布

原创最新推荐文章于 2024-07-26 09:38:02 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#mongodb #java

MongoDB 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了解决MongoDB在大数据集上进行排序操作时遇到的内存限制错误的方法。通过设置`allowDiskUse`参数为`true`，MongoDB可以使用磁盘空间来完成排序过程，避免因内存不足而导致的操作失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：MongoDB 排序超过内存限制，报错

报错信息：

Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in.

解决方案：

mongo 对大数据集进行 aggregate 集合操作，处理各 stage 阶段中，为了避免 pipeline 的 stage 的内存使用过大而报错。需要设置 allowDiskUse 为 true ，使用系统缓存，以临时文件进行存储。

mongo 语句

db.message.aggregate([
	{
		$sort: {
			"seqno": -1,
			"version": -1
		}
	},
	{
		$group: {
			_id: {"seqno": "$seqno"},
			name: {$first: "$name"},
			seqno: {$first: "$seqno"}
		}
	}
],{
	allowDiskUse: true
})

Java 代码

Spring Data MongoDB 2.0 以上版本：

// 设置allowDiskUse=true使用系统缓存，以临时文件进行存储
AggregationOptions options = AggregationOptions.builder().allowDiskUse(true).build();

// 排序
Sort sort = new Sort(Sort.Direction.DESC, Arrays.asList("seqno", "version"));

// 分组
GroupOperation groupOperations = Aggregation.group("seqno");
groupOperations = groupOperations.first("seqnon").as("seqno");
groupOperations = groupOperations.first("name").as("name");
groupOperations = groupOperations.first("version").as("version");

Aggregation newAggregation = Aggregation.newAggregation(
      // 先按 seqno、version排序，后分组取第一条，即 version 最大的那条记录
      Aggregation.sort(sort),
      groupOperations
).withOptions(options);

Spring Data MongoDB 2.0 以下版本：

AggregationOptions aggregationOptions = new AggregationOptions(true, false, null);