Mongo内存排序的问题

已于 2023-04-03 16:17:45 修改
阅读量216 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 21天学会MongoDB 文章标签： mongodb 数据库
于 2023-01-31 15:30:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uniquewonderq/article/details/128564546
MongoDB在排序操作超过32MB内存限制时会报错。解决方案包括为排序字段添加索引或限制排序数据大小。在非聚合查询中，添加索引或减少数据量即可；在聚合查询中，可通过allowDiskUse设置允许使用磁盘。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. 问题现场

在这里插入图片描述

Caused by: com.mongodb.MongoQueryException: Query failed with error code 96 and error message 'Executor error during find command :: caused by :: errmsg: "Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit."' on server 192.168.0.130:27017

2. 问题分析

查看错误信息我们可以发现，more than th

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MongoDB 排序超过内存限制的问题
悟已往之不谏，知来者之可追
11-03 681
MongoDB 排序超过内存限制的问题
mongo内存中排序可能会导致ram不足报错
悟已往之不谏，知来者之可追
10-29 624
mongo内存中排序可能会导致如果对查询结果较大的数据量进行排序，超过了一定的ram大小，那么就会提示ram不足。 我这里提示 maximum 33554432 bytes 也就是 大约32M的情况下，就已经开始提示了。所以建议，如果一次性查出了很大的数据量，就不要在内存中排序了。ram不足报错
MongoDB增加排序内存--版本4.4.1
weixin_43054437的博客
11-09 1041
调取大量文件并进行排序时，MongoDB报错，超出内存使用范围，报错信息如下： mongo排序默认的最大内存限制为100m，超出这个限制就会报错。所以查询时查询的字段过多，查询的数据量过大等情况导致排序缓存超出限制会产生这样的问题。 增大内存指令： 进入MongoDB后 use admin # 设置 db.adminCommand({setParameter:1, internalQueryMaxBlockingSortMemoryUsageBytes:209715200}) # 查询.
关于设计mongodb索引，涉及到内存排序问题解决
第二颗大白菜
12-15 653
关于设计mongodb索引，涉及到内存排序问题解决 查询脚本如下： db.QuickReplyTemplate.find({ "sceneKey": "responseMsg", "termId": 1, "isDelete": false }).sort({ "updatedOn": 1 }).explain("executionStats"); 很简单一个查询，然后我们需要设计两个索引，看看mongodb执行器对这两个索引如何选择优化？ db.getCo...
Mongodb sort排序时内存报错
youlinhuanyan的博客
12-04 918
背景 在使用node.js+mongodb开发的后端项目，在查询时，使用了排序，出现如下报错 Mongodb: Sort operation used more than the maximum 33554432 bytes of RAM Mongodb的sort操作是把数据拿到内存中再进行排序的，默认给sort操作分配的内存为32MB，当查询数据量比较大时，超过32MB，则报错 解决方案有个思...
解决MongoDB 排序超过内存限制的问题
09-09
最近小编遇到这样的问题：对集合执行一个大排序操作（如聚合），出现以下错误：（测试版本：MongoDB 3.0.6），怎么快速解决此问题呢？下面小编给大家分享MongoDB 排序超过内存限制的解决方法，一起看看吧
MongoDB实例内存问题排查指南
三思的博客
02-08 1254
文章目录一、MongoDB内存使用概览1.1 存储引擎对内存的消耗1.2 TCP 连接及请求处理二、如何控制MongoDB内存使用率2.1 合理配置cacheSizeGB2.2 控制并发连接数2.3 配置swap2.4 其他 一、MongoDB内存使用概览 MongoDB内存消耗主要有两部分： 1、存储引擎 2、client建立的连接的请求处理 1.1 存储引擎对内存的消耗 MongoDB 3.2版本之后默认存储引擎位wiredtiger,wiredtiger存储引擎可以通过cacheSizeGB来进行控
如何解决MongoDB排序超过内存限制的问题
最新发布
My_wife_QBL的博客
07-26 1515
然而，在处理大规模数据时，尤其是在进行排序操作时，MongoDB可能会遇到内存限制的问题。MongoDB的默认行为是在内存中排序结果，当结果集超出内存限制时，可能导致查询失败或性能下降。通过这种方式，MongoDB在处理数据时不会一次性将所有数据加载到内存中，而是采用流式处理，从而减少内存占用。例如，如果你经常需要按用户ID和创建日期排序，可以将用户的信息冗余到每个相关文档中，以减少后续查询时的开销。通过限制结果集的大小，MongoDB需要在内存中处理的数据量减少，从而降低内存消耗。
使用MongoDB查询数据时报错
刚毅的博客
02-18 1483
使用MongoDB查询数据分页时报错 在从MongoDB中查询数量大，分页操作时会报错 Queryfailedwitherrorcode96anderrormessage'Executorerrorduringfindcommand::causedby::errmsg:"Sortoperationusedmorethanthemaximum3...
Mongo DB 执行查询语句的排序时内存占用过大
weixin_44670952的博客
10-12 669
问题描述 报错信息：com.mongodb.MongoQueryException: Query failed with error code 96 and error message 'Executor error during find command :: caused by :: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit. 百度了一
Mongodb数据库Query failed with error code 96 and error message 'Executor error during find command
热门推荐
越努力越有钱的博客
10-29 1万+
mongodb在查询集合时，数据量特别大时，报以下错误 Query failed with error code 96 and error message 'Executor error during find command: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Ad...
MongoDB 排序超过内存限制
程序员阿文
11-20 1727
问题：MongoDB 排序超过内存限制，报错 报错信息： Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in. 解决方案： mongo 对大数据集进行 aggregate 集合操作，处理各 stage 阶段中，为了避免 pipeline 的 stage 的内存使用过大而报错。需要设
技术分享 | MongoDB 一次排序超过内存限制的排查
07-03 876
作者：任仲禹 本文目录： 一、背景 1. 配置参数检查 2. 排序字段是否存在索引 二、测试环境模拟索引对排序的影响 1. 测试环境信息 2. 报错语句的执行计划解释 3. 建立新的组合索引进行测试 三、引申的组合索引问题 1. 查询语句中，排序字段 _id 使用降序 2....
MongoDB排序异常
dhmkjv0619的博客
05-29 624
com.mongodb.MongoQueryException: Query failed with error code 96 and error message 'Executor error during find command: OperationFailed: Sort operation used more than the maximum 33554432 bytes o...
MongoDB排序内存不够问题
weixin_34235135的博客
09-11 1739
2019独角兽企业重金招聘Python工程师标准>>> ...
mongodb中大内存排序注意的
jackyrongvip的专栏
11-17 533
在mongodb 2.6中，如果内存中排序超过100m的，会报错，必须设置 allowDiskUse开关，使用文件进行外排序 db.bigdata.aggregate( [ {$group : {_id : "$range", total : { $sum : 1 }}}, {$sort : {total : -1}} ], {allowDiskUse: true} );...
（转）mongo的内存（牛A文章）
走在左边
08-19 1033
转http://blog.nosqlfan.com/html/2865.html [code="java"]MongoDB与内存 作者：nosqlfan on 星期五, 八月 19, 2011 · 评论本文 本文转载自火丁笔记，文章对Linux的虚拟内存管理机制做了简单介绍，对MongoDB的MMAP的内存映射机制做了描述，后面也说到了一些MongoDB内存使用上的监控和优化。是一篇Mon...
mongodb查询语句_技术分享 | MongoDB 一次排序超过内存限制的排查
weixin_39593498的博客
12-01 475
本文目录：一、背景1. 配置参数检查2. 排序字段是否存在索引二、测试环境模拟索引对排序的影响1. 测试环境信息2. 报错语句的执行计划解释 3. 建立新的组合索引进行测试三、引申的组合索引问题1. 查询语句中，排序字段 _id 使用降序2. 查询语句中，排序字段 Num 和 _id 全部使用降序四、引申的聚合查询问题1.Sort stage 使用内存排序五、结论1. 排序内存限制的问题...
mongodb分页排序获取数据 导致超出32M限制
ylzhusky的博客
03-28 3928
mongodb 分页排序获取数据导致超出32M限制：Sort operation used more than the maximum 33554432 bytes of RAM 异常： "exception":"org.springframework.data.mongodb.UncategorizedMongoDbException", "message":"Query failed ...
mongoTemplate 联表查询排序乱序
03-28
如果使用mongoTemplate进行联表查询时，按照某个字段进行排序，但是查询结果却乱序的话，可能是因为mongoDB默认是在内存中进行排序的，而如果查询结果的数据量过大，内存不足时就会出现乱序的情况。 解决方法如下：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Think_Higher

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值