es 错误：EsRejectedExecutionException

最新推荐文章于 2025-01-17 16:15:00 发布
最新推荐文章于 2025-01-17 16:15:00 发布
阅读量1.5w 收藏 10
点赞数 2
分类专栏： 程序人生 文章标签： es error
当ES索引速度无法跟上client端发送bulk请求的速度，导致请求队列满并开始拒绝新请求时，可通过调整elasticsearch.yml中bulk线程池配置来解决。具体操作为增加线程池大小和队列容量。
  • 错误详情
{
	"index": {
		"status": 429,
		"error": {
			"type": "es_rejected_execution_exception",
			"reason": "rejected execution of org.elasticsearch.transport.TransportService$7@637a429f on EsThreadPoolExecutor[name = i-ituvdmlo\\/bulk, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@6666a774[Running, pool size = 4, active threads = 4, queued tasks = 200, completed tasks = 18696879]]"
		}
	}
}

  • 原因：
    ES索引数据的速度已经跟不上client端发送bulk请求的速度，请求队列已满以致开始拒绝新的请求。

  • 解决办法：
    打开 elasticsearch.yml 末尾加上

threadpool:
bulk:
type: fixed
size: 60
queue_size: 1000

重新启动服务

参考：https://blog.csdn.net/CenturyBole/article/details/80536488

如何使用 Flink Connectors —— ElasticSearch？
http://www.54tianzhisheng.cn/
09-22 1002
准备环境和依赖 ElasticSearch 安装 因为在 2.1 节中已经讲过 ElasticSearch 的安装，这里就不做过多的重复，需要注意的一点就是 Flink 的 ElasticSearch Connector 是区分版本号的。 所以添加依赖的时候要区分一下，根据你安装的 ElasticSearch 来选择不一样的版本依赖，另外就是不同版本的 ElasticSearch 还会导致下面的...
flink实战--数据写入ES（ElasticSearch）
热门推荐
阿华田的博客
02-15 1万+
简介 Flink内置了Elasticsearch Connector用于对ES进行数据的操作，里面主要的类是ElasticsearchSink，使用时我们需要实现里面的抽象方法，自定义自己的逻辑。 版本说明： ES版本：6.3.2 flink 1.6.1 需要添加的依赖 <dependency> <groupId>org....
elasticsearch EsRejectedExecutionException[rejected execution (queue capacity 50)
ESOO
08-23 2603
线上服务经过一段时间跑之后，发现es有丢消息的情况，经过排查发现，出现了一些bug，以下是bug全貌： [8663]: index [logstash_apifile-trans-usercenter-22], type [perform_log_trans-userCenter], id [AWVfVq-CIB0x6NjELW1y], message [RemoteTransportExce...
retrying failed action with response code: 429 ({“type“=＞“es_rejected_execution_exception“, “reason“
David_yspeng的博客
01-11 2482
retrying failed action with response code: 429 ({“type”=>“es_rejected_execution_exception”, “reason”=>“rejected execution of processing of [2270115][indices:data/write/bulk[s][p]]: request: BulkShardRequest [[ami-2022.01.11][1]] containing [88] reque
RejectedExecutionException 拒绝策略异常类解析
小白爱学习的专栏
07-27 2212
package test.java.util.concurrent; import java.util.concurrent.RejectedExecutionException; import org.junit.Test; /** * RejectedExecutionException的测试类 * * @date 2020-07-27 21:57:08 */ public class RejectedExecutionExceptionTest { /** .
Elasticsearch status 429 "es_rejected_execution_exception"
hyx216的专栏
05-13 1万+
问题 当我将数据写入集群时，收到类似于以下内容的错误消息： error":"elastic: Error 429 (Too Many Requests): rejected execution of org.elasticsearch.transport.TransportService$7@b25fff4 on EsThreadPoolExecutor[bulk, queue capac...
EsRejectedExecutionExceptionindices:data/read/mget[shard]异常处理与线程池设置
闫玉林的博客
06-30 1514
报错 elasticsearch查询失败 java日志： org.frameworkset.elasticsearch.ElasticSearchException: java.net.SocketTimeoutException: Read timed out at org.frameworkset.elasticsearch.client.ElasticSearchRestClient._executeHttp(ElasticSearchRestClient.java:636) at org.f
学英文学技术：Elasticsearch 写调优
zfj321的博客
01-17 671
使用批量请求： 为了获得更好的性能，采用批量请求而不是单个文档索引。通过基准测试，逐步增加批量请求中的文档数量（每次翻倍）直到性能增长达到平稳期，确定最佳批量大小。使用多个工作线程/进程： 使用多个线程或进程发送数据到Elasticsearch，可以充分利用集群资源并降低每个fsync的成本。监控过多请求错误： 注意TOO_MANY_REQUESTS (429)错误（Java客户端中的EsRejectedExecutionException），这意味着集群无法处理当前的索引速率。
flink 写入到es_Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)
weixin_39841572的博客
12-31 2677
Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)发布时间：2018-07-19 20:12,浏览次数：1636, 标签：FlinkElasticSearch一、ElasticSearchSink介绍在使用Flink进行数据的处理的时候，一个必要步骤就是需要将计算的结果进行存储或导出，Flink中这个过程称为Sink，官方我们提供了常用的几种Sin...
2025-08-29 20:02:00,016 ERROR [][I/O dispatcher 6][search.client.ElasticSearchClient$1 158] Insert failed org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception [type=es_rejected_execution_exception, reason=rejected execution of org.elasticsearch .action.bulk.TransportBulkAction$1$1@4392fa63 on EsThreadPoolExecutor[name = cmp-192.168.0.163\/write, queue capacity = 10000, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@1ff8f46d[Running, pool size = 16, active threads = 16, queued tasks = 1000 0, completed tasks = 46579255]]] at org.elasticsearch.rest.BytesRestResponse.errorFromXContent(BytesRestResponse.java:187) ~[elasticsearch-1.0.2-c7.10.2-htrunk1.jar:1.0.2-c7.10.2-htrunk1] at org.elasticsearch.client.RestHighLevelClient.parseEntity(RestHighLevelClient.java:1911) ~[elasticsearch-rest-high-level-client-1.0.2-c7.10.2-htrunk1.jar:1.0.2-c7.10.2-htrunk1] at org.elasticsearch.client.RestHighLevelClient.parseResponseException(RestHighLevelClient.java:1888) ~[elasticsearch-rest-high-level-client-1.0.2-c7.10.2-htrunk1.jar:1.0.2-c7.10.2-htrunk1] at org.elasticsearch.client.RestHighLevelClient$1.onFailure(RestHighLevelClient.java:1804) [elasticsearch-rest-high-level-client-1.0.2-c7.10.2-htrunk1.jar:1.0.2-c7.10.2-htrunk1] at org.elasticsearch.client.RestClient$FailureTrackingResponseListener.onDefinitiveFailure(RestClient.java:644) [elasticsearch-rest-client-1.0.2-c7.10.2-htrunk1.jar:1.0.2-c7.10.2-htrunk1] at org.elasticsearch.client.RestClient$1.completed(RestClient.java:386) [elasticsearch-rest-client-1.0.2-c7.10.2-htrunk1.jar:1.0.2-c7.10.2-htrunk1] at org.elasticsearch.client.RestClient$1.completed(RestClient.java:370) [elasticsearch-rest-client-1.0.2-c7.10.2-htrunk1.jar:1.0.2-c7.10.2-htrunk1] at org.apache.http.concurrent.BasicFuture.completed(BasicFuture.java:122) [httpcore-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.client.DefaultClientExchangeHandlerImpl.responseCompleted(DefaultClientExchangeHandlerImpl.java:181) [httpasyncclient-4.1.4.jar:4.1.4] at org.apache.http.nio.protocol.HttpAsyncRequestExecutor.processResponse(HttpAsyncRequestExecutor.java:448) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.nio.protocol.HttpAsyncRequestExecutor.inputReady(HttpAsyncRequestExecutor.java:338) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.DefaultNHttpClientConnection.consumeInput(DefaultNHttpClientConnection.java:265) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:81) [httpasyncclient-4.1.4.jar:4.1.4] at org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:39) [httpasyncclient-4.1.4.jar:4.1.4] at org.apache.http.impl.nio.reactor.AbstractIODispatch.inputReady(AbstractIODispatch.java:114) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.reactor.BaseIOReactor.readable(BaseIOReactor.java:162) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvent(AbstractIOReactor.java:337) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvents(AbstractIOReactor.java:315) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.reactor.AbstractIOReactor.execute(AbstractIOReactor.java:276) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.reactor.BaseIOReactor.execute(BaseIOReactor.java:104) [httpcore-nio-4.4.15.jar:4.4.15] at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor$Worker.run(AbstractMultiworkerIOReactor.java:591) [httpcore-nio-4.4.15.jar:4.4.15] at java.lang.Thread.run(Thread.java:750) [?:1.8.0_452] Suppressed: org.elasticsearch.client.ResponseException: method [POST], host [http://192.168.0.163:7300], URI [/_bulk?timeout=1m], status line [HTTP/1.1 429 Too Many Requests] Warnings: [Parameter [doc_values] has no effect on type [text] and will be removed in future] {"error":{"root_cause":[{"type":"es_rejected_execution_exception","reason":"rejected execution of org.elasticsearch.action.bulk.TransportBulkAction$1$1@4392fa63 on EsThreadPoolExecutor[name = cmp-192.168.0.163/write, queue capacity = 10000, org.elasticsearch.comm on.util.concurrent.EsThreadPoolExecutor@1ff8f46d[Running, pool size = 16, active threads = 16, queued tasks = 10000, completed tasks = 46579255]]"}],"type":"es_rejected_execution_exception","reason":"rejected execution of org.elasticsearch.action.bulk.TransportBu lkAction$1$1@4392fa63 on EsThreadPoolExecutor[name = cmp-192.168.0.163/write, queue capacity = 10000, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@1ff8f46d[Running, pool size = 16, active threads = 16, queued tasks = 10000, completed tasks = 4657 9255]]"},"status":429}
最新发布
08-30
我们面对的是Elasticsearch在插入数据时出现的"es_rejected_execution_exception"错误。根据引用[2]和[3]，这个错误通常与线程池队列饱和或资源不足有关。具体来说，引用[2]提到“rejected execution of processing ...
解决ElasticSearch 7.x 设置大分片的时，导入数据发生rejected 429
01-20
使用logstash导入分片数量为100的index发生错误 [logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({type=>es_rejected_execution_exception, reason=>rejected execution of processing of [12373521] [indices:data/write/bulk[s][p]]: request: BulkShardRequest [[suricatadns140][97]] cont
分布式搜索elasticsearch高级配置之（二）------线程池设置
云端分布式搜索技术
09-04 1万+
一个Elasticsearch节点会有多个线程池，但重要的是下面四个： 索引（index）：主要是索引数据和删除数据操作（默认是cached类型） 搜索（search）：主要是获取，统计和搜索操作（默认是cached类型） 批量操作（bulk）：主要是对索引的批量操作（默认是cached类型） 更新（refresh）：主要是更新操作（默认是cached类型） 可以通过给设置一个参数来
EsRejectedExecutionException排错与线程池类型
weixin_30918415的博客
10-02 640
1、EsRejectedExecutionException异常示例 java.util.concurrent.ExecutionException: RemoteTransportException[[node-client10][10.93.21.21:9300][indices:data/write/update]]; nested: RemoteTransportExcepti...
elasticsearch bulk报错EsRejectedExcutionException[rejected execution(queue capacity 50) on.......]
BrotherDong90的专栏
06-15 8117
最近在使用elasticsearch的时候，遇到这样一个问题，其实一看大家都知道。就是队列过长了。处理不过来导致失败了。这里从官网查了一下资料，在进行bulk操作的时候默认是50个。这样，很容易就会报这种错误。我们需要调大一些。下面是官网关于Thread Pool的介绍 Thread Pooledit On this page Thread p
ES线程池设置以及EsRejectedExcutionException排查
拉丁解牛技术专栏
01-18 5415
    每个Elasticsearch节点内部都维护着多个线程池，如index、search、get、bulk等，用户可以修改线程池的类型和大小，线程池默认大小跟CPU逻辑一致。 一、查看当前线程组状态      curl -XGET 'http://localhost:9200/_nodes/stats?pretty' "thread_pool" : { "bulk" : { ...
org.elasticsearch.common.util.concurrent.EsRejectedExecutionException错误解决
u013905744的专栏
09-18 6003
场景： 今天用jmeter来测试搜索服务的并发性能，1000并发，结果es报错了 org.elasticsearch.common.util.concurrent.EsRejectedExecutionException: rejected execution of org.elasticsearch.common.util.concurrent.TimedRunnable@69105af3 ...
Java并发（五）线程池使用番外-分析RejectedExecutionException异常
qq_38472465的博客
05-29 105
Java并发（五）线程池使用番外-分析RejectedExecutionException异常
rejected execution of processing of [649786534][indices:data/write/bulk[s][p]]
喝醉酒的小白
10-12 712
通过这些步骤，您应该能够诊断并解决Elasticsearch的线程池过载问题。如果问题依然存在，可能需要进一步分析和优化。
es报错“root_cause“:[{“type“:“mapper_parsing_exception“,“reason“:“Root mapping definition has unsupport
m0_74079900的博客
10-10 1029
HOTEL_INDEX常量来保存DSL语句，出现这个报错。我的解决措施是，查看是否导包错误，错误包为。在练习黑马的es教程时，用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值