【Bugs】openai.error.ServiceUnavailableError The server is overloaded or not ready yet

最新推荐文章于 2025-01-07 13:47:24 发布

SUFEHeisenberg

最新推荐文章于 2025-01-07 13:47:24 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Coding Encounter & Fixing Bugs 文章标签： chatgpt python

本文链接：https://blog.csdn.net/weixin_43557139/article/details/131853987

Coding 同时被 2 个专栏收录

32 篇文章

订阅专栏

Encounter & Fixing Bugs

15 篇文章

订阅专栏

当调用OpenAIChatGPTAPI时遇到ServiceUnavailableError，可以使用指数退避策略进行重试。代码示例展示了如何利用tenacity库实现这一策略，通过递增的等待时间在遇到错误时自动重试，最多尝试10次，最大等待时间为60秒。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【Bugs】openai.error.ServiceUnavailableError: The server is overloaded or not ready yet.

@author: SUFEHeisenberg

@date: 2023/07/21

在调用ChatGPT API时报错：

openai.error.ServiceUnavailableError: The server is overloaded or not ready yet.

Solution

利用指数退避的思想：

import openai
from tenacity import (
    retry,
    stop_after_attempt,
    wait_random_exponential,
    retry_if_exception_type
)  # for exponential backoff

@retry(
    retry=retry_if_exception_type((openai.error.APIError, openai.error.APIConnectionError, openai.error.RateLimitError, openai.error.ServiceUnavailableError, openai.error.Timeout)), 
    wait=wait_random_exponential(multiplier=1, max=60), 
    stop=stop_after_attempt(10)
)

def chat_completion_with_backoff(**kwargs):
    return openai.ChatCompletion.create(**kwargs)

response = chat_completion_with_backoff(
                model=model,
                messages=[
                    {"role": "system", "content": system_msg},
                    {"role": "user", "content": longtext},
                ],
                max_tokens=max_tokens,
            )

Reference

https://community.openai.com/t/openai-error-serviceunavailableerror-the-server-is-overloaded-or-not-ready-yet/32670/20