Kode error 429

Jika jumlah permintaan yang dikirim ke model melebihi kapasitas pemrosesan yang tersedia, Vertex AI akan menampilkan kode error 429, yang menunjukkan bahwa resource sudah habis. Pesan error dan jalur penyelesaian tertentu bergantung pada apakah Anda menggunakan layanan bayar sesuai pemakaian atau telah membeli Provisioned Throughput.

Memahami Error 429

Tabel berikut membandingkan cara penanganan error 429 dalam framework kuota Berbayar Sesuai Penggunaan dan Provisioned Throughput.

Fitur Bayar sesuai penggunaan Throughput yang Disediakan
Pesan Error Resource exhausted, please try again later. Too many requests. Exceeded the Provisioned Throughput.
Penyebab Jumlah permintaan melebihi kapasitas yang tersedia di kumpulan resource bersama. Jumlah permintaan melebihi kapasitas throughput yang direservasi.
Dampak SLA Permintaan yang menerima error 429 tidak dihitung dalam rasio error Anda seperti yang dijelaskan dalam perjanjian tingkat layanan (SLA). Error untuk penggunaan di bawah throughput yang Anda beli akan ditampilkan sebagai 5XX dan diperhitungkan dalam SLA. Error untuk penggunaan di atas throughput yang Anda beli diperlakukan sebagai bayar sesuai pemakaian dan tidak diperhitungkan dalam SLA.

Dengan langganan Throughput yang Disediakan, Anda dapat mencadangkan jumlah throughput tertentu untuk model Anda. Jika tidak memiliki langganan dan resource bersama tidak tersedia, Anda akan menerima error 429. Meskipun tidak memiliki kapasitas yang direservasi, Anda dapat mencoba lagi permintaan Anda.

Untuk project dengan Throughput yang Disediakan, Vertex AI akan mencadangkan throughput yang dibeli untuk penggunaan project Anda. Jika Anda menggunakan kurang dari jumlah yang dibeli, error yang mungkin 429 akan ditampilkan sebagai 5XX dan diperhitungkan dalam rasio error SLA. Jika Anda melebihi jumlah yang dibeli, permintaan tambahan akan diproses secara on demand sebagai bayar sesuai pemakaian.

Cara Menyelesaikan Error 429

Langkah-langkah untuk mengatasi error 429 bervariasi bergantung pada framework kuota Anda.

Bayar sesuai penggunaan

Pada framework kuota bayar sesuai penggunaan, Anda memiliki opsi berikut untuk mengatasi error 429:

  • Gunakan endpoint global: Jika memungkinkan, gunakan endpoint global, bukan endpoint regional.
  • Terapkan strategi percobaan ulang: Gunakan backoff eksponensial terpotong untuk mencoba ulang permintaan.
  • Meminta penambahan kuota: Jika model Anda menggunakan kuota, Anda dapat mengirimkan Permintaan Penambahan Kuota (QIR).
  • Menyederhanakan traffic: Jika model Anda menggunakan Kuota Bersama Dinamis (DSQ), menyederhanakan traffic dan mengurangi lonjakan besar dapat membantu. Untuk mengetahui informasi selengkapnya, lihat Kuota bersama dinamis.
  • Berlangganan Provisioned Throughput: Untuk tingkat layanan yang lebih konsisten, berlangganan Provisioned Throughput. Untuk mengetahui informasi selengkapnya, lihat Throughput yang Disediakan.

Throughput yang Disediakan

Untuk mengatasi error 429 saat memiliki langganan Throughput yang Disediakan, Anda dapat melakukan hal berikut:

  • Izinkan pemrosesan on-demand: Gunakan perilaku default dengan tidak menetapkan header dalam permintaan prediksi Anda. Semua kelebihan akan diproses on-demand dan ditagih sebagai bayar sesuai penggunaan.
  • Meningkatkan kapasitas yang dicadangkan: Tingkatkan jumlah GSU dalam langganan Provisioned Throughput Anda.

Langkah berikutnya