ШІ та LLM · Junior · Запитання 28 з 75
Що має зробити застосунок, коли API LLM повертає 429?
- 1Показати користувачу сиру помилку й зупинитися
- 2Повторювати миттєво в тісному циклі
- 3Повторити з backoff і поважати ліміти
Показати відповідь
Правильна відповідь: Повторити з backoff і поважати ліміти
Пояснення
Провайдери обмежують запити й токени на хвилину. Backoff, черги й зрозумілі повідомлення користувачам м'яко обробляють сплески.