ШІ та LLM · Senior · Запитання 11 з 75
Коли для навантажень на LLM має сенс batch API?
- 1Для живого чату, де користувачам потрібні відповіді одразу
- 2Для нетермінових масових задач, де нижча ціна важливіша за затримку
- 3Для будь-якого запиту, що містить персональні дані
Показати відповідь
Правильна відповідь: Для нетермінових масових задач, де нижча ціна важливіша за затримку
Пояснення
Класифікувати мільйон тікетів за ніч зі знижкою - для batch. Інтерактивним функціям потрібні синхронні виклики.