AI i LLM · Senior · Pytanie 11 z 75
Kiedy batch API ma sens dla obciążeń LLM?
- 1Dla czatu na żywo, gdzie użytkownicy potrzebują odpowiedzi od razu
- 2Dla niepilnych zadań masowych, gdzie niższy koszt wygrywa z opóźnieniem
- 3Dla każdego zapytania, które zawiera dane osobowe
Pokaż odpowiedź
Poprawna odpowiedź: Dla niepilnych zadań masowych, gdzie niższy koszt wygrywa z opóźnieniem
Wyjaśnienie
Klasyfikacja miliona zgłoszeń w nocy ze zniżką pasuje do batch. Funkcje interaktywne potrzebują wywołań synchronicznych.