KI und LLMs · Senior · Frage 11 von 75
Wann lohnt sich eine Batch-API für LLM-Lasten?
- 1Für Live-Chat, wo Nutzer sofort Antworten brauchen
- 2Für nicht dringende Massenjobs, wo Kosten vor Latenz gehen
- 3Für jeden Request, der personenbezogene Daten enthält
Antwort zeigen
Richtige Antwort: Für nicht dringende Massenjobs, wo Kosten vor Latenz gehen
Erklärung
Eine Million Tickets über Nacht mit Rabatt zu klassifizieren passt zu Batch. Interaktive Features brauchen synchrone Aufrufe.