KI und LLMs · Junior · Frage 73 von 75
Warum dauern lange Antworten merklich länger als lange Prompts?
- 1Eingabetokens werden immer langsamer verarbeitet als Ausgabetokens
- 2Beide werden sofort verarbeitet, egal wie lang sie sind
- 3Ausgaben entstehen Token für Token, lange Antworten sind daher langsam
Antwort zeigen
Richtige Antwort: Ausgaben entstehen Token für Token, lange Antworten sind daher langsam
Erklärung
Der Prompt wird parallel verarbeitet, jedes Ausgabetoken hängt aber vom vorigen ab. Um knappe Antworten zu bitten ist einer der einfachsten Latenzgewinne.