AI i LLM · Junior · Pytanie 73 z 75
Dlaczego długie odpowiedzi trwają zauważalnie dłużej niż długie prompty?
- 1Tokeny wejściowe zawsze przetwarza się wolniej niż wyjściowe
- 2Oba przetwarzane są natychmiast, bez względu na długość
- 3Wyjście powstaje token po tokenie, więc długie odpowiedzi są wolne
Pokaż odpowiedź
Poprawna odpowiedź: Wyjście powstaje token po tokenie, więc długie odpowiedzi są wolne
Wyjaśnienie
Prompt przetwarza się równolegle, a każdy token wyjściowy zależy od poprzedniego. Prośba o zwięzłe odpowiedzi to jeden z najprostszych sposobów na mniejsze opóźnienie.