ШІ та LLM · Junior · Запитання 14 з 75
Чому чат-інтерфейси часто показують відповідь потоком, токен за токеном?
- 1Це єдиний спосіб передати текст через HTTP
- 2Користувачі одразу бачать прогрес, а не чекають усієї відповіді
- 3Потокова передача робить відповіді моделі точнішими
Показати відповідь
Правильна відповідь: Користувачі одразу бачать прогрес, а не чекають усієї відповіді
Пояснення
Час до першого токена важливий для відчуття швидкості. Потоку потрібна обробка в UI часткового тексту, помилок посеред потоку й скасування.