ШІ та LLM · Junior · Запитання 73 з 75
Чому довгі відповіді займають помітно більше часу, ніж довгі промпти?
- 1Вхідні токени завжди обробляються повільніше за вихідні
- 2Обидва обробляються миттєво, хоч якої довжини
- 3Вихід генерується токен за токеном, тож довгі відповіді повільні
Показати відповідь
Правильна відповідь: Вихід генерується токен за токеном, тож довгі відповіді повільні
Пояснення
Промпт обробляється паралельно, а кожен вихідний токен залежить від попереднього. Прохання відповідати стисло - один із найпростіших способів зменшити затримку.