ШІ та LLM · Junior · Запитання 2 з 75
Що таке токен у контексті LLM?
- 1Шматок тексту, часто частина слова, який обробляє модель
- 2Одне повне речення з повідомлення користувача
- 3Пароль, що дає застосунку викликати API моделі
Показати відповідь
Правильна відповідь: Шматок тексту, часто частина слова, який обробляє модель
Пояснення
Токенізатор ділить текст на токени. В англійській один токен - приблизно три чверті слова; іншим мовам і коду часто потрібно більше токенів на слово.