ШІ та LLM · Junior · Запитання 3 з 75
Чому той самий текст українською часто займає більше токенів, ніж англійською?
- 1Моделі перекладають неанглійський текст англійською перед підрахунком
- 2Токенізатори орієнтовані на англійську, тож інші мови діляться на більше шматків
- 3Український текст завжди надсилають моделі двічі для точності
Показати відповідь
Правильна відповідь: Токенізатори орієнтовані на англійську, тож інші мови діляться на більше шматків
Пояснення
Більше токенів - це вища ціна, повільніші відповіді й менше місця в контекстному вікні для того самого вмісту.