AI i LLM · Junior · Pytanie 2 z 75
Czym jest token w kontekście LLM?
- 1Fragmentem tekstu, często częścią słowa
- 2Jednym pełnym zdaniem z wiadomości użytkownika
- 3Hasłem, które pozwala aplikacji wywołać API modelu
Pokaż odpowiedź
Poprawna odpowiedź: Fragmentem tekstu, często częścią słowa
Wyjaśnienie
Tokenizer dzieli tekst na tokeny. Po angielsku jeden token to mniej więcej trzy czwarte słowa; inne języki i kod często potrzebują więcej tokenów na słowo.