AI i LLM · Junior · Pytanie 3 z 75
Dlaczego ten sam tekst po ukraińsku często zajmuje więcej tokenów niż po angielsku?
- 1Modele tłumaczą tekst nieangielski na angielski przed liczeniem
- 2Tokenizery faworyzują angielski, więc inne języki dzielą się na więcej części
- 3Tekst ukraiński zawsze wysyła się do modelu dwa razy dla dokładności
Pokaż odpowiedź
Poprawna odpowiedź: Tokenizery faworyzują angielski, więc inne języki dzielą się na więcej części
Wyjaśnienie
Więcej tokenów to wyższy koszt, wolniejsze odpowiedzi i mniej miejsca w oknie kontekstu na tę samą treść.