KI und LLMs · Junior · Frage 3 von 75
Warum braucht derselbe Text auf Ukrainisch oft mehr Tokens als auf Englisch?
- 1Modelle übersetzen nicht englischen Text vor dem Zählen ins Englische
- 2Tokenizer bevorzugen Englisch, andere Sprachen zerfallen in mehr Teile
- 3Ukrainischer Text wird zur Genauigkeit immer zweimal gesendet
Antwort zeigen
Richtige Antwort: Tokenizer bevorzugen Englisch, andere Sprachen zerfallen in mehr Teile
Erklärung
Mehr Tokens bedeuten höhere Kosten, langsamere Antworten und weniger Platz im Kontextfenster für denselben Inhalt.