KI und LLMs · Junior · Frage 2 von 75
Was ist ein Token im Zusammenhang mit LLMs?
- 1Ein Textstück, oft ein Wortteil, das das Modell verarbeitet
- 2Ein ganzer Satz aus der Nachricht des Nutzers
- 3Ein Passwort, mit dem eine App die API des Modells aufruft
Antwort zeigen
Richtige Antwort: Ein Textstück, oft ein Wortteil, das das Modell verarbeitet
Erklärung
Ein Tokenizer zerlegt Text in Tokens. Im Englischen ist ein Token etwa drei Viertel eines Wortes; andere Sprachen und Code brauchen oft mehr Tokens pro Wort.