KI und LLMs · Middle · Frage 44 von 75
Was ist Quantisierung eines Modells?
- 1Zählen, wie viele Tokens ein Modell pro Sekunde erzeugt
- 2Ein Modell nach Themen in mehrere kleine Modelle teilen
- 3Gewichte mit weniger Bits speichern, um Speicher zu sparen
Antwort zeigen
Richtige Antwort: Gewichte mit weniger Bits speichern, um Speicher zu sparen
Erklärung
8- oder 4-Bit-Gewichte bringen größere Modelle auf kleinere GPUs, oft mit kleinem Qualitätsverlust, den Evals messen sollten.