AI i LLM · Middle · Pytanie 44 z 75
Czym jest kwantyzacja modelu?
- 1Liczeniem, ile tokenów model generuje na sekundę
- 2Podziałem modelu na kilka mniejszych modeli według tematów
- 3Zapisem wag mniejszą liczbą bitów dla oszczędności pamięci
Pokaż odpowiedź
Poprawna odpowiedź: Zapisem wag mniejszą liczbą bitów dla oszczędności pamięci
Wyjaśnienie
Wagi 8- lub 4-bitowe mieszczą większe modele na mniejszych GPU, często z niewielką utratą jakości, którą powinny zmierzyć ewaluacje.