ШІ та LLM · Middle · Запитання 44 з 75
Що таке квантування моделі?
- 1Підрахунок, скільки токенів модель генерує за секунду
- 2Поділ моделі на кілька менших моделей за темами
- 3Ваги з меншою кількістю бітів для економії пам'яті
Показати відповідь
Правильна відповідь: Ваги з меншою кількістю бітів для економії пам'яті
Пояснення
8- чи 4-бітні ваги вміщують більші моделі на менші GPU, часто з невеликою втратою якості, яку мають виміряти evals.