ШІ та LLM · Senior · Запитання 8 з 75
Що таке забруднення бенчмарку (contamination)?
- 1Тестові питання потрапили в навчальні дані моделі
- 2Запуск бенчмарку на комп'ютері з вірусом
- 3Змішування результатів двох різних бенчмарків
Показати відповідь
Правильна відповідь: Тестові питання потрапили в навчальні дані моделі
Пояснення
Забруднена модель може запам'ятати відповіді, тож публічні бали перебільшують здатності. Приватні свіжі evals надійніші.