AI i LLM · Senior · Pytanie 8 z 75
Czym jest skażenie benchmarku (contamination)?
- 1Pytania testowe trafiły do danych treningowych modelu
- 2Uruchomienie benchmarku na komputerze z wirusem
- 3Zmieszanie wyników dwóch różnych benchmarków
Pokaż odpowiedź
Poprawna odpowiedź: Pytania testowe trafiły do danych treningowych modelu
Wyjaśnienie
Skażony model może zapamiętać odpowiedzi, więc publiczne wyniki zawyżają jego zdolności. Prywatne, świeże ewaluacje są bardziej wiarygodne.