KI und LLMs · Senior · Frage 8 von 75
Was ist Benchmark-Kontamination?
- 1Testfragen sind in die Trainingsdaten des Modells gelangt
- 2Einen Benchmark auf einem Rechner mit Virus ausführen
- 3Ergebnisse zweier verschiedener Benchmarks vermischen
Antwort zeigen
Richtige Antwort: Testfragen sind in die Trainingsdaten des Modells gelangt
Erklärung
Ein kontaminiertes Modell kann Antworten auswendig kennen, öffentliche Benchmark-Werte überschätzen also die Fähigkeit. Private, frische Evals sind vertrauenswürdiger.