KI und LLMs · Senior · Frage 7 von 75
Warum können Offline-Eval-Werte und Online-Metriken auseinanderlaufen?
- 1Offline-Evals nutzen ein anderes Modell als die Produktion
- 2Online-Metriken werden immer falsch berechnet
- 3Eval-Daten oder Kriterien passen nicht zur echten Nutzung
Antwort zeigen
Richtige Antwort: Eval-Daten oder Kriterien passen nicht zur echten Nutzung
Erklärung
Laufen sie auseinander, das Eval-Set mit echten Traffic-Mustern aktualisieren und prüfen, was die Metrik tatsächlich belohnt.