ШІ та LLM · Senior · Запитання 7 з 75
Чому offline-бали evals і онлайн-метрики можуть розходитися?
- 1Offline evals використовують іншу модель, ніж продакшен
- 2Онлайн-метрики завжди рахують неправильно
- 3Дані чи критерії evals не відповідають реальному використанню
Показати відповідь
Правильна відповідь: Дані чи критерії evals не відповідають реальному використанню
Пояснення
Коли вони розходяться, оновіть набір evals реальними патернами трафіку й перегляньте, що насправді винагороджує метрика.