ШІ та LLM · Middle · Запитання 26 з 75
Як використовувати набір evals для LLM у CI?
- 1Запускати лише в продакшені на справжніх користувачах
- 2Запустити раз перед запуском і потім ніколи
- 3Запускати при змінах промпта чи моделі й падати на падінні балів
Показати відповідь
Правильна відповідь: Запускати при змінах промпта чи моделі й падати на падінні балів
Пояснення
Пороги на метрику роблять правки промптів безпечними, як юніт-тести для коду. Швидкий піднабір - на кожен PR, повний - щоночі.