ШІ та LLM · Middle · Запитання 42 з 75
Як безпечно провести A/B-тест двох промптів у продакшені?
- 1Перевести всіх на новий промпт і порівняти з учорашніми даними
- 2Спитати кількох колег, який промпт їм більше подобається
- 3Розділити трафік, міряти погоджені метрики й спершу прогнати offline evals
Показати відповідь
Правильна відповідь: Розділити трафік, міряти погоджені метрики й спершу прогнати offline evals
Пояснення
Offline evals ловлять очевидні регресії; онлайн-метрики на кшталт частки вирішених звернень і відгуків показують реальний ефект.