ШІ та LLM · Middle · Запитання 27 з 75
Навіщо запускати кожен кейс eval кілька разів?
- 1Перший запуск будь-якого тесту інструменти ігнорують
- 2Виходи різняться, тож частка успіхів краще показує надійність
- 3Провайдери беруть менше за однакові повторні запити
Показати відповідь
Правильна відповідь: Виходи різняться, тож частка успіхів краще показує надійність
Пояснення
Кейс, що проходить 3 з 5 разів, і в продакшені нестабільний. Стежте за розкидом, а не лише за середнім.