ШІ та LLM · Middle · Запитання 67 з 75
Що означає «pass@k» для моделей, що генерують код?
- 1Імовірність, що хоча б одна з k спроб пройде тести
- 2Кількість тестів, що проходять лише на k-й спробі
- 3Частка з k користувачів, що приймають згенерований код
Показати відповідь
Правильна відповідь: Імовірність, що хоча б одна з k спроб пройде тести
Пояснення
Вона міряє здатність, коли можна пробувати кілька варіантів і перевіряти їх; поширена в бенчмарках коду.