ШІ та LLM · Senior · Запитання 39 з 75
Як команді виміряти частку галюцинацій RAG-асистента?
- 1Питати користувачів, чи вважають вони, що асистент галюцинує
- 2Брати вибірку відповідей і звіряти твердження з джерелами суддею й людьми
- 3Рахувати відповіді, що містять слово «можливо»
Показати відповідь
Правильна відповідь: Брати вибірку відповідей і звіряти твердження з джерелами суддею й людьми
Пояснення
Оцінювання faithfulness на регулярній вибірці, відкаліброване людськими перевірками, дає тренд, на який можна реагувати.