ШІ та LLM · Middle · Запитання 32 з 75
Що таке семантичний кеш для викликів LLM і його головний ризик?
- 1Кешування токенів на клієнті; він займає забагато диска
- 2Перевикористання відповідей на схожі запити; він може віддати хибну
- 3Зберігання ваг моделі в RAM; він сповільнює сервер
Показати відповідь
Правильна відповідь: Перевикористання відповідей на схожі запити; він може віддати хибну
Пояснення
«Скасуй моє замовлення» й «Чи можна скасувати замовлення?» схожі, але можуть потребувати різних відповідей. Пороги й обмеження області критичні.