Питання на співбесіді з ШІ та LLM (Middle) з відповідями

75 запитань для співбесіди з теми ШІ та LLM (Middle) - з правильними відповідями, поясненнями й посиланнями на документацію.

Пройти цей тест
  1. 1.Що таке «context engineering» у застосунках на LLM?
  2. 2.Навіщо часто роблять перекриття чанків при поділі документів для RAG?
  3. 3.Що таке гібридний пошук у RAG?
  4. 4.Що робить reranker у конвеєрі пошуку?
  5. 5.Що міряє recall@k для ретривера?
  6. 6.Яка метрика RAG перевіряє, чи твердження відповіді підтверджені знайденим контекстом?
  7. 7.Чому RAG-система має фільтрувати документи за правами користувача?
  8. 8.Що стається з наявним векторним індексом, якщо перейти на нову модель ембедингів?
  9. 9.Яка міра схожості найпоширеніша для порівняння ембедингів тексту?
  10. 10.Що робить опис інструмента легким для правильного використання моделлю?
  11. 11.Виклик інструмента впав з помилкою. Що застосунок зазвичай має повернути моделі?
  12. 12.Навіщо обмежувати кількість кроків у циклі агента?
  13. 13.Коли фіксований workflow кращий за автономного агента?
  14. 14.Що таке prompt chaining?
  15. 15.Що таке патерн маршрутизації (routing) у workflow на LLM?
  16. 16.Що таке патерн evaluator-optimizer?
  17. 17.Які три головні речі може відкривати MCP-сервер?
  18. 18.Навіщо перевіряти структурований вивід бібліотекою схем на кшталт Zod, навіть коли просили JSON?
  19. 19.Що таке небезпечна обробка виводу в застосунках на LLM?
  20. 20.Що таке «excessive agency» в OWASP LLM Top 10?
  21. 21.Чому секрети не варто класти в системний промпт?
  22. 22.Як зменшити наслідки prompt injection в агенті, що читає вебсторінки?
  23. 23.Яке упередження судді змушує його обирати першу з двох показаних відповідей?
  24. 24.Як зробити суддю-LLM надійним?
  25. 25.Що таке попарне (pairwise) оцінювання?
  26. 26.Як використовувати набір evals для LLM у CI?
  27. 27.Навіщо запускати кожен кейс eval кілька разів?
  28. 28.Як юніт-тестувати код, що викликає LLM, не платячи за кожен запуск?
  29. 29.Який ризик використовувати лише синтетичні тестові дані від моделі?
  30. 30.Як тестувати багатокрокову поведінку чат-бота?
  31. 31.Чому snapshot-тести точного виводу LLM зазвичай погано підходять?
  32. 32.Що таке семантичний кеш для викликів LLM і його головний ризик?
  33. 33.Яка техніка знижує ціну для багатьох запитів з тими самими довгими інструкціями?
  34. 34.Що таке маршрутизація моделей для контролю витрат?
  35. 35.Навіщо ШІ-функції запасний провайдер чи модель?
  36. 36.Що міряє time to first token (TTFT)?
  37. 37.Що таке ефект «lost in the middle»?
  38. 38.Чому в RAG-продукті краще відповіді з посиланнями?
  39. 39.Що таке розкриття чутливої інформації в застосунках на LLM?
  40. 40.Як не пускати персональні дані в запити до LLM?
  41. 41.Що має містити моніторинг ШІ-функції в продакшені?
  42. 42.Як безпечно провести A/B-тест двох промптів у продакшені?
  43. 43.Який компроміс self-hosting open-weight моделей проти API?
  44. 44.Що таке квантування моделі?
  45. 45.Що таке дистиляція моделі?
  46. 46.Навіщо рахувати токени перед надсиланням запиту?
  47. 47.Як агенту зберігати корисну пам'ять у довгих задачах?
  48. 48.Що має пропонувати UI ШІ-функції, коли відповіді можуть бути хибними?
  49. 49.Що таке отруєння даних (data poisoning)?
  50. 50.Що таке ризик ланцюга постачання для застосунків на LLM?
  51. 51.Чому MCP-сервер, який ви встановлюєте, треба вважати звичайною залежністю?
  52. 52.Що таке необмежене споживання в застосунках на LLM?
  53. 53.Як тестувати функцію, що підсумовує довгі документи?
  54. 54.Що мають міряти evals функції витягування (наприклад, рахунок у JSON)?
  55. 55.Для чого набір тестів на відмови?
  56. 56.Як команді відстежувати версії промптів і моделей у продакшені?
  57. 57.Навіщо в деяких випадках задавати початок відповіді моделі?
  58. 58.Яка головна перевага прикладів у XML-подібних тегах у промпті?
  59. 59.Що можуть покращити паралельні виклики інструментів в агента?
  60. 60.Що таке патерн orchestrator-workers?
  61. 61.Чому слабкості векторів і ембедингів вважають ризиком LLM?
  62. 62.Як застосунку діяти з відповіддю моделі, що раз у раз не проходить валідацію?
  63. 63.Що таке misinformation у сенсі OWASP LLM Top 10?
  64. 64.Що таке guardrail-модель?
  65. 65.Навіщо тестувати ШІ-функцію входами кількома мовами?
  66. 66.Чим evals з перевіркою кодом відрізняються від оцінювання моделлю?
  67. 67.Що означає «pass@k» для моделей, що генерують код?
  68. 68.Навіщо лишати людей в оцінюванні навіть з автоматичними суддями?
  69. 69.Що має ставатися з відгуками користувачів на кшталт дизлайка відповіді ШІ?
  70. 70.Яка поширена помилка при побудові першого прототипу RAG?
  71. 71.Що змінює потокова передача для обробки помилок?
  72. 72.Навіщо ШІ-функції бюджет витрат на користувача чи тенанта?
  73. 73.Чому більше знайдених чанків не завжди покращує відповіді RAG?
  74. 74.Що має зробити агент перед незворотною дією на кшталт переказу грошей?
  75. 75.Навіщо прогнати власні evals на новій моделі перед переходом на неї?