Питання на співбесіді з ШІ та LLM (Senior) з відповідями

75 запитань для співбесіди з теми ШІ та LLM (Senior) - з правильними відповідями, поясненнями й посиланнями на документацію.

Пройти цей тест
  1. 1.Коли LLM - неправильний інструмент для функції?
  2. 2.Що таке eval-driven development для ШІ-функцій?
  3. 3.Як визначати критерії успіху для ШІ-функції?
  4. 4.Що робить набір даних для evals репрезентативним?
  5. 5.Навіщо тримати відкладений набір evals, на який не дивляться при налаштуванні промптів?
  6. 6.Новий промпт має 84% проти 82% на 50 кейсах. Який правильний висновок?
  7. 7.Чому offline-бали evals і онлайн-метрики можуть розходитися?
  8. 8.Що таке забруднення бенчмарку (contamination)?
  9. 9.Як LLM-суддя може «дрейфувати» з часом?
  10. 10.Що таке межа «ціна-якість» при виборі моделей?
  11. 11.Коли для навантажень на LLM має сенс batch API?
  12. 12.Як тримати RAG-індекс свіжим, коли документи змінюються?
  13. 13.Що має статися у векторному сховищі, коли користувач вимагає видалення за GDPR?
  14. 14.Коли дуже довгий контекст може замінити RAG?
  15. 15.Що таке переписування запиту в RAG?
  16. 16.Що таке agentic RAG?
  17. 17.Коли fine-tuning вартий більшого, ніж промпти великої моделі?
  18. 18.Навіщо фіксувати версії моделей у продакшені?
  19. 19.Як команді готуватися до застарівання моделі?
  20. 20.Як зменшити залежність від провайдера для LLM-функцій?
  21. 21.Що має фіксувати трасування LLM-функції?
  22. 22.ШІ-функція почала давати шкідливі відповіді багатьом користувачам. Який перший крок?
  23. 23.Що таке «lethal trifecta» для prompt injection в агентах?
  24. 24.Як Markdown, що рендериться, може злити дані з ШІ-чату?
  25. 25.Чому інструменти виконання коду для агентів мають працювати в пісочниці?
  26. 26.Що мають фіксувати журнали аудиту агента зі справжніми правами?
  27. 27.Що таке tool poisoning у MCP?
  28. 28.Як має працювати авторизація MCP-інструментів, що діють з даними користувача?
  29. 29.Що означає defence in depth для безпеки LLM?
  30. 30.Що за EU AI Act визначає обов'язки системи?
  31. 31.Які чотири функції NIST AI Risk Management Framework?
  32. 32.Як тестувати ШІ-функцію на несправедливе ставлення до груп?
  33. 33.Як оцінювати агентів окрім кінцевої відповіді?
  34. 34.Що перевіряє eval кінцевого стану агента?
  35. 35.Що таке симульований користувач у тестуванні чат-ботів?
  36. 36.Що таке shadow mode для нової моделі чи промпта?
  37. 37.Навіщо розгортати зміни промптів поступово за прапорцями?
  38. 38.Для чого корисна черга людського рев'ю виходів ШІ?
  39. 39.Як команді виміряти частку галюцинацій RAG-асистента?
  40. 40.Чому відмова («я не знаю») - важлива поведінка для оцінювання?
  41. 41.Що команда має перевірити щодо зберігання даних при використанні API LLM?
  42. 42.Який ризик строгих обмежень структурованого виводу в складних задачах міркування?
  43. 43.Коли reasoning-модель варта додаткової ціни й затримки?
  44. 44.Як оцінити ROI ШІ-функції?
  45. 45.Яка головна складність тестування ШІ-агента для коду?
  46. 46.Як організувати володіння промптами в продуктовій команді?
  47. 47.Який компроміс між агентом, що сам обирає кроки, і фіксованим workflow у масштабі?
  48. 48.Як тестувати guardrail, щоб він не був надто строгим?
  49. 49.Для чого model card чи system card?
  50. 50.Як пошук може злити дані між тенантами в спільному векторному індексі?
  51. 51.Який ризик потужностей специфічний для LLM-функцій?
  52. 52.Чому авторське право й ліцензування - питання для виводу ШІ?
  53. 53.Яка роль захисних тестів при оновленні моделі під агентом?
  54. 54.Як зробити результати evals LLM відтворюваними?
  55. 55.Чому ціна має бути частиною звіту evals?
  56. 56.Що має дати постмортем ШІ-інциденту?
  57. 57.Як агенту ставитися до вмісту з інструментів на відміну від інструкцій користувача?
  58. 58.Який розумний підхід до бюджету затримки для чат-асистента з інструментами?
  59. 59.Коли має сенс запускати малу модель локально в браузері чи на пристрої?
  60. 60.Як команді вирішити, які ризики ШІ закривати першими?
  61. 61.Навіщо ШІ-чатам перевірки доступності?
  62. 62.Який ризик дати моделі генерувати й запускати запити до бази для аналітики?
  63. 63.Як тестувати, що ШІ-асистент поважає права користувачів у відповідях?
  64. 64.Яка мета red team перед запуском ШІ-функції?
  65. 65.Як має поводитися ШІ-функція, коли її провайдер недоступний?
  66. 66.Чому довгі агенти складніше оцінювати, ніж окремі виклики?
  67. 67.Що «observability ШІ-функцій» додає до звичайного APM?
  68. 68.Як не допустити, щоб набір evals тестував лише те, про що команда вже подумала?
  69. 69.Яка розумна політика для згенерованого ШІ вмісту, який показують користувачам як факт?
  70. 70.Чому додавання інструментів агенту може зробити його гіршим?
  71. 71.Що тестувати, коли ШІ-функція підтримує завантаження файлів, як-от PDF?
  72. 72.Чому ризиковано використовувати ту саму модель як генератор і єдиного суддю?
  73. 73.Який практичний перший крок, щоб захистити наявну LLM-функцію?
  74. 74.Чим має відрізнятися оцінювання в домені високих ставок, як медицина чи право?
  75. 75.Що таке регресійний тест промпта?