Питання на співбесіді з ШІ та LLM з відповідями

Приклади запитань

Кілька запитань із кожного рівня з правильною відповіддю й поясненням.

ШІ та LLM · Junior

1. Що по суті робить велика мовна модель (LLM)?
   ▸Показати відповідь

   Правильна відповідь: Передбачає наступний токен за наявним текстом

   LLM навчена продовжувати текст по одному токену. Корисна поведінка на кшталт відповідей на питання виникає з цього передбачення плюс навчання на інструкціях, а не з бази фактів.

2. Що таке токен у контексті LLM?
   ▸Показати відповідь

   Правильна відповідь: Шматок тексту, часто частина слова, який обробляє модель

   Токенізатор ділить текст на токени. В англійській один токен - приблизно три чверті слова; іншим мовам і коду часто потрібно більше токенів на слово.

3. Чому той самий текст українською часто займає більше токенів, ніж англійською?
   ▸Показати відповідь

   Правильна відповідь: Токенізатори орієнтовані на англійську, тож інші мови діляться на більше шматків

   Більше токенів - це вища ціна, повільніші відповіді й менше місця в контекстному вікні для того самого вмісту.

4. Що таке контекстне вікно моделі?
   ▸Показати відповідь

   Правильна відповідь: Найбільше токенів, які вона бачить разом, вхід плюс вихід

   Усе, що бачить модель, - системний промпт, історія, документи й її відповідь - має вміститися у вікно. Текст поза ним модель просто не бачить.

ШІ та LLM · Middle

1. Що таке «context engineering» у застосунках на LLM?
   ▸Показати відповідь

   Правильна відповідь: Вибір, яка інформація потрапляє в контекст на кожному кроці

   Окрім формулювань промпта, результат залежить від того, які документи, історію, результати інструментів і інструкції бачить модель і в якому порядку.

2. Навіщо часто роблять перекриття чанків при поділі документів для RAG?
   ▸Показати відповідь

   Правильна відповідь: Щоб факти на межах чанків не розрізалися навпіл

   Речення, розділене між двома чанками, може ніколи не знайтися цілим. Невелике перекриття тримає контекст разом ціною певного дублювання.

3. Що таке гібридний пошук у RAG?
   ▸Показати відповідь

   Правильна відповідь: Пошук за словами, як BM25, плюс векторний

   Вектори ловлять зміст; ключові слова ловлять точні терміни на кшталт кодів товарів і імен. Поєднання часто покращує пошук.

4. Що робить reranker у конвеєрі пошуку?
   ▸Показати відповідь

   Правильна відповідь: Переставляє кандидатів за релевантністю

   Швидкий перший етап бере, скажімо, 50 чанків; cross-encoder reranker обирає найкращі 5 для промпта, підвищуючи точність.

ШІ та LLM · Senior

1. Коли LLM - неправильний інструмент для функції?
   ▸Показати відповідь

   Правильна відповідь: Коли правила чи проста модель розв'язують задачу надійно й дешевше

   Детермінована логіка, regex чи малий класифікатор швидші, дешевші й тестовані. LLM окуповуються в розмитих мовних задачах, де правила ламаються.

2. Що таке eval-driven development для ШІ-функцій?
   ▸Показати відповідь

   Правильна відповідь: Спершу evals із критеріями успіху, потім ітерації промптів проти них

   Як TDD: визначте, що таке добре, виміряйте базу, і кожна зміна має довести, що покращує бал.

3. Як визначати критерії успіху для ШІ-функції?
   ▸Показати відповідь

   Правильна відповідь: Конкретно й вимірно, прив'язано до задачі, як-от 95% точності

   Розмиті цілі не протестувати. Конкретні цілі щодо точності, затримки, ціни й безпеки спрямовують компроміси.

4. Що робить набір даних для evals репрезентативним?
   ▸Показати відповідь

   Правильна відповідь: Він відображає реальні входи, зокрема складні, рідкісні й атакувальні

   Беріть вибірку з продакшену (знеособлену), додавайте відомі збої й крайні випадки та тримайте відкладену частину, під яку ніколи не налаштовуєте.