Pytania rekrutacyjne AI i LLM z odpowiedziami

Przykładowe pytania

Kilka pytań z każdego poziomu z poprawną odpowiedzią i wyjaśnieniem.

AI i LLM · Junior

1. Co w gruncie rzeczy robi duży model językowy (LLM)?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Przewiduje kolejny token na podstawie tekstu

   LLM jest trenowany, by kontynuować tekst token po tokenie. Użyteczne zachowanie jak odpowiadanie na pytania wynika z tego przewidywania i treningu na instrukcjach, a nie z bazy faktów.

2. Czym jest token w kontekście LLM?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Fragmentem tekstu, często częścią słowa

   Tokenizer dzieli tekst na tokeny. Po angielsku jeden token to mniej więcej trzy czwarte słowa; inne języki i kod często potrzebują więcej tokenów na słowo.

3. Dlaczego ten sam tekst po ukraińsku często zajmuje więcej tokenów niż po angielsku?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Tokenizery faworyzują angielski, więc inne języki dzielą się na więcej części

   Więcej tokenów to wyższy koszt, wolniejsze odpowiedzi i mniej miejsca w oknie kontekstu na tę samą treść.

4. Czym jest okno kontekstu modelu?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Najwięcej tokenów, jakie widzi naraz, wejście plus wyjście

   Wszystko, co widzi model - prompt systemowy, historia, dokumenty i jego odpowiedź - musi zmieścić się w oknie. Tekstu poza nim model po prostu nie widzi.

AI i LLM · Middle

1. Czym jest „context engineering” w aplikacjach na LLM?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Wyborem informacji trafiających do kontekstu w każdym kroku

   Poza sformułowaniem promptu wynik zależy od tego, jakie dokumenty, historię, wyniki narzędzi i instrukcje widzi model i w jakiej kolejności.

2. Po co często stosuje się nakładanie chunków przy dzieleniu dokumentów dla RAG?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: By fakty na granicach chunków nie były przecięte

   Zdanie podzielone między dwa chunki może nigdy nie zostać znalezione w całości. Małe nakładanie trzyma kontekst razem kosztem nieco duplikacji.

3. Czym jest wyszukiwanie hybrydowe w RAG?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Słowa kluczowe, jak BM25, plus wektory

   Wektory łapią znaczenie; słowa kluczowe łapią dokładne terminy jak kody produktów i nazwy. Połączenie często poprawia wyszukiwanie.

4. Co robi reranker w potoku wyszukiwania?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Przestawia kandydatów według trafności

   Szybki pierwszy etap pobiera np. 50 chunków; reranker cross-encoder wybiera 5 najlepszych do promptu, poprawiając precyzję.

AI i LLM · Senior

1. Kiedy LLM to złe narzędzie dla funkcji?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Gdy reguły lub prosty model robią to pewniej i taniej

   Logika deterministyczna, regex lub mały klasyfikator są szybsze, tańsze i testowalne. LLM opłacają się w rozmytych zadaniach językowych, gdzie reguły zawodzą.

2. Czym jest eval-driven development dla funkcji AI?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Najpierw ewaluacje z kryteriami sukcesu, potem iteracje promptów

   Jak TDD: zdefiniuj, co jest dobre, zmierz punkt wyjścia i niech każda zmiana dowodzi, że poprawia wynik.

3. Jak definiować kryteria sukcesu dla funkcji AI?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Konkretnie i mierzalnie, wg zadania, np. 95% trafności

   Mglistych celów nie da się testować. Konkretne cele dla trafności, opóźnienia, kosztu i bezpieczeństwa kierują kompromisami.

4. Co czyni zbiór danych do ewaluacji reprezentatywnym?
   ▸Pokaż odpowiedź

   Poprawna odpowiedź: Odzwierciedla prawdziwe wejścia, także trudne, rzadkie i wrogie

   Pobieraj próbki z produkcji (zanonimizowane), dodawaj znane awarie i przypadki brzegowe i trzymaj odłożoną część, pod którą nigdy nie stroisz.