Interviewfragen zu KI und LLMs mit Antworten

Beispielfragen

Ein paar Fragen aus jedem Level mit richtiger Antwort und Erklärung.

KI und LLMs · Junior

1. Was macht ein großes Sprachmodell (LLM) im Kern?
   ▸Antwort zeigen

   Richtige Antwort: Es sagt das nächste Token anhand des bisherigen Textes voraus

   Ein LLM ist darauf trainiert, Text Token für Token fortzusetzen. Nützliches Verhalten wie Fragen beantworten entsteht aus dieser Vorhersage plus Training auf Anweisungen, nicht aus einer Faktendatenbank.

2. Was ist ein Token im Zusammenhang mit LLMs?
   ▸Antwort zeigen

   Richtige Antwort: Ein Textstück, oft ein Wortteil, das das Modell verarbeitet

   Ein Tokenizer zerlegt Text in Tokens. Im Englischen ist ein Token etwa drei Viertel eines Wortes; andere Sprachen und Code brauchen oft mehr Tokens pro Wort.

3. Warum braucht derselbe Text auf Ukrainisch oft mehr Tokens als auf Englisch?
   ▸Antwort zeigen

   Richtige Antwort: Tokenizer bevorzugen Englisch, andere Sprachen zerfallen in mehr Teile

   Mehr Tokens bedeuten höhere Kosten, langsamere Antworten und weniger Platz im Kontextfenster für denselben Inhalt.

4. Was ist das Kontextfenster eines Modells?
   ▸Antwort zeigen

   Richtige Antwort: Die meisten Tokens, die es auf einmal sieht, Ein- plus Ausgabe

   Alles, was das Modell sieht - Systemprompt, Verlauf, Dokumente und seine Antwort - muss ins Fenster passen. Text außerhalb sieht das Modell schlicht nicht.

KI und LLMs · Middle

1. Was ist "Context Engineering" in LLM-Apps?
   ▸Antwort zeigen

   Richtige Antwort: Wählen, welche Infos pro Schritt in den Kontext kommen

   Neben der Formulierung hängt das Ergebnis davon ab, welche Dokumente, welcher Verlauf, welche Tool-Ergebnisse und Anweisungen das Modell sieht und in welcher Reihenfolge.

2. Warum nutzt man beim Teilen von Dokumenten für RAG oft Chunk-Überlappung?
   ▸Antwort zeigen

   Richtige Antwort: Damit Fakten an Chunk-Grenzen nicht zerschnitten werden

   Ein auf zwei Chunks verteilter Satz wird vielleicht nie vollständig gefunden. Eine kleine Überlappung hält Kontext zusammen, auf Kosten etwas Duplizierung.

3. Was ist hybride Suche bei RAG?
   ▸Antwort zeigen

   Richtige Antwort: Stichwortsuche wie BM25 plus Vektorsuche

   Vektoren fangen Bedeutung; Stichwörter fangen exakte Begriffe wie Produktcodes und Namen. Die Kombination verbessert oft das Retrieval.

4. Was macht ein Reranker in einer Retrieval-Pipeline?
   ▸Antwort zeigen

   Richtige Antwort: Er sortiert Kandidaten nach Relevanz neu

   Eine schnelle erste Stufe holt etwa 50 Chunks; ein Cross-Encoder-Reranker wählt die besten 5 für den Prompt und erhöht die Präzision.

KI und LLMs · Senior

1. Wann ist ein LLM das falsche Werkzeug für ein Feature?
   ▸Antwort zeigen

   Richtige Antwort: Wenn Regeln oder ein einfaches Modell es zuverlässig und günstiger lösen

   Deterministische Logik, Regex oder ein kleiner Klassifikator sind schneller, günstiger und testbar. LLMs lohnen sich bei unscharfen Sprachaufgaben, an denen Regeln scheitern.

2. Was ist Eval-driven Development für KI-Features?
   ▸Antwort zeigen

   Richtige Antwort: Erst Evals mit Erfolgskriterien, dann Prompts dagegen iterieren

   Wie TDD: festlegen, was gut ist, die Basis messen und jede Änderung beweisen lassen, dass sie den Wert verbessert.

3. Wie sollten Erfolgskriterien für ein KI-Feature definiert werden?
   ▸Antwort zeigen

   Richtige Antwort: Konkret, messbar und aufgabenbezogen, z. B. 95 % Genauigkeit

   Vage Ziele sind nicht testbar. Konkrete Ziele für Genauigkeit, Latenz, Kosten und Sicherheit leiten Abwägungen.

4. Was macht einen Eval-Datensatz repräsentativ?
   ▸Antwort zeigen

   Richtige Antwort: Er spiegelt echte Eingaben, auch schwere, seltene und feindliche

   Aus Produktion (anonymisiert) ziehen, bekannte Fehler und Grenzfälle ergänzen und einen zurückgehaltenen Teil behalten, auf den nie optimiert wird.