Interviewfragen zu KI und LLMs (Middle) mit Antworten

75 Fragen fürs Vorstellungsgespräch zu KI und LLMs (Middle) mit richtigen Antworten, Erklärungen und Links zur Dokumentation.

Diesen Test machen
  1. 1.Was ist "Context Engineering" in LLM-Apps?
  2. 2.Warum nutzt man beim Teilen von Dokumenten für RAG oft Chunk-Überlappung?
  3. 3.Was ist hybride Suche bei RAG?
  4. 4.Was macht ein Reranker in einer Retrieval-Pipeline?
  5. 5.Was misst Recall@k für einen Retriever?
  6. 6.Welche RAG-Metrik prüft, ob die Aussagen der Antwort durch den abgerufenen Kontext gestützt sind?
  7. 7.Warum muss ein RAG-System Dokumente nach Nutzerrechten filtern?
  8. 8.Was passiert mit einem bestehenden Vektorindex beim Wechsel auf ein neues Embedding-Modell?
  9. 9.Welches Ähnlichkeitsmaß ist zum Vergleich von Text-Embeddings am üblichsten?
  10. 10.Was macht eine Tool-Definition für ein Modell leicht korrekt nutzbar?
  11. 11.Ein Tool-Aufruf scheitert mit einem Fehler. Was sollte die App dem Modell meist zurückgeben?
  12. 12.Warum eine maximale Schrittzahl für eine Agentenschleife setzen?
  13. 13.Wann ist ein fester Workflow besser als ein autonomer Agent?
  14. 14.Was ist Prompt Chaining?
  15. 15.Was ist das Routing-Muster in LLM-Workflows?
  16. 16.Was ist das Evaluator-Optimizer-Muster?
  17. 17.Welche drei Hauptdinge kann ein MCP-Server bereitstellen?
  18. 18.Warum strukturierte Ausgabe mit einer Schema-Bibliothek wie Zod validieren, selbst wenn JSON verlangt wurde?
  19. 19.Was ist unsichere Ausgabeverarbeitung in LLM-Apps?
  20. 20.Was ist "Excessive Agency" in den OWASP LLM Top 10?
  21. 21.Warum sollten Secrets nicht in einen Systemprompt?
  22. 22.Wie verringert man die Folgen von Prompt Injection bei einem Agenten, der Webseiten liest?
  23. 23.Welcher Judge-Bias lässt ihn die erste von zwei gezeigten Antworten bevorzugen?
  24. 24.Wie macht man einen LLM-Judge vertrauenswürdig?
  25. 25.Was ist paarweise Evaluation?
  26. 26.Wie sollte eine LLM-Eval-Suite in CI genutzt werden?
  27. 27.Warum jeden Eval-Fall mehrmals ausführen?
  28. 28.Wie testet man Code, der ein LLM aufruft, per Unit-Test, ohne für jeden Lauf zu zahlen?
  29. 29.Was ist ein Risiko, nur vom Modell erzeugte synthetische Testdaten zu nutzen?
  30. 30.Wie sollte mehrstufiges Chatbot-Verhalten getestet werden?
  31. 31.Warum passen Snapshot-Tests exakter LLM-Ausgaben meist schlecht?
  32. 32.Was ist ein semantischer Cache für LLM-Aufrufe, und was ist sein Hauptrisiko?
  33. 33.Welche Technik senkt die Kosten vieler Requests mit denselben langen Anweisungen?
  34. 34.Was ist Model Routing zur Kostenkontrolle?
  35. 35.Warum braucht ein KI-Feature einen Fallback-Anbieter oder ein Fallback-Modell?
  36. 36.Was misst Time to First Token (TTFT)?
  37. 37.Was ist der "Lost in the Middle"-Effekt?
  38. 38.Warum in einem RAG-Produkt Antworten mit Zitaten bevorzugen?
  39. 39.Was ist die Offenlegung sensibler Informationen in LLM-Apps?
  40. 40.Wie hält man personenbezogene Daten aus LLM-Requests heraus?
  41. 41.Was sollte das Produktions-Monitoring eines KI-Features umfassen?
  42. 42.Wie testet man zwei Prompts in Produktion sicher per A/B-Test?
  43. 43.Was ist der Kompromiss beim Selbsthosten von Open-Weight-Modellen gegenüber einer API?
  44. 44.Was ist Quantisierung eines Modells?
  45. 45.Was ist Modelldestillation?
  46. 46.Warum Tokens zählen, bevor man einen Request sendet?
  47. 47.Wie kann ein Agent bei langen Aufgaben nützliches Gedächtnis behalten?
  48. 48.Was sollte die UI eines KI-Features bieten, wenn Antworten falsch sein können?
  49. 49.Was ist Data Poisoning?
  50. 50.Was ist ein Lieferkettenrisiko für LLM-Apps?
  51. 51.Warum sollte ein installierter MCP-Server wie jede Abhängigkeit behandelt werden?
  52. 52.Was ist Unbounded Consumption in LLM-Apps?
  53. 53.Wie testet man ein Feature, das lange Dokumente zusammenfasst?
  54. 54.Was sollten Evals für ein Extraktions-Feature (z. B. Rechnung zu JSON) messen?
  55. 55.Wozu dient ein Testset für Ablehnungen?
  56. 56.Wie sollte ein Team Prompt- und Modellversionen in Produktion verfolgen?
  57. 57.Warum in manchen Fällen den Anfang einer Modellantwort vorgeben?
  58. 58.Was ist der Hauptvorteil, Beispiele in XML-artige Tags im Prompt zu setzen?
  59. 59.Was können parallele Tool-Aufrufe bei einem Agenten verbessern?
  60. 60.Was ist das Orchestrator-Workers-Muster?
  61. 61.Warum gelten Schwächen von Vektoren und Embeddings als LLM-Risiko?
  62. 62.Wie sollte eine App mit einer Modellantwort umgehen, die wiederholt die Validierung nicht besteht?
  63. 63.Was ist Misinformation im Sinne der OWASP LLM Top 10?
  64. 64.Was ist ein Guardrail-Modell?
  65. 65.Warum ein KI-Feature mit Eingaben in mehreren Sprachen testen?
  66. 66.Was ist der Unterschied zwischen code- und modellbewerteten Evals?
  67. 67.Was bedeutet "pass@k" bei codeerzeugenden Modellen?
  68. 68.Warum Menschen trotz automatischer Judges in der Evaluation behalten?
  69. 69.Was sollte mit Nutzerfeedback wie einem Daumen runter passieren?
  70. 70.Was ist ein häufiger Fehler beim ersten RAG-Prototyp?
  71. 71.Was ändert Streaming an der Fehlerbehandlung?
  72. 72.Warum braucht ein KI-Feature ein Kostenbudget pro Nutzer oder Mandant?
  73. 73.Warum verbessern mehr abgerufene Chunks RAG-Antworten nicht immer?
  74. 74.Was sollte ein Agent vor einer unumkehrbaren Aktion wie einer Überweisung tun?
  75. 75.Warum eigene Evals mit einem neuen Modell fahren, bevor man wechselt?