Interviewfragen zu KI und LLMs (Senior) mit Antworten

75 Fragen fürs Vorstellungsgespräch zu KI und LLMs (Senior) mit richtigen Antworten, Erklärungen und Links zur Dokumentation.

Diesen Test machen
  1. 1.Wann ist ein LLM das falsche Werkzeug für ein Feature?
  2. 2.Was ist Eval-driven Development für KI-Features?
  3. 3.Wie sollten Erfolgskriterien für ein KI-Feature definiert werden?
  4. 4.Was macht einen Eval-Datensatz repräsentativ?
  5. 5.Warum ein zurückgehaltenes Eval-Set behalten, das man beim Prompt-Tuning nicht ansieht?
  6. 6.Dein neuer Prompt erzielt 84 % gegenüber 82 % bei 50 Fällen. Was ist der richtige Schluss?
  7. 7.Warum können Offline-Eval-Werte und Online-Metriken auseinanderlaufen?
  8. 8.Was ist Benchmark-Kontamination?
  9. 9.Wie kann ein LLM-Judge mit der Zeit driften?
  10. 10.Was ist die Kosten-Qualitäts-Grenze bei der Modellwahl?
  11. 11.Wann lohnt sich eine Batch-API für LLM-Lasten?
  12. 12.Wie hält man einen RAG-Index aktuell, wenn sich Dokumente ändern?
  13. 13.Was muss in einem Vektorspeicher passieren, wenn ein Nutzer DSGVO-Löschung verlangt?
  14. 14.Wann kann ein sehr langer Kontext RAG ersetzen?
  15. 15.Was ist Query Rewriting bei RAG?
  16. 16.Was ist Agentic RAG?
  17. 17.Wann lohnt sich Fine-Tuning mehr als Prompting eines großen Modells?
  18. 18.Warum Modellversionen in Produktion pinnen?
  19. 19.Wie sollte sich ein Team auf die Abkündigung eines Modells vorbereiten?
  20. 20.Wie verringert man den Anbieter-Lock-in bei LLM-Features?
  21. 21.Was sollte das Tracing eines LLM-Features erfassen?
  22. 22.Ein KI-Feature liefert vielen Nutzern plötzlich schädliche Ausgaben. Was ist der erste Schritt?
  23. 23.Was ist das "Lethal Trifecta" für Prompt Injection bei Agenten?
  24. 24.Wie kann gerendertes Markdown Daten aus einem KI-Chat leaken?
  25. 25.Warum müssen Code-Ausführungstools für Agenten in einer Sandbox laufen?
  26. 26.Was sollten Audit-Logs eines Agenten mit echten Rechten festhalten?
  27. 27.Was ist MCP Tool Poisoning?
  28. 28.Wie sollte Autorisierung für MCP-Tools funktionieren, die auf Nutzerdaten wirken?
  29. 29.Was bedeutet Defence in Depth für LLM-Sicherheit?
  30. 30.Was bestimmt laut EU AI Act die Pflichten eines Systems?
  31. 31.Was sind die vier Funktionen des NIST AI Risk Management Framework?
  32. 32.Wie testet man ein KI-Feature auf unfaire Behandlung von Gruppen?
  33. 33.Wie sollten Agenten über die Endantwort hinaus bewertet werden?
  34. 34.Was prüft ein Endzustands-Eval eines Agenten?
  35. 35.Was ist ein simulierter Nutzer beim Chatbot-Testen?
  36. 36.Was ist Shadow Mode für ein neues Modell oder einen neuen Prompt?
  37. 37.Warum Promptänderungen schrittweise hinter Flags ausrollen?
  38. 38.Wofür ist eine menschliche Review-Queue für KI-Ausgaben nützlich?
  39. 39.Wie kann ein Team die Halluzinationsrate eines RAG-Assistenten messen?
  40. 40.Warum ist Enthaltung ("Ich weiß es nicht") ein wichtiges Verhalten für Evals?
  41. 41.Was sollte ein Team zur Datenaufbewahrung bei einer LLM-API prüfen?
  42. 42.Was ist ein Risiko strikter Vorgaben für strukturierte Ausgabe bei komplexem Denken?
  43. 43.Wann lohnen sich die Zusatzkosten und die Latenz eines Reasoning-Modells?
  44. 44.Wie schätzt man den ROI eines KI-Features?
  45. 45.Was ist die Hauptschwierigkeit beim Testen eines KI-Coding-Agenten?
  46. 46.Wie sollte die Verantwortung für Prompts in einem Produktteam organisiert sein?
  47. 47.Was ist der Kompromiss zwischen selbst planendem Agenten und festem Workflow im großen Maßstab?
  48. 48.Wie testet man einen Guardrail, ohne ihn zu streng zu machen?
  49. 49.Wofür wird eine Model Card oder System Card genutzt?
  50. 50.Wie kann Retrieval in einem geteilten Vektorindex Daten zwischen Mandanten leaken?
  51. 51.Welches Kapazitätsrisiko ist spezifisch für LLM-Features?
  52. 52.Warum sind Urheberrecht und Lizenzen ein Thema bei KI-Ausgaben?
  53. 53.Welche Rolle haben Schutztests beim Upgrade des Modells hinter einem Agenten?
  54. 54.Wie macht man LLM-Eval-Ergebnisse reproduzierbar?
  55. 55.Warum sollten Kosten Teil eines Eval-Berichts sein?
  56. 56.Was soll ein Post-Mortem zu einem KI-Vorfall liefern?
  57. 57.Wie sollte ein Agent Inhalte aus Tools im Gegensatz zu Nutzeranweisungen behandeln?
  58. 58.Was ist ein sinnvoller Latenzbudget-Ansatz für einen Chat-Assistenten mit Tools?
  59. 59.Wann ist ein kleines Modell lokal im Browser oder auf dem Gerät sinnvoll?
  60. 60.Wie sollte ein Team entscheiden, welche KI-Risiken es zuerst angeht?
  61. 61.Warum brauchen KI-Chat-Oberflächen Barrierefreiheitsprüfungen?
  62. 62.Was ist das Risiko, ein Modell Datenbankabfragen für Analytics erzeugen und ausführen zu lassen?
  63. 63.Wie testet man, dass ein KI-Assistent Nutzerrechte in seinen Antworten beachtet?
  64. 64.Was ist der Zweck einer Red-Team-Übung vor dem Launch eines KI-Features?
  65. 65.Wie sollte sich ein KI-Feature verhalten, wenn sein Anbieter ausfällt?
  66. 66.Warum sind lang laufende Agenten schwerer zu bewerten als einzelne Aufrufe?
  67. 67.Was ergänzt "Observability für KI-Features" gegenüber normalem APM?
  68. 68.Wie vermeidet man eine Eval-Suite, die nur testet, woran das Team schon dachte?
  69. 69.Was ist eine sinnvolle Richtlinie für KI-Inhalte, die Nutzern als Fakt gezeigt werden?
  70. 70.Warum kann ein Agent mit mehr Tools schlechter werden?
  71. 71.Was sollte getestet werden, wenn ein KI-Feature Datei-Uploads wie PDFs unterstützt?
  72. 72.Warum ist es riskant, dasselbe Modell als Generator und einzigen Judge zu nutzen?
  73. 73.Was ist ein praktischer erster Schritt, um ein bestehendes LLM-Feature abzusichern?
  74. 74.Wie sollte sich die Evaluation in einer Hochrisiko-Domäne wie Medizin oder Recht unterscheiden?
  75. 75.Was ist ein Prompt-Regressionstest?