Pytania rekrutacyjne AI i LLM (Senior) z odpowiedziami

75 pytań na rozmowę rekrutacyjną z tematu AI i LLM (Senior) - z poprawnymi odpowiedziami, wyjaśnieniami i linkami do dokumentacji.

Rozwiąż ten test
  1. 1.Kiedy LLM to złe narzędzie dla funkcji?
  2. 2.Czym jest eval-driven development dla funkcji AI?
  3. 3.Jak definiować kryteria sukcesu dla funkcji AI?
  4. 4.Co czyni zbiór danych do ewaluacji reprezentatywnym?
  5. 5.Po co trzymać odłożony zestaw ewaluacji, na który nie patrzy się przy strojeniu promptów?
  6. 6.Nowy prompt ma 84% wobec 82% na 50 przypadkach. Jaki jest właściwy wniosek?
  7. 7.Dlaczego wyniki ewaluacji offline i metryki online mogą się różnić?
  8. 8.Czym jest skażenie benchmarku (contamination)?
  9. 9.Jak sędzia LLM może „dryfować” w czasie?
  10. 10.Czym jest granica koszt-jakość przy wyborze modeli?
  11. 11.Kiedy batch API ma sens dla obciążeń LLM?
  12. 12.Jak utrzymać świeżość indeksu RAG, gdy dokumenty się zmieniają?
  13. 13.Co musi się stać w bazie wektorowej, gdy użytkownik żąda usunięcia danych wg RODO?
  14. 14.Kiedy bardzo długi kontekst może zastąpić RAG?
  15. 15.Czym jest przepisywanie zapytania w RAG?
  16. 16.Czym jest agentic RAG?
  17. 17.Kiedy fine-tuning jest wart więcej niż promptowanie dużego modelu?
  18. 18.Po co przypinać wersje modeli na produkcji?
  19. 19.Jak zespół powinien przygotować się na wycofanie modelu?
  20. 20.Jak zmniejszyć uzależnienie od dostawcy w funkcjach LLM?
  21. 21.Co powinien rejestrować tracing funkcji LLM?
  22. 22.Funkcja AI zaczyna dawać szkodliwe odpowiedzi wielu użytkownikom. Jaki jest pierwszy krok?
  23. 23.Czym jest „lethal trifecta” dla prompt injection w agentach?
  24. 24.Jak renderowany Markdown może ujawnić dane z czatu AI?
  25. 25.Dlaczego narzędzia wykonujące kod dla agentów muszą działać w sandboxie?
  26. 26.Co powinny rejestrować logi audytu agenta z prawdziwymi uprawnieniami?
  27. 27.Czym jest tool poisoning w MCP?
  28. 28.Jak powinna działać autoryzacja narzędzi MCP działających na danych użytkownika?
  29. 29.Co oznacza defence in depth dla bezpieczeństwa LLM?
  30. 30.Co według EU AI Act decyduje o obowiązkach systemu?
  31. 31.Jakie są cztery funkcje NIST AI Risk Management Framework?
  32. 32.Jak testować funkcję AI pod kątem niesprawiedliwego traktowania grup?
  33. 33.Jak oceniać agentów poza ostateczną odpowiedzią?
  34. 34.Co sprawdza ewaluacja stanu końcowego agenta?
  35. 35.Czym jest symulowany użytkownik w testach chatbotów?
  36. 36.Czym jest shadow mode dla nowego modelu lub promptu?
  37. 37.Po co wdrażać zmiany promptów stopniowo za flagami?
  38. 38.Do czego przydaje się kolejka przeglądu wyników AI przez ludzi?
  39. 39.Jak zespół może zmierzyć odsetek halucynacji asystenta RAG?
  40. 40.Dlaczego odmowa („nie wiem”) to ważne zachowanie do ewaluacji?
  41. 41.Co zespół powinien sprawdzić w kwestii przechowywania danych przy API LLM?
  42. 42.Jakie jest ryzyko ścisłych ograniczeń ustrukturyzowanego wyjścia w złożonych zadaniach?
  43. 43.Kiedy model rozumujący jest wart dodatkowego kosztu i opóźnienia?
  44. 44.Jak oszacować ROI funkcji AI?
  45. 45.Jakie jest główne wyzwanie testowania agenta AI do kodu?
  46. 46.Jak zorganizować własność promptów w zespole produktowym?
  47. 47.Jaki jest kompromis między agentem wybierającym kroki a stałym workflow na skali?
  48. 48.Jak testować guardrail, by nie był zbyt surowy?
  49. 49.Do czego służy model card lub system card?
  50. 50.Jak wyszukiwanie może ujawnić dane między tenantami we wspólnym indeksie wektorowym?
  51. 51.Jakie ryzyko przepustowości jest typowe dla funkcji LLM?
  52. 52.Dlaczego prawa autorskie i licencje są problemem dla wyników AI?
  53. 53.Jaka jest rola testów ochronnych przy aktualizacji modelu za agentem?
  54. 54.Jak uczynić wyniki ewaluacji LLM odtwarzalnymi?
  55. 55.Dlaczego koszt powinien być częścią raportu ewaluacji?
  56. 56.Co powinien dać post-mortem incydentu AI?
  57. 57.Jak agent powinien traktować treść z narzędzi w odróżnieniu od instrukcji użytkownika?
  58. 58.Jakie jest rozsądne podejście do budżetu opóźnień asystenta czatu z narzędziami?
  59. 59.Kiedy ma sens uruchamianie małego modelu lokalnie w przeglądarce lub na urządzeniu?
  60. 60.Jak zespół powinien zdecydować, którymi ryzykami AI zająć się najpierw?
  61. 61.Dlaczego interfejsy czatu AI wymagają sprawdzeń dostępności?
  62. 62.Jakie jest ryzyko pozwolenia modelowi generować i uruchamiać zapytania do bazy dla analityki?
  63. 63.Jak sprawdzić, że asystent AI respektuje uprawnienia użytkowników w odpowiedziach?
  64. 64.Jaki jest cel ćwiczenia red team przed startem funkcji AI?
  65. 65.Jak funkcja AI powinna się zachować, gdy jej dostawca nie działa?
  66. 66.Dlaczego długodystansowych agentów trudniej ocenić niż pojedyncze wywołania?
  67. 67.Co „observability funkcji AI” dodaje do zwykłego APM?
  68. 68.Jak uniknąć zestawu ewaluacji testującego tylko to, o czym zespół już pomyślał?
  69. 69.Jaka jest rozsądna zasada dla treści AI pokazywanych użytkownikom jako fakt?
  70. 70.Dlaczego dodanie agentowi narzędzi może go pogorszyć?
  71. 71.Co testować, gdy funkcja AI obsługuje wgrywanie plików jak PDF?
  72. 72.Dlaczego ryzykowne jest używanie tego samego modelu jako generatora i jedynego sędziego?
  73. 73.Jaki jest praktyczny pierwszy krok, by zabezpieczyć istniejącą funkcję LLM?
  74. 74.Czym powinna się różnić ewaluacja w dziedzinie wysokiego ryzyka jak medycyna czy prawo?
  75. 75.Czym jest test regresji promptu?