Pytania rekrutacyjne AI i LLM (Middle) z odpowiedziami

75 pytań na rozmowę rekrutacyjną z tematu AI i LLM (Middle) - z poprawnymi odpowiedziami, wyjaśnieniami i linkami do dokumentacji.

Rozwiąż ten test
  1. 1.Czym jest „context engineering” w aplikacjach na LLM?
  2. 2.Po co często stosuje się nakładanie chunków przy dzieleniu dokumentów dla RAG?
  3. 3.Czym jest wyszukiwanie hybrydowe w RAG?
  4. 4.Co robi reranker w potoku wyszukiwania?
  5. 5.Co mierzy recall@k dla retrievera?
  6. 6.Która metryka RAG sprawdza, czy twierdzenia odpowiedzi wynikają z pobranego kontekstu?
  7. 7.Dlaczego system RAG musi filtrować dokumenty według uprawnień użytkownika?
  8. 8.Co dzieje się z istniejącym indeksem wektorowym po zmianie modelu embeddingów?
  9. 9.Która miara podobieństwa jest najczęstsza do porównywania embeddingów tekstu?
  10. 10.Co sprawia, że definicja narzędzia jest łatwa do poprawnego użycia przez model?
  11. 11.Wywołanie narzędzia kończy się błędem. Co aplikacja powinna zwykle odesłać modelowi?
  12. 12.Po co ustawiać maksymalną liczbę kroków pętli agenta?
  13. 13.Kiedy stały workflow jest lepszy niż autonomiczny agent?
  14. 14.Czym jest prompt chaining?
  15. 15.Czym jest wzorzec routingu w workflowach LLM?
  16. 16.Czym jest wzorzec evaluator-optimizer?
  17. 17.Jakie trzy główne rzeczy może wystawiać serwer MCP?
  18. 18.Po co walidować ustrukturyzowane wyjście biblioteką schematów jak Zod, nawet gdy prosiliśmy o JSON?
  19. 19.Czym jest niebezpieczna obsługa wyjścia w aplikacjach LLM?
  20. 20.Czym jest „excessive agency” w OWASP LLM Top 10?
  21. 21.Dlaczego nie umieszczać sekretów w prompcie systemowym?
  22. 22.Jak ograniczyć skutki prompt injection w agencie czytającym strony WWW?
  23. 23.Które uprzedzenie sędziego sprawia, że woli pierwszą z dwóch pokazanych odpowiedzi?
  24. 24.Jak sprawić, by sędzia LLM był wiarygodny?
  25. 25.Czym jest ewaluacja parami (pairwise)?
  26. 26.Jak używać zestawu ewaluacji LLM w CI?
  27. 27.Po co uruchamiać każdy przypadek ewaluacji kilka razy?
  28. 28.Jak testować jednostkowo kod wywołujący LLM bez płacenia za każde uruchomienie?
  29. 29.Jakie jest ryzyko używania wyłącznie syntetycznych danych testowych z modelu?
  30. 30.Jak testować wieloturowe zachowanie chatbota?
  31. 31.Dlaczego testy snapshotów dokładnych wyników LLM zwykle słabo pasują?
  32. 32.Czym jest semantyczny cache dla wywołań LLM i jakie jest jego główne ryzyko?
  33. 33.Która technika obniża koszt wielu zapytań z tymi samymi długimi instrukcjami?
  34. 34.Czym jest routing modeli dla kontroli kosztów?
  35. 35.Po co funkcji AI zapasowy dostawca lub model?
  36. 36.Co mierzy time to first token (TTFT)?
  37. 37.Czym jest efekt „lost in the middle”?
  38. 38.Dlaczego w produkcie RAG lepsze są odpowiedzi z cytatami?
  39. 39.Czym jest ujawnienie wrażliwych informacji w aplikacjach LLM?
  40. 40.Jak trzymać dane osobowe z dala od zapytań do LLM?
  41. 41.Co powinien obejmować monitoring funkcji AI na produkcji?
  42. 42.Jak bezpiecznie zrobić test A/B dwóch promptów na produkcji?
  43. 43.Jaki jest kompromis self-hostingu modeli open-weight wobec API?
  44. 44.Czym jest kwantyzacja modelu?
  45. 45.Czym jest destylacja modelu?
  46. 46.Po co liczyć tokeny przed wysłaniem zapytania?
  47. 47.Jak agent może zachować przydatną pamięć w długich zadaniach?
  48. 48.Co powinien oferować UI funkcji AI, gdy odpowiedzi mogą być błędne?
  49. 49.Czym jest zatruwanie danych (data poisoning)?
  50. 50.Czym jest ryzyko łańcucha dostaw dla aplikacji LLM?
  51. 51.Dlaczego instalowany serwer MCP należy traktować jak każdą zależność?
  52. 52.Czym jest nieograniczone zużycie w aplikacjach LLM?
  53. 53.Jak testować funkcję streszczającą długie dokumenty?
  54. 54.Co powinny mierzyć ewaluacje funkcji ekstrakcji (np. faktura do JSON)?
  55. 55.Do czego służy zestaw testów odmów?
  56. 56.Jak zespół powinien śledzić wersje promptów i modeli na produkcji?
  57. 57.Po co w niektórych przypadkach narzucać początek odpowiedzi modelu?
  58. 58.Jaka jest główna zaleta przykładów w tagach podobnych do XML w prompcie?
  59. 59.Co mogą poprawić równoległe wywołania narzędzi u agenta?
  60. 60.Czym jest wzorzec orchestrator-workers?
  61. 61.Dlaczego słabości wektorów i embeddingów są na liście ryzyk LLM?
  62. 62.Jak aplikacja powinna obsłużyć odpowiedź modelu, która ciągle nie przechodzi walidacji?
  63. 63.Czym jest misinformation w rozumieniu OWASP LLM Top 10?
  64. 64.Czym jest model guardrail?
  65. 65.Po co testować funkcję AI wejściami w kilku językach?
  66. 66.Czym różnią się ewaluacje oceniane kodem od ocenianych modelem?
  67. 67.Co oznacza „pass@k” dla modeli generujących kod?
  68. 68.Po co trzymać ludzi w ewaluacji nawet przy automatycznych sędziach?
  69. 69.Co powinno się dziać z opiniami użytkowników, np. kciukiem w dół?
  70. 70.Jaki jest częsty błąd przy budowie pierwszego prototypu RAG?
  71. 71.Co strumieniowanie zmienia w obsłudze błędów?
  72. 72.Po co funkcji AI budżet kosztów per użytkownik lub tenant?
  73. 73.Dlaczego więcej pobranych chunków nie zawsze poprawia odpowiedzi RAG?
  74. 74.Co agent powinien zrobić przed nieodwracalną akcją, jak przelew pieniędzy?
  75. 75.Po co uruchomić własne ewaluacje nowego modelu przed przejściem na niego?