AI i LLM · Middle · Pytanie 26 z 75
Jak używać zestawu ewaluacji LLM w CI?
- 1Uruchamiać tylko na produkcji na prawdziwych użytkownikach
- 2Uruchomić raz przed startem i potem już nigdy
- 3Uruchamiać przy zmianach promptu lub modelu i padać przy spadku wyników
Pokaż odpowiedź
Poprawna odpowiedź: Uruchamiać przy zmianach promptu lub modelu i padać przy spadku wyników
Wyjaśnienie
Progi per metryka czynią edycje promptów bezpiecznymi, jak testy jednostkowe dla kodu. Szybki podzbiór na każdy PR, pełny przebieg co noc.