AI i LLM · Middle · Pytanie 32 z 75
Czym jest semantyczny cache dla wywołań LLM i jakie jest jego główne ryzyko?
- 1Cache tokenów u klienta; zajmuje za dużo miejsca na dysku
- 2Ponowne użycie odpowiedzi dla podobnych zapytań; może zwrócić złą
- 3Trzymanie wag modelu w RAM; spowalnia serwer
Pokaż odpowiedź
Poprawna odpowiedź: Ponowne użycie odpowiedzi dla podobnych zapytań; może zwrócić złą
Wyjaśnienie
„Anuluj moje zamówienie” i „Czy mogę anulować zamówienie?” są podobne, ale mogą wymagać różnych odpowiedzi. Progi i zakres są kluczowe.