KI und LLMs · Junior · Frage 61 von 75
Was ist Red Teaming für eine KI-Anwendung?
- 1Ein Team, das die Systemprompts der App schreibt
- 2Gezielte Versuche, sie zu Fehlverhalten zu bringen
- 3Die KI-Oberfläche rot färben, um Warnungen zu zeigen
Antwort zeigen
Richtige Antwort: Gezielte Versuche, sie zu Fehlverhalten zu bringen
Erklärung
Red Teams probieren Jailbreaks, Injections und Datenlecks. Werkzeuge wie promptfoo können Teile davon automatisieren.