Lasttests · Senior · Frage 11 von 76
Wie entscheidest du, ob eine Latenzänderung zwischen zwei Builds echt ist?
- 1Mittelwerte vergleichen, weil 5% Unterschied immer signifikant sind
- 2Die maximale Latenz je eines Laufs der beiden Builds vergleichen
- 3Verteilungen aus wiederholten Läufen mit einem statistischen Test vergleichen
Antwort zeigen
Richtige Antwort: Verteilungen aus wiederholten Läufen mit einem statistischen Test vergleichen
Erklärung
Mehrere Läufe pro Build und ein Test wie Mann-Whitney oder Bootstrap-Konfidenzintervalle trennen Signal von Rauschen. Einzelne Läufe führen in die Irre.