Nicht jeder rote Test ist ein echter Bug.
Ein Test, der einmal fehlschlägt und bei der Wiederholung besteht, ist kein Beweis für ein funktionierendes Feature — aber auch keiner für ein kaputtes. testsprite test flaky <testId> gibt diesem Fehlschlag einen Stabilitätswert, statt nur mit den Schultern zu zucken.
Eingebaut in dieselbe CLI, die Sie bereits nutzen
Sichern, was kaputtging
testsprite test flaky <testId> führt einen Stabilitätsdurchlauf aus und sagt Ihnen, ob ein Fehlschlag wahrscheinlich eine echte Regression oder Testinstabilität ist — bevor jemand Zeit mit der Suche verschwendet.
Verstehen, was Sie wollen
Das Flaky-Scoring funktioniert bei jedem Test — generiert oder über test code put hochgeladen —, gilt also auch für Ihre bestehende Suite, nicht nur für neue Tests.
Validieren, was Sie haben
Stabilitätswerte stammen aus tatsächlicher, wiederholter Ausführung gegen Ihre Live-Umgebung, nicht aus einer heuristischen Vermutung einer statischen Analyse.
Vorschlagen, was Sie brauchen
Ein Test, der als instabil zurückkommt, bekommt trotzdem ein Failure-Bundle — so sehen Sie, ob Timing, Selektor-Drift oder ein Umgebungsproblem hinter dem Rauschen steckt.
$ testsprite test flaky TC_checkout_promo Running stability pass... 4/5 runs passed — stability score: 0.80 → likely flaky, not a regression $ testsprite test flaky TC_orders_create Running stability pass... 1/5 runs passed — stability score: 0.20 → likely a real regression
Verschwenden Sie keinen Korrekturversuch am falschen Problem
Ein Agent — oder ein Mensch —, der jeden roten Test als echten Bug behandelt, verschwendet Zyklen mit der Jagd nach Rauschen. Stabilitäts-Scoring ist der Unterschied zwischen „das untersuchen" und „das ignorieren".
Entwickelt für Suiten, die unruhig geworden sind
Funktioniert bei jedem Test
Generiert, hochgeladen, egal — test flaky läuft auf jeder Test-ID in Ihrem Projekt.
Fließt zurück in den Loop
Ein Agent, der Testergebnisse prüft, kann test flaky aufrufen, bevor er entscheidet, ob ein Fehlschlag eine Korrektur braucht oder nur eine Wiederholung.
Kostenlose Community-Version
Bietet eine kostenlose Community-Version, die uns für jeden zugänglich macht.
Kombinierbar mit Diffing
Nutzen Sie testsprite test diff zusammen mit dem Flaky-Scoring, um genau zu sehen, was sich zwischen den guten Läufen und dem schlechten geändert hat.
Weltweit von Unternehmen geschätzt
"TestSprite bietet eine umfangreiche Testfallgenerierung, eine klare Struktur und leicht lesbaren Code. Es unterstützt auch einfaches Online-Debugging mit der Möglichkeit, schnell durch die Generierung neuer Testfälle zu erweitern."
"Die Automatisierung von TestSprite hilft uns, Tonnen manueller Arbeit zu reduzieren. Die Entwickler können Fehler im Entwicklungsprozess leichter und früher erkennen und beheben."
FAQ
Was misst testsprite test flaky tatsächlich?
Es führt den Test mehrfach gegen Ihre Live-Umgebung aus und meldet einen Stabilitätswert — wie konsistent er besteht —, statt sich auf das Ergebnis eines einzelnen Laufs zu verlassen.
Wie unterscheidet sich das vom einfachen erneuten Ausführen des Tests?
Einmal erneut auszuführen und das Ergebnis zu nehmen, das dabei herauskommt, ist kein Score, das ist ein Münzwurf. Stabilitäts-Scoring führt genug Durchläufe aus, um Ihnen eine echte Zahl zu geben, mit der Sie argumentieren können.
Funktioniert das auch bei Tests, die ich selbst geschrieben habe, nicht nur bei generierten?
Ja — das Flaky-Scoring läuft bei jedem Test in Ihrem Projekt, auch bei solchen, die mit test code put hochgeladen wurden.
Was mache ich mit einem niedrigen Stabilitätswert?
Behandeln Sie ihn als echte Regression, die eine Untersuchung wert ist — holen Sie das Failure-Bundle mit test failure get ab, um zu sehen, was tatsächlich passiert ist.
Was ist mit einem hohen Stabilitätswert bei einem Lauf, der trotzdem einmal fehlgeschlagen ist?
Das ist eher Testinstabilität — Timing, Selektor-Drift, Umgebung — als ein Produkt-Bug. Es lohnt sich, den Test zu reparieren, nicht unbedingt die App.