Nem Todo Teste Vermelho É um Bug Real.
Um teste que falha uma vez e passa na reexecução não é prova de que uma funcionalidade está funcionando — mas também não é prova de que está quebrada. testsprite test flaky <testId> dá a essa falha uma pontuação de estabilidade em vez de um dar de ombros.
Integrado ao Mesmo CLI Que Você Já Usa
Salve o Que Você Quebrou
testsprite test flaky <testId> executa uma checagem de estabilidade e diz se uma falha é provavelmente uma regressão real ou fragilidade do teste — antes que alguém gaste tempo investigando.
Entenda o Que Você Quer
A pontuação de instabilidade funciona em qualquer teste — gerado ou enviado via test code put — então também se aplica à sua suíte existente, não apenas a testes novos.
Valide o Que Você Tem
As pontuações de estabilidade vêm de execuções repetidas reais contra seu ambiente ativo, não de um palpite heurístico de análise estática.
Sugira o Que Você Precisa
Um teste que volta como instável ainda recebe um pacote de falha — para que você veja se há timing, deriva de seletor ou um problema de ambiente por trás do ruído.
$ testsprite test flaky TC_checkout_promo Running stability pass... 4/5 runs passed — stability score: 0.80 → likely flaky, not a regression $ testsprite test flaky TC_orders_create Running stability pass... 1/5 runs passed — stability score: 0.20 → likely a real regression
Não Gaste uma Tentativa de Correção no Problema Errado
Um agente — ou uma pessoa — que trata todo teste vermelho como um bug real desperdiça ciclos perseguindo ruído. A pontuação de estabilidade é a diferença entre "investigar isso" e "ignorar isso."
Feito para Suítes Que Ficaram Ruidosas
Funciona em Qualquer Teste
Gerado, enviado, não importa — test flaky roda em qualquer ID de teste do seu projeto.
Realimenta o Loop
Um agente que verifica resultados de testes pode chamar test flaky antes de decidir se uma falha precisa de correção ou só de uma nova execução.
Versão Comunitária Gratuita
Oferece uma versão comunitária gratuita, tornando-nos acessíveis a todos.
Combina Com o Diff
Use testsprite test diff junto com a pontuação de instabilidade para ver exatamente o que mudou entre as execuções boas e a ruim.
Confiado por Empresas em Todo o Mundo
"TestSprite oferece geração rica de casos de teste, estrutura clara e código fácil de ler. Também suporta depuração online simples com a capacidade de expandir rapidamente gerando novos casos de teste."
"A automação do TestSprite nos ajuda a reduzir toneladas de trabalho manual. Os desenvolvedores podem facilmente detectar e resolver bugs mais cedo no processo de desenvolvimento."
FAQ
O que o testsprite test flaky realmente mede?
Ele executa o teste várias vezes contra seu ambiente ativo e reporta uma pontuação de estabilidade — quão consistentemente ele passa — em vez de depender do resultado de uma única execução.
Qual a diferença entre isso e simplesmente reexecutar o teste?
Reexecutar uma vez e aceitar o resultado que sair não é uma pontuação, é cara ou coroa. A pontuação de estabilidade roda passagens suficientes para te dar um número real para analisar.
Isso funciona em testes que eu mesmo escrevi, não só nos gerados?
Sim — a pontuação de instabilidade roda em qualquer teste do seu projeto, incluindo os enviados com test code put.
O que eu faço com uma pontuação de estabilidade baixa?
Trate como uma regressão real que vale a pena investigar — puxe o pacote de falha com test failure get para ver o que realmente aconteceu.
E uma pontuação de estabilidade alta em uma execução que ainda assim falhou uma vez?
É mais provável que seja fragilidade do teste — timing, deriva de seletor, ambiente — do que um bug do produto. Vale a pena corrigir o teste, não necessariamente a aplicação.