不是每個變紅的測試都是真的錯誤。
一個失敗一次、重跑就通過的測試,並不能證明功能是好的——但也不能證明它是壞的。testsprite test flaky <testId> 會給這次失敗一個穩定性分數,而不是一句「不知道」。
內建在您已經在用的同一套 CLI 裡
留住您弄壞的證據
testsprite test flaky <testId> 會執行一次穩定性測試,並在任何人花時間去追查之前,告訴您這次失敗更可能是真正的回歸,還是測試本身不穩定。
理解您的需求
不穩定評分適用於任何測試——不管是產生出來的,還是透過 test code put 上傳的——因此它同樣適用於您現有的套件,而不只是新測試。
驗證您現有的東西
穩定性分數來自對正式上線環境真正重複執行的結果,不是靜態分析猜出來的經驗值。
建議您所需要的
一個回來顯示不穩定的測試仍然會拿到失敗包——因此您可以看出雜訊背後究竟是時序問題、選擇器漂移,還是環境問題。
$ testsprite test flaky TC_checkout_promo Running stability pass... 4/5 runs passed — stability score: 0.80 → likely flaky, not a regression $ testsprite test flaky TC_orders_create Running stability pass... 1/5 runs passed — stability score: 0.20 → likely a real regression
為已經變得吵雜的套件打造
適用於任何測試
產生出來的、上傳的都無所謂——test flaky 可以對專案裡任何測試 ID 執行。
回饋進迴圈裡
在檢查測試結果的代理,可以在判斷一個失敗需要修復還是只需要重跑之前,先呼叫 test flaky。
免費社群版
提供免費社群版,讓所有人都能使用。
搭配差異比對使用
把 testsprite test diff 和不穩定評分一起用,精確看出好的執行和壞的執行之間到底改變了什麼。
全球企業信賴
"TestSprite 提供豐富的測試案例生成、清晰的結構和易於閱讀的程式碼。它還支援簡單的線上調試,並能夠透過生成新的測試案例快速擴展。"
"TestSprite 的自動化幫助我們減少了大量的手動工作。開發人員可以更容易地在開發過程早期發現並解決錯誤。"
常見問題
testsprite test flaky 實際上量測的是什麼?
它會針對您正式上線環境多次執行這個測試,並回報一個穩定性分數——也就是它通過的一致程度——而不是只依賴單一次執行的結果。
這和單純重跑測試有什麼不同?
只重跑一次,拿到什麼結果就信什麼,不叫評分,那是丟硬幣。穩定性評分會執行足夠多次,好讓您有一個真正能拿來判斷的數字。
這對我自己寫的測試也有用,不只是產生出來的測試?
有用——不穩定評分可以對專案裡任何測試執行,包括用 test code put 上傳的測試。
拿到低穩定性分數該怎麼辦?
把它當成值得調查的真正回歸——用 test failure get 拉出失敗包,看看到底發生了什麼事。
如果某次失敗但穩定性分數很高呢?
那更可能是測試本身不穩定——時序、選擇器漂移、環境問題——而不是產品的錯誤。值得修的是測試,不一定是應用程式。