TestSprite はバックエンドテストにおけるハルシネーションアサーションをどのように削減するか？
Zeshi Du
ハルシネーションは通常チャットボットの問題として語られます。AI がもっともらしいが事実ではないことを断言する現象です。バックエンドのテスト生成においても、同じ障害モードがより静かで、より高コストな形で現れます。API が実際には返さない内容をチェックするアサーションです。
AI がハンドラーコードを読み込み、レスポンスに user_id が含まれていることをアサートするテストを生成します。しかし API は userId を返します。テストは 200 をアサートしますが、エンドポイントは 201 を返します。テストは created_at が ISO 文字列であることを期待しますが、シリアライザーは Unix タイムスタンプを出力します。これらのアサーションはどれもランダムなものではありませんでした。すべてもっともらしいものでした。しかしそのすべてがハルシネーションでした。AI が一度も確認しなかった現実をアサートしたという、まさにその意味で。
この問題に対する TestSprite のアプローチは、表面的な修正ではなく構造的なものです。その理由を理解するには、まずこれらのハルシネーションがどこから来るのかを理解する必要があります。
ハルシネーションアサーションの発生源
ハルシネーションアサーションには主に三つの発生源があり、そのいずれもプロンプトの改善では解決できません。
学習済みの事前確率。数百万の API を学習したモデルは強い期待値を持ちます。REST の create は 201 を返す、タイムスタンプは ISO 8601 形式である、リストエンドポイントは結果を data 配列にラップするといったものです。あなたの API が統計的な標準から外れているとき、そして実際のどの API もどこかで外れているものですが、何らかの修正が強制されない限り、モデルの事前確率があなたの現実に勝ってしまいます。
コードとランタイムのドリフト。ソースコードは実行中の API の不完全な予測子です。シリアライゼーション層がフィールド名を変更します。ミドルウェアがヘッダーを注入または削除します。フレームワークの規約がケーシングを変換します。ハンドラーからレスポンスを推論する AI は、真実から一段階変換された証拠をもとに推論しています。
もっともらしい補完。情報が欠落している場合、生成モデルは一貫性のある内容でギャップを埋めます。ページネーションの形式がコードから明確でなければ、モデルは一般的なものを選びます。その補完されたアサーションはレビューでも問題なく見えます。なぜならもっともらしいからです。もっともらしさこそが問題なのです。
二つの障害モード、そしてなぜ一方がより深刻なのか
ハルシネーションアサーションは二つの方向で悪影響を与えます。
目に見える方は偽の失敗です。テストが user_id をアサートし、API が userId を返し、テストが失敗します。エンジニアがプロダクトは問題なく、テストが間違っていたと気づくまでに 20 分を費やします。スイート全体でこれが積み重なると、チームはレッドを信用しなくなり、テストの意味そのものが崩れていきます。
危険な方は偽の成功です。たまたま条件が緩いハルシネーションアサーション、フィールドの存在だけを確認してその形状は確認しない、あるいはコードの代わりにステータス範囲をアサートするようなもの、が API に本当の問題があっても通過してしまうことがあります。スイートはグリーンです。自信は本物です。しかしその背後にある検証はありません。チームはこのカテゴリをダッシュボードからは発見しません。ユーザーから発見するのです。
ハルシネーションを削減することは、テストをより多く通過させることではありません。合格と失敗が主張通りの意味を持つようにすることです。
構造的な解決策としての観測
TestSprite の Backend Testing 2.0 は、ハルシネーションが生じる推論ステップを取り除きます。アサーションを生成する前に、エージェントがエンドポイントを呼び出し、実際のレスポンスを記録します。実際のフィールド名、実際のステータスコード、実際のレスポンス形状です。
他の検証ツールはコードを読んで推測します。TestSpriteはあなたのアプリを開いて実際に使います。
生成はその観測結果をもとに行われます。事前確率でも、コード推論でも、もっともらしい補完でもありません。create エンドポイントが camelCase の userId と Unix タイムスタンプとともに 201 を返すなら、アサーションはそれを確認します。なぜならそれが観測されたものだからです。モデルの学習済み事前確率が上書きするものは何もありません。グランドトゥルースがコンテキストの中にあるからです。
同じ規律がマルチステップフローにも適用されます。ダイナミック変数は実際のレスポンスからキャプチャされ、後続に渡されます。実際の create 呼び出しから得られた実際の ID が、read、update、delete に渡されます。ステップ 1 が一度も生成しなかったフィールドをステップ 3 が参照するようなハルシネーションチェーンは、組み立てられません。チェーンは実際に存在すると証明された値から構築されるからです。
そして観測されたコントラクトはリグレッションのベースラインになります。後の Claude Code セッションでエンドポイントが返す内容が変わった場合、その発見は現実と推測の比較ではなく、二つの観測の比較、以前に返された内容と現在の内容、になります。
AI 生成バックエンドへの具体的な意味
Claude Code や Cursor でバックエンドを構築するチームは、両側からハルシネーションリスクにさらされています。AI がコードを書き、次に AI がテストを書きます。テスト生成器がコード生成器と同じソースから推論するなら、エラーが相関します。テストはコードの誤った前提を継承し、それを確認してしまいます。これがバグが検出される代わりに認証されてしまうメカニズムです。
観測がその相関を断ち切ります。テスト生成器の入力はコードではありません。実行中のシステムの振る舞いであり、コード生成器の前提がフレームワーク、シリアライザー、データベースと出会って生み出したすべてを含んでいます。AI が書いたハンドラーがステータスを文字列で返すと思っていても、共有シリアライザーがそれをオブジェクトにネストする場合、推論ベースのテストはその思い込みをアサートし、観測ベースのテストは事実をキャプチャします。
AI スピードで出荷するチームにとって、これがグリーンを信頼できるものにするプロパティです。アサーションとコードが共有の推測を通してではなく、現実を通して互いに検証されているからです。
シナリオ：間違う機会さえなかったアサーション
4 人のチームが Claude Code でイベントチケットプラットフォームを構築しています。あるセッションでグループ予約エンドポイントを追加します。一度の呼び出しで複数の席を予約し、座席ごとの詳細を含む予約を受け取るものです。
ハンドラーを読み込む推論ベースの生成器は、もっともらしいアサーションを生成したでしょう。成功時に 200、seats 配列、各座席に seat_number。もっともらしく、そして三か所で間違っています。エンドポイントは 201 を返します。配列はシリアライザーデコレーターによって reservations と改名されています。そして座席番号は「B-14」のような seatLabel 文字列として返されます。数値の seat_number フィールドではありません。ラベルはモデル層で構成されているため、ハンドラーコードからは一切見えない選択です。
TestSprite のエージェントはまずエンドポイントを呼び出します。観測は 201、reservations、seatLabel を記録します。生成されたテストはまさにそれをアサートし、実際の bookingId をキャンセルフローに渡して席が解放されることを検証します。
実行で一つの本物の発見が浮かび上がります。グループ予約をキャンセルすると、キャンセルループがインデックス 1 から始まるため、最初の席だけがロックされたままになるというものです。これは本物のバグで、一度もデバッグされる必要のなかったテストによって発見されました。アサーションのどれも推測ではなかったからです。
発見は Claude Code のターミナルに届き、コーディングエージェントがオフバイワンを修正し、再実行でリリースが確認されます。テストが API について間違っていたと気づくために時間を費やした人は誰もいませんでした。テストは API について一度も間違っていませんでした。それを実際に見ていたからです。
まとめ
ハルシネーションアサーションは推論から来ます。学習済みの事前確率、コードとランタイムのドリフト、ギャップを埋めるもっともらしい補完です。時間を浪費する偽の失敗と、バグを認証する偽の成功としてチームにコストをかけます。そして二番目の種類はユーザーが発見するまで見えないため、より深刻です。
TestSprite は構造的にハルシネーションを削減します。推論をループから取り除くことで。Backend Testing 2.0 は何かをアサートする前に実際の API を観測し、実際の値をマルチステップフローに渡し、リグレッションを観測間の比較に変えます。AI 生成バックエンドにおいて、コードとテストが同じ誤った推測を共有しうる状況では、観測こそが両者を互いに誠実にし続けるものです。
今すぐ AI IDE から TestSprite で API を現実に照らしてテストしましょう。