AI搭載検索とレコメンデーションのテスト：非決定論的機能の検証

AI搭載の検索・レコメンデーション機能は、SaaS製品においてますます一般的になっています。セマンティック検索にエンベディング、レコメンデーションに協調フィルタリング、またはクエリ理解にLLMを活用している製品も多いでしょう。

これらの機能は非決定論的な出力を生成します。同一のクエリであっても、ユーザー履歴・モデルの状態・ランダム化の影響により、異なる結果が返ることがあります。従来のアサーションベースのテスト（「結果にXが含まれることを確認」）は脆弱で信頼性に欠けます。

非決定論的機能のテストパターン

関連性テスト：結果に常に含まれるべき既知のキーワードで検索します。「pricing」と検索しても料金ページが一切返されない場合、何らかの問題が発生しています。これは弱いアサーションですが、信頼性の高い検証手法です。

ランキングテスト：既知のクエリに対して、最も関連性の高い結果が上位N件以内に含まれることを確認します。正確な順位は変動してもかまいませんが、上位結果は一貫して関連性が高いものである必要があります。

空状態テスト：意味をなさないキーワードで検索します。空の状態が正しくレンダリングされ、クラッシュしないことを確認します。AI生成検索では、ゼロ件結果のケースが適切に処理されないことがあります。

インジェクションテスト：SQLインジェクションパターン、XSSペイロード、プロンプトインジェクションの試みで検索します。悪意ある入力が安全に処理されることを確認します。

パフォーマンステスト：検索レイテンシを計測します。エンベディングがリクエストごとに計算される場合（事前インデックス化されていない場合）、AI搭載検索は低速になることがあります。

境界値テスト：非常に長いクエリ・特殊文字・Unicode・空文字列で検索します。システムがそれぞれのケースを適切に処理できることを確認します。

TestSpriteは、アプリケーション全体のテストスイートの一環として、検索・レコメンデーション機能のテストを実施します。エージェントが検索を実行し、結果の関連性を検証し、エッジケースにおけるエラーハンドリングを確認し、UIが検索結果および空の状態を正しく表示していることをバリデートします。

AI搭載機能を持つ製品において、非決定論的な部分のテストは、決定論的な部分のテストと同様に重要です。

TestSpriteを無料で試す →