TryCase icon

TryCase

TryCaseは、GitHubプルリクエストの影響を受けるユーザージャーニーを確認し、動画とスクリーンショット付きで判定を報告するAI支援のエンドツーエンドテストツールです。ブラウザーテストスイートを保守せず、Web、API、CLI、ワーカー、パッケージの変更を検証できます。

TryCase

プルリクエスト向けAIエンドツーエンドテスト

TryCaseは、ソフトウェアのプルリクエスト向けのAI支援エンドツーエンドテストツールです。リポジトリを接続すると、各プルリクエストを読み取り、変更の影響を受けるユーザージャーニーを特定し、分離された環境でアプリケーションに対してそれらのジャーニーを実行します。

このサービスは、チームがブラウザーテストスイートを記述・保守することなく、プルリクエストのワークフローに動作検証を追加できるよう設計されています。GitHubを通じて、判定と、キャプション付き動画やスクリーンショットを含む裏付け証拠を返します。また、コマンドラインインターフェースを使って、検証の実行を開始、監視、取得できます。

主な機能

プルリクエストを考慮したテスト選択

TryCaseはプルリクエストを読み取り、変更の影響を受けるユーザージャーニーを選択するため、別個のブラウザーテストスイートを保守する必要性を減らせます。

インターフェースをまたぐエンドツーエンド操作

エージェントはブラウザーでアプリケーションを開き、ユーザーのようにWebインターフェースを操作します。API、CLI、ワーカー、パッケージについては、実際のコマンドを通じて実行できます。

GitHubに添付される証拠

各実行では、判定、キャプション付き動画、最終スクリーンショットがプルリクエストに追加されます。失敗レポートでは、期待された動作と観測された動作を比較します。

並列かつ分離された実行

実行にはCIとは分離された使い捨て環境が使用され、計画に応じて複数の環境を実行できます。新しいコミットがあると、実行中の実行は後ろで待機するのではなく更新されます。

柔軟なAIプロバイダーの選択肢

TryCase Auto、Codexを介して接続したChatGPTサブスクリプション、またはOpenRouter APIキーを利用できます。Claudeサブスクリプションへの対応は近日提供予定と記載されています。

CLIと自動化ワークフロー

CLIでは、検証結果の開始、追跡、継続、停止、取得を行えます。コマンドはJSONを返し、ライブ追跡の出力にはNDJSONを使用します。

ユースケース

  • アプリケーションの変更をレビューする

    リポジトリを接続すると、各プルリクエストで変更が触れるユーザージャーニーを確認でき、レビュー中に判定と証拠を利用できます。

  • Webジャーニーを確認する

    ブラウザーベースのエージェントを使い、変更されたインターフェースやナビゲーション経路など、実際の顧客向けフローを専用のブラウザーテストスクリプトを保守せずに確認します。

  • バックエンドとコマンドラインの動作を検証する

    変更がブラウザー以外の動作に影響する場合、実際のコマンドを通じてAPI、コマンドラインツール、ワーカー、パッケージを実行します。

  • テスト運用を自動化する

    ターミナルまたはコーディングエージェントのワークフローから検証を実行し、ステータスの変化を追跡し、対応要求に応答して、保存された成果物をプログラムからダウンロードします。

  • チーム開発を並列化する

    複数の変更をレビュー中の場合や、チェックの実行中も開発者がプッシュを続ける場合に、分離されたプルリクエスト環境と同時実行ワーカーを使用します。

Pros and Cons

Pros

  • 最初にブラウザーテストスイートを記述しなくても、プルリクエストからテストを開始できます。
  • 結果には、レビュー担当者がコード変更と並べて直接確認できる視覚的な証拠が含まれます。
  • 使い捨て環境によって実行をCIから分離し、開発者がコミットを追加し続ける間も並列作業をサポートします。
  • CLIは、監視と自動化のための構造化されたJSON/NDJSON出力を提供します。
  • TryCaseが管理するAIを選択するか、Codexを介してChatGPTサブスクリプションまたはOpenRouterキーを接続できます。

Cons

  • 標準テスト環境は4 vCPUと8 GBメモリに制限されているため、より高い実行要件を持つリポジトリでは設定の調整が必要になる場合があります。
  • テスト時間と同時実行環境の上限はプランによって異なり、実行中のワーカーはそれぞれ個別にテスト時間を消費します。
  • 接続されたGitHubリポジトリに重点を置いた製品であり、現在、Claudeサブスクリプションへの対応は近日提供予定と記載されています。

FAQ

TryCaseはGitHubプルリクエストでどのように動作しますか?

選択した公開または非公開のリポジトリにTryCase GitHub Appをインストールします。プッシュのたびにチェックを実行するか、プルリクエストに「/trycase run」とコメントして実行できます。CLIから検証の実行を開始・監視することもできます。

最初にエンドツーエンドテストを記述する必要がありますか?

いいえ。TryCaseはプルリクエストを読み取り、影響を受けるユーザージャーニーを特定し、ブラウザーテストスイートを必要とせずにテストします。プルリクエストへの返信や検証プロンプトファイルを通じて、追加の指示を与えることもできます。

TryCaseはどのような結果を返しますか?

プルリクエストには、合格または不合格の判定、キャプション付き動画、最終スクリーンショットが追加されます。失敗の詳細には、期待された動作と実際に起きたことが記載され、レビュー用の証拠が提供されます。

テスト環境はどこで実行され、シークレットはどのように扱われますか?

各プルリクエストは、4 vCPUと8 GBメモリを備えた使い捨て環境で実行されます。本番環境用ではない値のみを使用してください。シークレットは暗号化され、ログやプルリクエストに出力されず、承認されたコマンドとホストにのみ提供されます。

トライアルとテスト時間の課金はどのように行われますか?

無料トライアルは14日間で、エンドツーエンドテスト3時間分とTryCase Autoクレジット30件が含まれます。カードは必要ありません。有料プランは月額19ドルからです。テスト時間は実際のサンドボックス実行時間に基づいて計測され、自動的な超過料金はありません。

Quick Facts

カテゴリー
開発者ツール、AIテスト
主なワークフロー
GitHubプルリクエスト向けエンドツーエンド検証
テスト対象インターフェース
Webアプリ、API、CLI、ワーカー、パッケージ
実行環境
4 vCPUと8 GBメモリを備えた使い捨てLinux環境
CLI
Node 20以降、JSONコマンドとNDJSONライブ更新
トライアル
14日間、テスト3時間、TryCase Autoクレジット30件。カード不要

TryCaseの代替品