Evidently AI

Evidently AIとは？

Evidently AIは、変更をデプロイした後のAIシステムのテストと監視のために構築されたAI評価およびLLMオブザーバビリティプラットフォームです。主な目的は、チームが本番環境に近い条件でモデルの安全かつ信頼性のある動作を検証できるようにすることです。これにより、ハルシネーション、不安全な出力、更新時の回帰などの障害を検知できます。

このプラットフォームは、オープンソースのAI評価ツールであるEvidentlyを基盤としており、拡張可能な「100+ metrics」を備えています。Evidently AIはRAGパイプラインやマルチステップワークフローなどのAIアプリケーションの評価をサポートし、ライブダッシュボードによる継続テストを実現します。

主な機能

• 共有可能なレポート付き自動LLM評価: 出力の正確性、安全性、品質を測定し、AIの障害を「各レスポンスごと」にレポートします。
• 現実的・敵対的入力のための合成データ: 与えられたユースケースに合わせたエッジケースや敵対的テストプロンプトを生成します。無害なプロンプトから攻撃例まで含まれます。
• 継続テストとライブオブザーバビリティダッシュボード: 各更新ごとの性能を追跡し、ドリフト、回帰、新たなリスクを早期に検知します。
• 一般的な障害モードの評価カバレッジ: ハルシネーション・事実性、PII検知、その他の品質シグナル（ガイドライン/フォーマット遵守や検索関連問題など）に対応します。
• カスタム評価定義とメトリックライブラリ: 100以上の組み込みメトリックライブラリを使用し、ルール、分類器、LLMベース評価の組み合わせでカスタムメトリックを追加可能です。

Evidently AIの使い方

1. 既存のメトリックと評価から開始: プラットフォームの組み込み評価コンポーネント（100以上の組み込みメトリックを含む）を使用して、AIの「良好な状態」を定義します。
2. テスト入力の生成: 典型的なリクエストに加え、システムに適したエッジケースや敵対的プロンプトを反映した合成データを生成します。
3. 自動評価の実行と結果レビュー: 評価を実行し、レスポンスレベルで障害を特定する明確なレポートを作成します。
4. 継続監視の有効化: ライブダッシュボードで更新ごとの評価結果を追跡し、ドリフトや回帰を検知します。

ユースケース

• 安全性のための敵対的テスト: PII漏洩、ジェイルブレイク、有害コンテンツなどのリスクをユーザーに届く前に探知します。
• 検索品質のためのRAG評価: RAGパイプラインやチャットボットで検索精度をテストし、ハルシネーションを低減し、文脈関連性を評価します。
• マルチエージェント/エージェントワークフローの評価: 単一レスポンスを超えたシステム動作をチェックし、マルチステップワークフロー、推論、ツール使用を検証します。
• 予測システムとMLコンポーネントの監視: 分類器、サマライザー、レコメンダー、従来のMLモデルを同一の評価/監視アプローチで継続評価します。
• ドメイン特化ルール向けカスタム品質システム: ルール、分類器、LLMベース評価を組み合わせ、アプリケーション固有のガイドライン・フォーマット遵守を測定します。

FAQ

• Evidently AIは何を評価するのですか？ AI出力の正確性、安全性、品質を評価します。ハルシネーション/事実性、PII検知、RAGシステムの検索品質などのシグナルを含みます。

• 継続テストはどう機能しますか？ ライブダッシュボードで更新ごとの性能を追跡し、チームがドリフト、回帰、新たなリスクを検知できるようにします。

• 評価をゼロから構築する必要がありますか？ いいえ。100以上の組み込みメトリックを提供し、ルール、分類器、LLMベース評価の組み合わせによるカスタム評価の作成をサポートします。

• Evidently AIは敵対的テストをサポートしますか？ はい。現実的なエッジケースと敵対的入力のための合成データ生成を提供し、敵対的攻撃を含みます。

• Evidently AIはオープンソースのEvidentlyと関連がありますか？ はい。Evidently AIは、主要なオープンソースAI評価ツールであるEvidentlyを基盤として構築されています。

代替案

• オープンソースのLLM評価フレームワーク: 評価ロジックやメトリクスを提供しますが、完全なオブザーバビリティ/継続監視ワークフローを構築するにはより多くの労力が必要になる場合があります。
• ML向け汎用監視/オブザーバビリティプラットフォーム: 本番監視に有用ですが、応答レベルの失敗分析やLLM-as-judgeワークフローなどのLLM特化の評価パターンをネイティブに含まない場合があります。
• RAG特化の評価ツール: 検索と生成の品質に焦点を当てていますが、Evidently AIの安全性、品質メトリクス、継続テストにわたる広範なアプローチより狭い場合があります。
• CIパイプラインに組み込まれたモデル評価ツール: 各変更ごとにテストを実行するのに役立ちますが、メトリクスカバレッジの広さと継続的なオブザーバビリティのための統合ライブダッシュボードが不足する場合があります。