AI Observability Platform

Progress TelerikのAI Observability Platformは、AIエージェントのワークフローを本番環境で追跡・デバッグ・コスト分析・評価できる開発者向けプラットフォームです。.NET、Python、JavaScriptに対応。

監視・ログ管理

AIエージェント開発

AI開発者ツール

ウェブサイトを訪問

概要

Progress TelerikのAI Observability Platformは、AIエージェントのワークフローを追跡・デバッグ・コスト分析・評価するための開発者向け製品です。サイトでは、エージェント、LLMアプリ、RAGシステム、コパイロットなどの本番AIシステムを対象としており、1回の応答がプロンプト、検索、ツール、リトライ、モデル呼び出し、カスタムワークフローロジックを経由する場合を想定しています。

このプラットフォームは、チームが各実行の完全な実行経路と運用コンテキストを把握できるように設計されています。つまり、何が起きたのか、どこで問題が発生したのか、いくらかかったのか、そして出力の品質はどれほど良かったのかを確認できます。ホームページでは、ライブの本番トレース、トレースレベルの根本原因分析、コストとトークンの可視化、実際の実行データに結び付いた再現可能なLLM評価が強調されています。

主な機能

エージェントのワークフローをトレースして可視化する

プロンプト、モデル、ツール、取得ステップ、レイテンシー、トークン使用量、出力にわたる実行パスを確認し、複数ステップのAI実行を最初から最後まで追跡できます。

AI特有のコンテキストで失敗をデバッグする

トレースレベルのコンテキストを使って、スキップされたツール、取得の問題、不適切なコンテキスト、ループ、リトライ、エラー、失敗を引き起こしたワークフロー状態の変化を特定できます。

AIのコストとトークン使用量を分析する

エージェント、ワークフロー、モデル、プロバイダー、ワークフローパターン全体の推定コストとトークン使用量を追跡し、支出を押し上げている要因を把握できます。

時間の経過に伴う出力品質を評価する

取得したトレースに対してLLM-as-a-judge評価を実行し、実際の実行データを使ってプロンプト、モデル、ワークフローの変更を比較できます。

ライブのエージェント実行から始める

.NET、Python、JavaScriptアプリにSDKをインストールして計装し、ダッシュボードでライブトレースの収集を開始できます。

同じワークフローデータを複数のビューで確認する

Trace Explorer、Workflow Debugging、Cost Attribution、Quality Scorecardsなどの補助ビューを使って、同じ実行データをさまざまな角度から確認できます。

一般的なワークフロー

失敗したAIエージェント実行をデバッグする
プロンプト、検索ステップ、ツール呼び出し、リトライ、出力を確認して、エージェントの実行がどこで逸脱したのか、実行経路で何が変わったのかを把握します。
MCPとマルチエージェントのワークフローをトラブルシュートする
作業が停滞したり、ループしたり、不完全な結果を返したりする複数ステップまたはマルチエージェントのフローを、個別のログをつなぎ合わせるのではなく、トレースコンテキストを使って分析します。
検索とグラウンディングの問題を調査する
取得したソース、プロンプト内容、モデル応答、最終回答を確認して、RAGアプリがハルシネーションを生成したり、誤ったコンテキストを取得した理由を特定します。
トークン使用量とコストを管理する
モデル、プロバイダー、エージェント、ワークフロー全体のトークン使用量と推定コストを追跡し、AI支出を押し上げているステップやパターンを見つけます。
出力品質と変更を測定する
LLM-as-a-judge評価でトレース出力をスコアリングし、実際の実行結果を使ってプロンプト、モデル、ワークフローの変更を並べて比較します。

Pros and Cons

Pros

トレースとデバッグからコスト分析、品質評価まで、AIワークフローのライフサイクル全体をカバーしています。
ホームページとセットアップ例によると、.NET、Python、JavaScriptをサポートしています。
個別のログではなく実際の本番トレースに重点を置いているため、失敗を文脈付きで説明しやすくなります。
ワークフローデバッグ、コスト配賦、品質スコアカードの具体的なビューを提供します。
ホームページによると、クレジットカード不要の無料開始プランと短いセットアップ手順が用意されています。

Cons

ソースには、すべての対応フレームワーク、プロバイダー、外部システムについての完全な連携一覧やドキュメントがありません。
収集したテキストでは料金の詳細が一部しか示されていないため、この特定製品の完全なプラン構成はソース上で十分に確認できません。

FAQ

AI Observability Platformは誰向けですか？

AIエージェント、LLMアプリ、RAGシステム、コパイロットを開発しており、ワークフローの実行状況、失敗箇所、コストをトレースレベルで可視化したいチーム向けに作られています。サイトでは、開発者、エンジニアリングリーダー、エンタープライズチームのユースケースも強調されています。

このプラットフォームはチームが何をできるようにしますか？

この製品は、AIワークフローのトレース、失敗のデバッグ、トークン使用量と推定コストの追跡、そして取得したトレースに対するLLM-as-a-judge評価の実行に重点を置いています。サイトでは、関連機能としてデータエクスポート、プロンプト管理、モデル最適化、パフォーマンス指標、AIプレイグラウンドにも言及しています。

どうやって始めますか？

ホームページでは、クレジットカード不要で無料から始められ、5分でセットアップできると案内されています。また、.NET、Python、JavaScript向けのSDK例があり、インストールと計装の手順も示されています。

どのような連携先やプラットフォームがサポートされていますか？

ソースではすべての連携先を詳細には列挙していませんが、.NET、Python、JavaScript向けのSDK対応は明示されており、一般的なAIフレームワークやモデルプロバイダーとの連携が含まれると説明されています。料金ページでは、他のTelerik製品についてSSOやSCIMなどのエンタープライズ機能にも触れていますが、それらがこのAI Observability製品で提供されるかは確認できません。

本番利用向けですか？

この製品は、本番トレース、ライブのエージェント実行、取得した実行データを中心に位置づけられています。ソースには、オフライン専用の分析や未対応環境についての詳細な説明はありません。

Quick Facts

カテゴリ: AI observability
主なユーザー: 開発者、エンジニアリングリーダー、エンタープライズチーム
対応言語: .NET, Python, JavaScript
主なワークフロー: トレース、デバッグ、コスト分析、LLM評価
ソースドメイン: telerik.com
開始方法: 無料で開始可能。クレジットカード不要。5分でセットアップ可能と記載