2行のSDKインストゥルメンテーション
モデルを一度ラップするだけで、`generateText` と `streamText` のすべての呼び出しを2行で計測できます。この製品は、AIエージェントの実行に向けた軽量な可観測性レイヤーとして位置づけられています。
Foglamp
Foglampは、Vercel AI SDKで構築されたAIエージェント向けの可観測性レイヤーです。productionの`generateText`と`streamText`のコスト、レイテンシ、トレース、evalスコア、アラートを把握できます。
概要
Foglampは、Vercel AI SDKで構築されたAIエージェント向けの可観測性レイヤーです。各`generateText`と`streamText`の呼び出しについて、コスト、レイテンシ、token使用量、traces、evalスコア、アラートを表示するよう設計されています。
製品はproductionのエージェントワークフローに重点を置いています。1度計測すれば、その後は実行結果を確認し、サンプリングしたトラフィックを採点し、コスト、エラー率、レイテンシ、品質のドリフトが起きたときにアラートルールを設定できます。ソースでは、AIエージェントがリアルタイムで何をしているかを把握し、ユーザーが気づく前に不適切な出力を検出する手段として位置づけられています。
機能
エージェントレベルのトレーシング
オーケストレーターと下流のエージェントを含む、呼び出しフロー全体でエージェントごとのスパン、レイテンシ、支出を追跡できます。これにより、ワークフローのどこで時間とコストが蓄積しているかを把握しやすくなります。
本番eval
コードチェックとLLMジャッジを使って、ライブトラフィックで本番品質を測定します。evalは0〜1のスケールで、合格しきい値を設定でき、ソースでは有効なJSON、PIIなし、トーン、groundednessなどのチェックが挙げられています。
しきい値アラート
コスト、レイテンシ、エラー率、evalスコアに対してしきい値ルールを設定できます。Foglampはこれらのルールを1分ごとに確認し、エージェント、model、またはproject単位で適用範囲を絞れます。
コストインテリジェンス
ライブのプロバイダー価格を使って、model、agent、workflow、個々のcustomerごとにコストを按分します。製品は実際のtoken使用量を使い、請求額により近い内訳を提供すると説明しています。
traceから根本原因への導線
アラートや失敗したスコアから、その背後にあるtracesへ直接移動できます。ソースでは、各spanごとの正確なpromptとresponseを含むウォーターフォール形式のtraceも強調されています。
ユースケース
本番のエージェント挙動のデバッグ
本番の各エージェント実行のレイテンシ、コスト、traceデータを追跡し、デプロイ後に何が変わったかを把握して、関与した正確なmodelやステップを特定できます。
コスト監視と回帰検知
model、agent、workflow、customerごとに支出を監視し、日次またはしきい値ベースの制限を設定して、請求書に反映される前に回帰を検知できます。
本番トラフィック向けのevalベースQA
コードチェックとLLMジャッジでライブトラフィックを採点し、合格率を測定してから、特定のagentやworkflowごとに品質の推移を追跡できます。
オンコール通知とインシデント切り分け
コスト、レイテンシ、エラー率、evalスコアがしきい値を超えたときにメールまたはSlackでアラートを受け取り、関連するtraceを確認して急増の原因を調査できます。
エージェントチェーンの検証
各spanの正確なpromptとresponseを含むウォーターフォールtraceを確認し、オーケストレーションされたagentチェーンがどのように結果を生み出したかを把握できます。
Pros and Cons
Pros
- 本番のエージェントトラフィックに対して、コスト、レイテンシ、token、traces、eval、アラートを一か所で確認できます。
- コスト配分に実際のtoken使用量とライブのプロバイダー価格を使います。
- 品質スコアリングに、決定論的なコードチェックとLLMジャッジの両方をサポートします。
- メールとSlackで、1分単位のアラート配信を追加できます。
- アラートやeval失敗から、基となるtraceまで掘り下げられます。
Cons
- ソースで明確に文書化されているのはVercel AI SDKとの統合のみであり、他のSDKやプラットフォームのサポートはここでは確認できません。
- 一部のプランや上限は使用量ベースのため、利用量の多いチームは採用前にスパン数、保持期間、アラート数を比較する必要がある場合があります。
FAQ
Foglampは何と連携しますか？
FoglampはVercel AI SDKを中心に構築されており、`generateText` と `streamText` の呼び出しを計測します。ソースには、他に対応しているSDKやフレームワークは記載されていません。
Foglampには無料プランがありますか？
料金ページには、Freeプラン、Proプラン、Enterpriseプランが表示されています。Freeには月10,000 spansと3日間の保持期間が含まれ、Proは月額49ドル、Enterpriseは個別見積もりです。
既存のチャネルにアラートを送れますか？
はい。ソースによると、アラートはagent、model、またはプロジェクト全体に対してスコープ指定でき、メールとSlackに配信できます。
evalはどのように使われますか？
Foglampは、コードチェックとLLMジャッジを使ってサンプリングしたproduction traceを0〜1のスケールで評価し、一定率をサンプリングするか、全件評価することもできるとソースに記載されています。
注意すべき制限はありますか？
ソースは、productionのagent runに対するリアルタイムのコスト配分、分散トレース、アラート、evalを強調していますが、無関係な可観測性スタックや非Vercel SDKのサポートについては記載していません。
Quick Facts
- カテゴリ
- 開発者向けツール
- 主な用途
- AIエージェントの可観測性
- プラットフォーム
- Vercel AI SDK上に構築
- 主要指標
- コスト、レイテンシ、token、分散トレース、eval、アラート
- 料金体系
- Free、Pro、Enterpriseプラン
- ソースドメイン
- foglamp.dev
Foglampの代替品
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。
Manta AI
Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。
SonOf
SonOfは、リポジトリとPMツールに接続し、コードベースと周辺の製品コンテキストを監査して、承認済みの作業をシニアエンジニアのレビュー付きで公開済みチケットに変えます。
Ghost
Ghostは、チャット、コード生成、コマンドラインでのタスク実行に対応したターミナル向けAIアシスタントです。無料モデルを同梱し、Linux、macOS、Windowsで使えます。オープンソースです。