Web コンテンツのスクレイピング
URL をクリーンな Markdown にスクレイピングし、LLM パイプラインやコンテンツ処理に利用できます。価格ページでは、HTML と sitemap の取得も別々の Web 抽出エンドポイントとして区別しています。
Context.dev
Context.dev は、AIエージェントとLLMアプリ向けのWebスクレイピング／クロールAPIです。1つのREST APIでライブページ内容の取得、サイトのクロール、構造化データ抽出に対応します。
Context.dev の機能
Context.dev は、AIエージェントとLLMアプリ向けのWebスクレイピング／クロールAPIです。1つのREST APIでライブWebコンテンツの取得、サイトのクロール、ページやWebサイトからの構造化データ抽出に対応します。
この製品は、社内のスクレイピング基盤や複数ベンダーを 1 つのサービスで置き換える手段として位置づけられています。サイトでは、Markdown、レンダリング済み HTML、sitemap、スクリーンショット、ブランドデータ、JSON Schema ベースの抽出などの出力に加え、ブラウザ上で完了できる agentic なセットアップフローを紹介しています。
主要機能
構造化抽出
Web サイトをクロールして、定義した JSON Schema に構造化データを抽出できます。生のページテキストではなく型付き出力が必要な場合に便利です。
サイトマップのクロール
サイトの sitemap をクロールしてドメイン内のページ URL を検出し、さらに処理する前のサイト内容のインデックス作成や棚卸しに役立ちます。
ブランドインテリジェンス
ドメイン、会社名、メールアドレス、または株式ティッカーからブランド情報を取得し、サイト上で参照されているロゴやその他のメタデータを含められます。
スクリーンショットと画像取得
ビューポートまたはページ全体のスクリーンショットを生成でき、enrichment が有効な場合は画像取得用の別エンドポイントもあります。
エージェント向けオンボーディング
agentic なセットアップフローを使い、`auth.md` ിലൂടെ登録してから、ブラウザで claim を完了し、その後アクセスのポーリングを行えます。
一般的なユースケース
LLM とエージェントのワークフロー
現在のページ内容を Markdown として AI エージェントや RAG パイプラインに渡し、モデルが固定スナップショットではなくライブの Web データを参照できるようにします。
型付きデータ抽出
データベース、ワークフロー、下流の自動化で構造化レコードが必要な場合に、JSON Schema で定義した出力へ Web サイトをクロールします。
サイトマップ作成とインデックス化
サイトマップをクロールし、ドメイン全体の構造に従ってページ、ドキュメント、商品セクションを把握してインデックス化します。
ブランドエンリッチメント
オンボーディング、エンリッチメント、またはプロダクト体験でのプロフィール表示向けに、ロゴや識別子などのブランドメタデータを取得します。
ページキャプチャと検証
レビュー、QA、またはコンテンツ取得ワークフロー向けに、スクリーンショットやスクレイピングしたページ資産を生成します。
Pros and Cons
Pros
- Markdown、HTML、sitemap、スクリーンショット、構造化 JSON Schema 抽出など、複数の Web 出力に対応しています。
- 評価用の無料ティアと、小規模プロジェクトから高ボリューム利用まで拡張できる有料プランがあります。
- TypeScript、Python、Ruby、Go、PHP の公式 SDK を提供しています。
- AI 支援のセットアップを行う agentic な登録フローがあり、手動のオンボーディング作業を減らせる可能性があります。
- Logo Link を API クレジットと分けているため、単純なロゴ取得の予算を個別に管理しやすくなっています。
Cons
- サイトでは単発のルックアップ料金は提示されておらず、サービスはサブスクリプションベースで、単発プロジェクトについてはチームへの問い合わせを案内しています。
- API 呼び出しにはプランベースのレート制限と月間クレジット上限があるため、大量利用にはより上位のプラン選択や超過分の管理が必要です。
- 公開ページではすべての統合詳細が十分に文書化されていないため、セットアップ固有の質問にはドキュメントやダッシュボードが必要になる場合があります。
FAQ
無料ティアはありますか？
はい。Context.dev には無料ティアがあります。価格ページによると、仕事用メールの場合は 500 API クレジット、無料メールプロバイダーの場合は 250 クレジットを取得でき、リクエストレートも異なります。
クレジットはどのように機能しますか？
API クレジットは各エンドポイントの呼び出し時に消費されます。Web スクレイピング系エンドポイントは 1 回の呼び出しにつき 1 クレジット、ロゴ取得、色抽出、フォント検出、ブランドプロフィールなどのブランド関連エンドポイントは 1 回の呼び出しにつき 10 クレジットです。Logo Link は別枠のクォータを使用します。
どの SDK が利用できますか？
Context.dev は TypeScript、Python、Ruby、Go、PHP 向けの公式 SDK を提供しています。
サブドメインはサポートされていますか？
はい。FAQ ではサブドメインが完全にサポートされていると記載されています。
AI エージェントにアカウント設定を任せることはできますか？
このサービスはエージェントによる登録をサポートしています。エージェントはユーザーのメールアドレスで登録し、セットアップリンクとコードを送信できます。その後、ユーザーがブラウザで claim 手続きを完了すると、エージェントがアクセスをポーリングします。
Quick Facts
- カテゴリ
- 開発者向けツール
- 主な用途
- Web スクレイピング、クロール API、構造化抽出
- ウェブサイト
- context.dev
- 価格
- 無料ティア + 有料プラン。大規模またはセキュリティ重視のチーム向けにエンタープライズも利用可能
- 対応 SDK
- TypeScript、Python、Ruby、Go、PHP
- プラン形式
- 従量課金の超過分がある月額サブスクリプション
Context.devの代替品
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。
Ably Chat
Ably Chatは、カスタムのリアルタイムチャットアプリを構築できるチャットAPIプラットフォームです。ルーム単位のメッセージ、入力中表示、プレゼンス、リアクション、メッセージ更新に対応し、利用量ベースの料金も選べます。
Manta AI
Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。
SonOf
SonOfは、リポジトリとPMツールに接続し、コードベースと周辺の製品コンテキストを監査して、承認済みの作業をシニアエンジニアのレビュー付きで公開済みチケットに変えます。
Ghost
Ghostは、チャット、コード生成、コマンドラインでのタスク実行に対応したターミナル向けAIアシスタントです。無料モデルを同梱し、Linux、macOS、Windowsで使えます。オープンソースです。