Context.dev icon

Context.dev

Context.dev 是面向 AI agents 和 LLM 应用的网页抓取与 crawl API,可通过一个 REST API 拉取实时网页内容、抓取网站并提取结构化数据。

Context.dev

Context.dev 的作用

Context.dev 是面向 AI agents 和 LLM 应用的网页抓取与 crawl API,可通过一个 REST API 拉取实时网页内容、抓取网站并提取结构化数据。

该产品的定位是用一项服务替代内部抓取基础设施或多个供应商。网站展示的输出包括 markdown、渲染后的 HTML、sitemaps、截图、品牌数据,以及基于 JSON Schema 的提取,另外还提供一个可在浏览器中完成的 agentic 设置流程。

核心能力

网页内容抓取

将 URL 抓取为适合 LLM 管道和内容处理的干净 markdown。定价页面还将 HTML 和 sitemap 检索区分为单独的网页提取端点。

结构化提取

抓取网站并将数据提取为你定义的 JSON Schema;当你需要结构化输出而不是原始页面文本时,这很有用。

sitemap 抓取

抓取站点 sitemap 以发现整个域名下的页面 URL,帮助团队在进一步处理前对站点内容进行索引或清点。

品牌情报

根据域名、公司名称、邮箱或股票代码获取品牌详情,包括网站上提到的 logo 和其他元数据。

截图与图像捕获

生成视口或整页截图,并在启用丰富信息时提供单独的图像检索端点。

适合 agent 的上手流程

使用 agentic 设置流程通过 `auth.md` 注册,然后在浏览器中完成认领,再轮询获取访问权限。

常见用例

  • LLM 和 agent 工作流

    将当前页面内容作为 markdown 输入 AI agent 或 RAG 管道,让模型基于实时网页数据而不是静态快照工作。

  • 类型化数据提取

    当你需要用于数据库、工作流或下游自动化的结构化记录时,将网站抓取为由 JSON Schema 定义的输出。

  • 站点映射与索引

    通过抓取 sitemaps 并沿着站点结构遍历整个域名,对页面、文档或产品部分进行清点。

  • 品牌增强

    提取品牌元数据,例如用于入驻、丰富信息或产品体验中的资料展示的 logo 和标识符。

  • 页面捕获与验证

    生成截图或抓取到的页面资源,用于审核、QA 或内容采集工作流。

Pros and Cons

Pros

  • 支持多种网页输出,包括 markdown、HTML、sitemaps、截图以及结构化 JSON Schema 提取。
  • 提供免费套餐用于评估,并有可从小型项目扩展到高流量使用的付费方案。
  • 提供 TypeScript、Python、Ruby、Go 和 PHP 的官方 SDK。
  • 包含用于 AI 辅助设置的 agentic 注册流程,可能减少手动上手工作。
  • 将 Logo Link 与 API credits 分开,可能让简单的 logo 获取更容易单独预算。

Cons

  • 网站没有展示一次性查询的定价;它说明服务按订阅制提供,并提到可联系团队处理一次性项目。
  • API 调用有基于套餐的速率限制和每月 credits 配额,因此高频使用需要选择更高档位或管理超额费用。
  • 公开页面未完整说明所有集成细节,因此与设置相关的问题可能需要查看文档或控制台。

FAQ

有免费套餐吗?

是。Context.dev 提供免费套餐。定价页面说明,使用工作邮箱的新用户可获得 500 个 API credits,使用免费邮箱服务的新用户可获得 250 个 credits,且请求速率不同。

credits 如何计算?

当你调用端点时会消耗 API credits。网页抓取端点每次调用消耗 1 个 credit,而品牌相关端点(如 logo 获取、颜色提取、字体检测和品牌资料)每次调用消耗 10 个 credits。Logo Link 使用单独的配额。

支持哪些 SDK?

Context.dev 提供 TypeScript、Python、Ruby、Go 和 PHP 的官方 SDK。

支持子域名吗?

是的。FAQ 说明完全支持子域名。

AI agent 可以帮我设置账户吗?

该服务支持 agentic 注册。agent 可以使用用户邮箱注册,发送设置链接和代码,然后用户在浏览器中完成认领流程,之后 agent 轮询获取访问权限。

Quick Facts

类别
开发者工具
主要用途
网页抓取、crawl API 和结构化提取
网站
context.dev
定价
免费套餐加付费方案;更大规模或更注重安全的团队可使用企业版
支持的 SDK
TypeScript, Python, Ruby, Go, PHP
套餐形式
按月订阅,按量计费超额使用