Olostep icon

Olostep

Olostep 是專為 AI agents 與開發者打造的 web data infrastructure API,可搜尋、擷取、爬取、結構化並監測網頁內容,輸出適用於研究、補充與即時工作流程的 LLM-ready 資料。

Olostep

AI agents 的 web data infrastructure

Olostep 是專為 AI agents 與開發者團隊打造的 web data infrastructure 平台,可透過單一 API 搜尋、擷取、爬取、結構化並監測網頁內容。網站將其定位為能以結構化、LLM-ready 輸出支援研究、補充、RAG 與即時資料工作流程的工具。

其公開 API 依不同工作分為多個專用端點:Scrapes 用於已知 URL,Maps 用於網域 URL 探索,Crawls 用於多頁網站巡覽,Batches 用於大型任意 URL 清單,Searches 用於語意探索,Answers 用於有來源依據的回應,Monitors 用於週期性檢查。首頁也展示原生 Python 與 NodeJS SDK 用戶端,以及 cURL 範例,因此團隊可透過程式碼或直接以 HTTP 使用此服務。

核心功能

語意搜尋與排序式探索

使用自然語言查詢搜尋網路,並取得附有標題與描述的排序連結;當你需要先進行探索再抽取時特別有用。

單一 URL 擷取

從你已知的 URL 擷取內容,並可要求 markdown、HTML、text、JSON、screenshots 與 parser output 等格式。

含頁面擷取的網站爬取

從起始 URL 開始,依深度與頁面限制爬行網站,接著列出頁面並逐頁擷取其內容。

網域 URL 對應

使用篩選條件與 cursor 分頁探索單一網域的 URL,有助於在不維護自有探索流程的情況下建立來源清單。

大型 URL 集合的批次處理

在單一工作中處理大量任意 URL 清單,並支援 parser、metadata、webhook 與以 cursor 為基礎的項目存取。

網頁監測與提醒

設定週期性監測以追蹤網頁,並透過 email、Slack、SMS 或 webhook 發送變更通知。

常見工作流程

  • 為研究任務尋找候選來源

    當你需要從自然語言問題取得排序後的連結,並希望在不自行管理搜尋爬蟲的情況下從探索走向擷取時,使用 Search。

  • 從單一頁面擷取內容

    當你已經知道 URL,並且需要以 markdown、HTML、JSON 或 screenshots 等特定格式取得頁面內容以供下游處理時,使用 Scrapes。

  • 從網站巡覽中收集內容

    當內容分散在網站各處,例如文件、部落格或其他多頁結構,而你需要從起始 URL 逐頁擷取時,使用 Crawls。

  • 建立網域 URL 清單

    當你需要在決定要抓取或進一步處理哪些頁面之前,先盤點某個網域上的 URL 時,使用 Maps。

  • 大規模處理 URL 清單

    當你擁有大量任意 URL 清單,並希望以可預期的完成方式與 webhook 等營運工具在單一工作中處理它們時,使用 Batches。

Pros and Cons

Pros

  • 在單一平台涵蓋多種常見 web-data 工作流程,包括搜尋、擷取、爬取、對應、批次、回答與監測。
  • 支援多種輸出格式,包括 markdown、HTML、text、JSON、screenshots,以及適用時的 parser output。
  • 提供 Python、NodeJS 與 cURL 的程式碼範例,方便在不同技術堆疊中採用。
  • 價格頁面包含 500 次成功請求的免費試用,以及付費方案、加值與企業選項。
  • 端點頁面描述了 webhook、metadata 與 cursor 分頁等面向擴充性工作流程的操作功能。

Cons

  • 產品分散在多個端點上,因此選擇正確的端點取決於工作流程,而不是使用單一通用呼叫。
  • 來源未提供每個端點能力的完整文件,因此某些進階行為、限制與整合無法僅從公開頁面完全看見。

FAQ

我該為特定工作流程使用哪個端點?

Olostep 提供針對不同 web data 任務的專用端點。來源頁面說明,Scrapes 用於單一已知 URL,Maps 用於在單一網域上探索 URL,Crawls 用於從起始 URL 瀏覽網站,Batches 用於大量任意 URL 清單,Searches 用於排序後的網頁結果,Answers 用於有來源依據的自然語言回覆,Monitors 用於週期性檢查。

Olostep 提供 SDK,還是只有原始 HTTP API?

來源顯示有原生的 Python 與 NodeJS SDK 用戶端,以及 cURL 範例。公開頁面也展示了針對 scrapes、crawls、maps 和 batches 的端點專用 HTTP 請求與程式碼範例。

有免費方案或試用嗎?

價格頁面寫明免費試用包含 500 次成功請求,付費方案從每月 $9 起。同一頁也提到可加值點數包以及採用客製化報價的企業方案。

Olostep 會回傳什麼類型的輸出?

首頁顯示 Scrapes 可回傳 markdown、HTML、screenshots 與 JSON,而端點頁面也提到 text 與 parser output。Crawls 會回傳每頁的 retrieve IDs,之後可從 /v1/retrieve 取得內容。

Olostep 可以用於持續監測嗎?

端點頁面將 Monitors 描述為可偵測頁面變更並透過 email、Slack、SMS 或 webhook 發送提醒的週期性檢查。首頁與價格頁面較著重於 web data API,而 monitors 的細節則出現在端點總覽頁面。

Quick Facts

分類
Web data infrastructure
主要使用者
AI agents、開發者與研究團隊
介面
具備 SDK 用戶端與 cURL 範例的 HTTP API
主要端點
Scrapes、Crawls、Maps、Batches、Searches、Answers、Monitors
價格入口
提供免費試用;價格頁面有付費方案與加值
網站
olostep.com