Twigg icon

Twigg

Twigg 是具狀態的 HTTP API,可儲存 LLM 對話、為指定模型組裝上下文並路由至支援的供應商,協助開發者打造持久化聊天與工具應用,無須重送紀錄或綁定單一模型。

Twigg

用於儲存對話的具狀態 LLM API

Twigg 是為使用大型語言模型的應用程式提供的具狀態 HTTP API。它結合託管式對話儲存、上下文組裝與模型路由:應用程式建立聊天、傳送下一個提示或事件,並在不重送完整對話紀錄的情況下接收串流回應。

聊天不會綁定至單一模型。Twigg 會針對每一回合所選的模型準備已儲存的上下文,並將請求路由至支援的供應商網路。代理迴圈與工具執行仍由應用程式負責,而 Twigg 提供對話帳本、供應商轉換、串流回應與請求成本資訊。

功能

具狀態的對話儲存

建立聊天後,透過其聊天 ID 指定後續回合。Twigg 會儲存對話帳本,因此請求只需包含最新事件,不必由用戶端維護對話紀錄。

上下文組裝與控制

Twigg 會組裝儲存的對話,使其符合所選模型的上下文視窗。其文件也提到可設定的提示、已儲存的工具、上下文預算與保留設定。

依回合進行模型路由

為每個回應請求選擇模型,而不是將對話綁定至單一模型。服務會將組裝後的上下文轉換為所選供應商所需的格式。

串流回應與執行資料

回應會以 `text/event-stream` 傳送,包含執行識別碼、內容增量、警告、工具呼叫狀態、用量、成本與終止狀態。文件中沒有記載非串流回應模式。

由應用程式控制的工具迴圈

應用程式可以透過相同的 responses 端點提交提示事件與工具結果事件。Twigg 會回報待處理的工具呼叫,但工具仍由應用程式負責執行。

成本回報與執行復原

Twigg 提供模型目錄,並記錄每個請求的成本。冪等性金鑰、持久化歷程與執行檢查功能,有助於在連線中斷或供應商失敗時進行復原。

使用情境

  • 持久化對話應用程式

    建立依 ID 保存對話的聊天或支援工作流程。應用程式傳送每個新的使用者事件,而 Twigg 會保留先前的帳本,並為下一個回應組裝上下文。

  • 模型比較與供應商彈性

    使用單一對話介面,同時為不同回合選擇不同模型,例如在需求或供應商可用性變更時變更要求的模型。模型名稱應取自 Twigg 的即時目錄。

  • 使用工具的代理

    實作工具在您自己的應用程式中執行的代理。Twigg 會串流工具呼叫並接受產生的工具輸出,而您的程式碼仍掌控執行流程與周邊迴圈。

  • 直接 API 整合

    將現有的 HTTP 用戶端連接至具狀態的模型後端,而不必加入產品 SDK。整合可使用 Bearer 驗證與伺服器傳送事件讀取器來處理增量輸出。

Pros and Cons

Pros

  • 對話歷程儲存在底層 LLM 供應商之外,減少應用程式在每個回合重送對話紀錄的需求。
  • 可以依請求選擇模型,讓對話在目錄中的模型與供應商網路之間切換。
  • 系統會依所選模型的上下文視窗處理上下文組裝,並提供文件記載的提示、工具、預算與保留控制項。
  • 串流的 `done` 資料包含用量與成本欄位,而執行與歷程端點則支援在中斷後檢查已持久化的結果。

Cons

  • 根據文件記載的工作流程,API 僅支援串流;用戶端需要支援 HTTP 與伺服器傳送事件。
  • 沒有 SDK,因此必須直接針對 HTTP API 建置整合。
  • 您的應用程式必須執行工具並管理代理迴圈;Twigg 會回報並接受工具呼叫,但不會執行工具。

FAQ

Twigg 是什麼?

Twigg 是透過 HTTP API 提供的託管式上下文儲存庫、上下文組裝器與模型路由器。您的應用程式建立聊天、提交新事件並接收串流回應,同時由 Twigg 儲存並準備對話上下文。

一般的 Twigg 整合如何運作?

使用 `POST /api/v1/chats` 建立聊天,保留回傳的 ID,然後將提示提交至 `/responses`。每個請求都包含模型和新的輸入內容;Twigg 會保留對話歷程。回應採用伺服器傳送事件,因此用戶端必須支援串流。

對話可以切換模型嗎?

可以。模型是依每個請求選擇,而不是固定在聊天上。Twigg 表示它可以將請求路由至 Anthropic、OpenAI、Google、xAI、Fireworks 或 OpenRouter;請從即時目錄中選取請求使用的模型名稱。

Twigg 會執行工具或管理代理迴圈嗎?

不可以。Twigg 不會執行工具。您的應用程式會執行代理迴圈與工具,將工具結果提交至相同的 responses 端點,並繼續讀取串流。它也會在完成資料中記錄請求成本與用量。

Quick Facts

類別
開發者工具
產品類型
具狀態的 LLM API
API 基礎 URL
https://api.twigg.ai
驗證方式
Bearer API 金鑰
回應格式
伺服器傳送事件(`text/event-stream`)
供應商路由
Anthropic、OpenAI、Google、xAI、Fireworks 與 OpenRouter