Twigg icon

Twigg

Twigg 是有状态的 HTTP API,可存储 LLM 对话、为指定模型组装上下文并路由请求,帮助开发者构建持久化聊天与工具调用应用,无需重复发送记录或绑定单一模型。

Twigg

用于存储对话的有状态 LLM API

Twigg 是面向使用大型语言模型的应用的有状态 HTTP API。它结合了托管式对话存储、上下文组装和模型路由:应用创建聊天、发送下一条提示或事件,并接收流式响应,无需重复发送完整对话记录。

聊天不会绑定到单一模型。Twigg 会根据每一轮所选的模型准备已存储的上下文,并将请求路由到受支持的提供商网络。应用仍负责智能体循环和工具执行,而 Twigg 提供对话记录、提供商转换、流式响应以及请求成本信息。

功能

有状态的对话存储

创建一次聊天,之后通过聊天 ID 访问后续轮次。Twigg 会存储对话记录,因此请求只需包含最新事件,而无需由客户端维护完整记录。

上下文组装与控制

Twigg 会组装已存储的对话,使其适配所选模型的上下文窗口。其文档还提到可配置的提示词、已保存工具、上下文预算和保留设置。

按轮次进行模型路由

为每次响应请求选择模型,而不是将对话绑定到单一模型。该服务会为所选提供商转换组装后的上下文。

流式响应与运行数据

响应以 `text/event-stream` 形式传送,并包含运行标识符、内容增量、警告、工具调用状态、用量、成本和终止状态。文档未说明存在非流式响应模式。

由应用控制的工具循环

应用可以通过同一个 responses 端点提交提示事件和工具结果事件。Twigg 会报告待处理的工具调用,但工具仍由应用负责执行。

成本报告与运行恢复

Twigg 提供模型目录,并记录每个请求的成本。幂等键、持久化历史记录和运行检查功能有助于在连接中断或提供商失败时进行恢复。

使用场景

  • 持久化对话应用

    构建按 ID 持久化对话的聊天或支持工作流。应用发送每个新的用户事件,而 Twigg 保留之前的记录并为下一次响应组装上下文。

  • 模型比较与提供商灵活性

    使用统一的对话接口,同时为不同轮次选择不同模型,例如在需求或提供商可用性变化时更改请求的模型。模型名称应从 Twigg 的实时目录中获取。

  • 工具调用型智能体

    实现一个由您自己的应用运行工具的智能体。Twigg 会流式传输工具调用并接收生成的工具输出,而您的代码仍控制执行过程及外围循环。

  • 直接 API 集成

    将现有 HTTP 客户端连接到有状态的模型后端,无需添加产品 SDK。集成可以使用 Bearer 身份验证和服务器发送事件读取器来处理增量输出。

Pros and Cons

Pros

  • 对话历史存储在底层 LLM 提供商之外,减少了应用在每一轮重复发送对话记录的需要。
  • 可以按请求选择模型,使对话能够在目录中的模型和提供商网络之间切换。
  • 系统会针对所选模型的上下文窗口处理上下文组装,并提供有关提示词、工具、预算和保留策略的文档化控制项。
  • 流式传输的 `done` 数据包含用量和成本字段,而运行和历史记录端点支持在中断后检查已持久化的结果。

Cons

  • 在文档所述工作流中,该 API 仅支持流式传输;客户端需要支持 HTTP 和服务器发送事件。
  • 没有 SDK,因此集成需要直接对接 HTTP API。
  • 您的应用必须执行工具并管理智能体循环;Twigg 会报告并接收工具调用,但不会执行工具。

FAQ

Twigg 是什么?

Twigg 是通过 HTTP API 提供的托管上下文存储、上下文组装和模型路由服务。您的应用创建聊天、提交新事件并接收流式响应,同时由 Twigg 存储并准备对话上下文。

典型的 Twigg 集成如何工作?

使用 `POST /api/v1/chats` 创建聊天,保存其返回的 ID,然后向 `/responses` 提交提示。每个请求包含模型和新增输入,Twigg 会保留对话历史。响应使用服务器发送事件,因此客户端必须支持流式传输。

对话可以切换模型吗?

可以。模型按请求选择,而不是固定在聊天上。Twigg 表示它可以将请求路由到 Anthropic、OpenAI、Google、xAI、Fireworks 或 OpenRouter;请求中的模型名称应从实时目录中选择。

Twigg 会运行工具或管理智能体循环吗?

不能。Twigg 不会执行工具。您的应用负责运行智能体循环和工具,将工具结果提交到同一个 responses 端点,并继续读取流。它还会在完成数据中记录请求成本和用量。

Quick Facts

类别
开发者工具
产品类型
有状态 LLM API
API 基础 URL
https://api.twigg.ai
身份验证
Bearer API 密钥
响应格式
服务器发送事件(`text/event-stream`)
提供商路由
Anthropic、OpenAI、Google、xAI、Fireworks 和 OpenRouter