Fluiq icon

Fluiq

Fluiq 是面向 LLM 应用的 AI ops stack,提供 Python SDK 的 tracing、安全扫描、缓存与自动化评估,适合生产环境团队管理提示、质量检查和重复请求。

Fluiq

概述

Fluiq 是面向 LLM 应用的 AI ops stack,将可观测性、安全扫描、缓存、提示管理和自动化评估整合到一个 SDK 和后端中。核心流程很简单:先为应用添加一次埋点,然后让 Fluiq 在其基础设施上追踪 LLM 调用、对输出评分并处理重复请求。

该产品面向使用 OpenAI、Anthropic、Gemini、LangChain、LangGraph、CrewAI、Google ADK 和 MCP 等框架构建生产级 AI 系统的 Python 团队。Fluiq 将免费层定位为仅提供可观测性,而付费层会随着使用增长加入缓存和安全功能。

Fluiq 包含的内容

自动埋点

在启动时对 LLM 调用进行补丁处理,因此 traces、延迟和成本会在不改动应用其余部分的情况下进入仪表盘。

服务端安全扫描

在模型调用前或后扫描提示和响应中的越狱、提示注入、PII、密钥和间接注入,具体取决于模式。

基于 trace 的缓存

根据 trace 历史构建缓存配置文件,并通过专用 Redis 缓存提供重复提示,以减少重复的 LLM 调用。

自动化评估门禁

使用 LLM-as-judge 指标对响应进行评分,例如幻觉、忠实度、相关性和毒性,并可根据阈值发出警告或阻止。

提示管理

提供提示模板编辑、版本历史、环境部署以及并排模型比较,用于提示工作流。

框架无关的集成

支持通过 `@trace` 在 OpenAI、Anthropic、Gemini、LangChain、LangGraph、CrewAI、Google ADK、MCP 以及原始 HTTP 上进行函数调用级别的追踪。

常见用例

  • 生产环境 LLM 可观测性

    为现有 LLM 流水线添加可观测性,使每次调用都在仪表盘中显示延迟、成本和按节点拆分的数据。

  • 请求时安全扫描

    在高风险内容到达模型之前阻止越狱、提示注入、PII 和密钥泄露,或者以警告模式运行相同检查供审核。

  • LLM 响应缓存

    让 Fluiq 分析你的 trace 历史,并自动从缓存中提供重复提示,以减少重复的模型开销。

  • 自动化质量检查

    基于幻觉、忠实度、相关性和毒性等质量指标对发布或应用响应进行门禁控制。

  • 提示迭代与部署

    通过版本历史和并排模型比较,在开发、预发布和生产环境之间管理提示模板。

Pros and Cons

Pros

  • 将追踪、安全、缓存、评估和提示管理整合在一个产品中。
  • 利用 trace 历史驱动缓存和缓存配置,而不需要手动设置。
  • 提供清晰的设置流程:安装、获取 API key、一次性埋点,然后开始追踪。
  • 为安全和评估门禁提供 warn 与 block 等实用控制模式。
  • 在常见 LLM 提供商、agent 框架、向量数据库和 MCP 之间支持广泛的集成面。

Cons

  • 某些能力绑定在付费层中,因此免费方案仅限于可观测性和较小的评估量。
  • 源材料对 Python 和框架集成的说明最充分;现有页面中并未清楚描述对非 Python 的支持。

FAQ

如何开始使用 Fluiq?

Fluiq 会通过 `fluiq.instrument()` 在启动时为 LLM 和 agent 调用添加埋点。文档说明,你需要先安装该包,创建账户获取 API key,然后只需调用一次 `instrument()`;来自 OpenAI、Anthropic、Gemini、LangChain 和 MCP 的受支持调用会自动被追踪。

Fluiq 会追踪什么?

文档说明,Fluiq 在完成埋点后会自动追踪受支持的 LLM 调用,并且还提供 `@trace` 装饰器,用于其他会调用 LLM 或向量数据库的 Python 函数。

什么时候需要使用 `fluiq.secure()`?

`fluiq.secure()` 是服务器端安全层。定价和 FAQ 页面说明,它包含在 Growth 和 Enterprise 方案中,并且可以在 warn 模式或 block 模式下运行,以标记或阻止存在风险的提示。

Fluiq 的缓存是如何工作的?

`fluiq.optimize()` 是缓存层。定价和 FAQ 页面说明,它包含在 Team 及以上方案中,并且可以在 cache 模式或 observe 模式下运行,以便拦截重复提示或预览节省效果。

之后可以切换框架吗?

可以。定价 FAQ 说明 Fluiq 以调用级别进行埋点,因此同一个 SDK 可以同时在受支持的多个框架中工作。联系页面也将集成支持列为联系他们的原因之一。

Quick Facts

类别
AI ops / 开发者工具
主要平台
Python SDK
集成
OpenAI、Anthropic、Gemini、LangChain、LangGraph、CrewAI、Google ADK、MCP 和向量数据库
核心流程
一次埋点,然后追踪、保护、缓存并评估请求
定价层级
免费方案以及付费的 Team、Growth 和 Enterprise 方案
网站
getfluiq.com