Fluiq icon

Fluiq

Fluiq 是專為 LLM 應用打造的 AI ops stack,透過 Python SDK 提供追蹤、安全掃描、快取與自動評估,適合管理正式環境中的 LLM 工作流程。

Fluiq

概述

Fluiq 是一個為 LLM 應用打造的 AI ops stack,將可觀測性、安全掃描、快取、提示管理與自動評估整合在同一個 SDK 與後端中。核心流程很簡單:先在應用程式中加入一次 instrumentation,接著讓 Fluiq 在其基礎架構上追蹤 LLM 呼叫、為輸出評分,並處理重複請求。

此產品主要面向使用 Python、並以 OpenAI、Anthropic、Gemini、LangChain、LangGraph、CrewAI、Google ADK 與 MCP 等框架打造正式環境 AI 系統的團隊。Fluiq 將免費方案定位為僅提供可觀測性,而付費方案則會隨使用量增加而加入快取與安全功能。

Fluiq 包含的功能

自動 instrumentation

在啟動時為 LLM 呼叫加上補丁,讓 trace、延遲與成本資料在不更動應用程式其餘部分的情況下流入儀表板。

伺服器端安全掃描

在模型呼叫前後,依模式掃描提示與回應中的越獄、提示注入、PII、密鑰與間接注入。

以 trace 為基礎的快取

根據 trace 歷史建立快取設定檔,並透過專用 Redis 快取提供重複提示,以減少重複的 LLM 呼叫。

自動評估閘門

使用 LLM-as-judge 指標(例如 hallucination、faithfulness、relevance 與 toxicity)為回應評分,並可依門檻發出警示或封鎖。

提示管理

提供提示範本編輯、版本歷史、環境部署,以及並排模型比較,支援提示工作流程。

與框架無關的整合

透過 `@trace` 支援跨 OpenAI、Anthropic、Gemini、LangChain、LangGraph、CrewAI、Google ADK、MCP 與原始 HTTP 的函式呼叫層級追蹤。

常見使用案例

  • 正式環境 LLM 可觀測性

    為既有的 LLM 管線加入可觀測性,讓每次呼叫都能在儀表板中看到延遲、成本與每個節點的拆解。

  • 請求時安全掃描

    在高風險內容到達模型前封鎖越獄、提示注入、PII 與密鑰外洩,或以警示模式執行相同檢查以供審查。

  • LLM 回應快取

    讓 Fluiq 依你的 trace 歷史建立設定檔,並自動從快取中提供重複提示,以降低重複模型成本。

  • 自動品質檢查

    根據 hallucination、faithfulness、relevance 與 toxicity 等品質指標,對發布或應用回應設置門檻。

  • 提示迭代與部署

    透過版本歷史與並排模型比較,在開發、預備與正式環境之間管理提示範本。

Pros and Cons

Pros

  • 將追蹤、安全、快取、評估與提示管理整合於單一產品。
  • 利用 trace 歷史驅動快取與快取設定檔,而非要求手動設定。
  • 提供清楚的設定流程:安裝、取得 API key、一次性加入 instrumentation,然後開始追蹤。
  • 針對安全與評估閘門提供實用的控制模式,例如警示與封鎖。
  • 在常見 LLM 供應商、代理框架、向量資料庫與 MCP 之間,提供廣泛的整合介面。

Cons

  • 部分功能綁定於付費方案,因此免費方案僅限於可觀測性與較小的評估量。
  • 來源資料最完整的是 Python 與框架整合;可取得的頁面中,非 Python 支援並未被清楚說明。

FAQ

如何開始使用 Fluiq?

Fluiq 會從啟動時開始透過 `fluiq.instrument()` 為 LLM 與 agent 呼叫加上追蹤。文件說明你先安裝套件、建立帳戶以取得 API key,接著只要呼叫一次 `instrument()`;來自 OpenAI、Anthropic、Gemini、LangChain 和 MCP 的支援呼叫會自動被追蹤。

Fluiq 會追蹤哪些內容?

文件說明 Fluiq 會在加上 instrumentation 後自動追蹤受支援的 LLM 呼叫,另外也提供 `@trace` 裝飾器,可用於其他會存取 LLM 或向量資料庫的 Python 函式。

什麼時候需要使用 `fluiq.secure()`?

`fluiq.secure()` 是伺服器端安全層。定價頁與 FAQ 頁面說明,它包含於 Growth 與 Enterprise 方案中,且可在警示模式或封鎖模式下執行,以標記或停止有風險的提示。

Fluiq 的快取如何運作?

`fluiq.optimize()` 是快取層。定價頁與 FAQ 頁面說明,它包含於 Team 及以上方案中,且可在快取模式或觀察模式下執行,分別用於攔截重複提示或預覽可節省的成本。

之後可以切換框架嗎?

可以。定價 FAQ 說明 Fluiq 是在呼叫層級進行 instrumentation,因此同一個 SDK 可以同時跨多個受支援框架運作。聯絡頁也將整合支援列為可聯絡他們的原因之一。

Quick Facts

類別
AI ops / 開發者工具
主要平台
Python SDK
整合
OpenAI、Anthropic、Gemini、LangChain、LangGraph、CrewAI、Google ADK、MCP 與向量資料庫
核心流程
先加入 instrumentation,然後追蹤、保護、快取與評估請求
定價方案
免費方案加上付費的 Team、Growth 與 Enterprise 方案
網站
getfluiq.com