Inferock icon

Inferock

Inferock 是 LLM 請求的推論可觀測性與責任追蹤服務,記錄每次呼叫證據,協助團隊檢視失敗、用量、耗時、成本脈絡及符合資格的補救方案。

Inferock

推論可觀測性與責任追蹤

Inferock 是為團隊與開發者提供的推論責任追蹤與可觀測性服務,讓選定的大型語言模型呼叫經由可測量的閘道進行路由。它支援三種運作模式:Inferock Watch 用於使用客戶供應商金鑰進行的呼叫、Inferock Serve 用於透過 Inferock 進行的預付無伺服器推論,以及 Inferock Dedicated 用於依協議設定的保留容量。

此服務會記錄每次受觀測呼叫的相關證據,包括請求路徑、回應、耗時、用量、成本脈絡及失敗詳情。這有助於使用者調查無法使用或失敗的回應,並了解可用推論的實際成本。其預期的機密路由旨在透過已驗證的機密工作負載,實現端對端加密的內容處理;但路由資格取決於模型與設定,且不適用於一般 Inferock Watch 連線。

具責任追蹤能力的推論功能

三種推論模式

可依您對可觀測性、代管無伺服器存取權或保留容量的需求,透過您自己的供應商帳戶、Inferock Serve 或 Inferock Dedicated 路由呼叫。

每次呼叫測量

在 Calls 工作流程中檢視每次呼叫的品質調查結果、耗時、Token 用量、可取得的成本資料、供應商回應及記錄的失敗證據。

可稽核收據

使用收據與帳本記錄,區分平台費用明細、額度活動、用量、重試、失敗及帳務相關證據。

符合資格的機密路由

預期的機密路由旨在讓內容在用戶端與已驗證的機密工作負載之間保持加密,但必須針對特定模型與設定提供資格驗證證據。

針對符合資格的失敗提供明確補救方案

在約定條款下,Inferock Serve 可針對符合資格且具客觀性的供應商失敗提供有上限、非現金形式的服務額度;Dedicated 的服務等級與額度則依協議訂定。

開發者工作流程與文件

文件涵蓋帳戶與金鑰設定、首次呼叫、模型 ID、定價、收據、額度、准入限制及疑難排解。

實際用途

  • 監控以供應商為後端的應用程式

    連結供應商金鑰並檢視測量後的呼叫,以了解品質調查結果、耗時、用量、成本可見性,以及請求失敗的位置,而無需變更供應商的計費關係。

  • 執行無伺服器推論

    當團隊希望透過預付服務取得模型存取權與獨立測量,而不想直接管理供應商 API 金鑰時,可使用 Inferock Serve。

  • 調查失敗的呼叫

    從報告追蹤無法使用的回應或供應商失敗至底層呼叫,接著檢視記錄的證據及任何適用的服務額度狀態。

  • 分析可用回應的成本

    比較已計費的呼叫與應用程式實際可使用的回應,評估推論的實際成本,包括重試與無法使用的輸出所造成的影響。

  • 規劃專用容量

    當應用程式需要保留容量、議定的設定及在佈建前確定的服務條款時,與 Inferock 討論工作負載需求。

Pros and Cons

Pros

  • 提供涵蓋回應、耗時、用量、成本脈絡及失敗證據的獨立每次呼叫收據。
  • 提供多種部署選擇:客戶自有的供應商金鑰、預付無伺服器推論及專用容量。
  • Inferock Serve 與 Inferock Dedicated 用量包含可觀測性;Inferock Watch 在使用者自己的供應商金鑰上則免費提供可觀測性。
  • 說明符合資格的失敗補救方案,包括在約定條款下,針對符合資格的 Inferock Serve 失敗提供有上限的非現金額度。

Cons

  • 模型、區域、容量及服務條款的可用性必須確認;建立帳戶不保證能夠存取。
  • 預期的機密路由並非全面性的加密保證,也不適用於一般 Inferock Watch 連線。
  • 部分證據僅適用於經由 Inferock 路由或由 Inferock 觀測的流量;它不能取代供應商的發票記錄。

FAQ

如何開始使用 Inferock?

註冊後,選擇 Inferock Watch、Inferock Serve 或 Inferock Dedicated。Watch 使用您的供應商金鑰;Serve 透過 Inferock 採預付制,模型與服務條款會在 onboarding 期間確認;Dedicated 則在佈建前依協議完成設定與定價。

Inferock 的產品在價格與設定上有何不同?

Inferock Watch 使用您自己的供應商金鑰時免費,供應商用量費用另行計算。Inferock Serve 採預付制,按實際供應商成本收取總計 10% 的服務費;Inferock Dedicated 則依雙方議定的容量報價定價。

推論呼叫失敗時會發生什麼事?

Inferock 會記錄請求路徑、供應商回應、耗時、用量、費用脈絡及失敗證據。產生的報告會指出失敗原因、相關成本,以及該事件僅供報告或符合 Inferock Serve 服務額度資格。

透過 Inferock 進行推論時,是否採用端對端加密?

預期的機密路由旨在讓內容在用戶端與已驗證的機密工作負載之間進行端對端加密,模型則在該工作負載內處理解密後的內容。此路由必須針對確切的模型與設定,並以證據完成資格驗證;這項保護不適用於一般 Inferock Watch 連線。

哪個 Inferock 選項適合我的工作流程?

Inferock Watch 使用您的供應商帳戶,並提供可觀測性,不收取 Inferock Watch 費用。Inferock Serve 提供支援的模型存取權,無需供應商 API 金鑰;Dedicated 則依協議為工作負載保留容量。

Quick Facts

類別
AI 推論可觀測性
模式
Inferock Watch、Inferock Serve 與 Inferock Dedicated
主要使用者
個人開發者、產品團隊及企業
存取模式
網頁帳戶、Watch 的供應商金鑰、預付 Serve,或議定的 Dedicated 容量
文件
快速入門、呼叫、收據、額度、定價、限制及支援指南
網站
inferock.ai