inferock-bench icon

inferock-bench

inferock-bench 是一款本機診斷代理,用於 LLM API 流量,可記錄每次呼叫的用量、失敗與時間,並產生收據供帳務完整性審查,適合稽核 token 用量或調查失敗呼叫是否影響計費的團隊與個人。

inferock-bench

本機 LLM 成本追蹤代理

inferock-bench 是一款用於有計量的 LLM API 流量的本機診斷代理。它會將請求透過 localhost 轉送,記錄每次呼叫事件,並把這些事件轉換為收據,用來摘要用量、時間、失敗與與帳務相關的訊號。

此專案適合需要在呼叫層級檢視 AI 支出與帳務完整性的人。README 將其定位為可用來稽核 AI 或 LLM 帳單、本機檢查 token 用量,以及調查失敗的 API 呼叫是否仍可能被計費的方法。

核心功能

本機逐次呼叫量測

量測供應商回報的用量、定價證據、請求與回應中繼資料、狀態、時間、重試證據,以及代理實際看見的呼叫之偵測器訊號。

失敗與帳務完整性證據

記錄可能影響計費或稽核軌跡的傳遞失敗,包括已計費但無輸出、拒絕、截斷、token 重算不符、重複請求 ID、快取折扣風險證據,以及供應商故障重試。

介面涵蓋狀態

將每個介面標示為 watched-clean、signal 或 not-openable,讓使用者能看出某項檢查尚未開啟,而不是誤以為結果乾淨。

收據產生

使用隨附的 @inferock/measure 評分程式碼與 The Inferock Standard,根據儲存的事件紀錄產生收據。

本機優先處理金鑰與收據

將供應商金鑰保留在本機代理工作流程中,不會傳送給 Inferock;除非使用者分享,否則收據也會保留在本機。

已量測供應商範圍

鎖定四個已量測的供應商平面,同時也保留對目前尚未量測之其他介面的擴充能力。

常見使用方式

  • 在請求層級稽核 AI 支出

    當您想要取得每次呼叫的記錄,包含哪些內容被計費、哪些內容失敗,以及該請求附帶哪些時間或重試證據時,可使用此代理。

  • 本機檢查 token 用量

    在您依賴發票總額或儀表板摘要之前,可先用它來本機檢查透過您自己的機器路由的供應商呼叫之 token 用量。

  • 調查帳務完整性問題

    當失敗的請求可能仍影響計費時,可使用收據輸出,特別是涉及無輸出、拒絕、截斷或重試行為的情況。

  • 檢視哪些內容被檢查、哪些沒有被檢查

    使用涵蓋狀態標籤來查看某個介面是被正常監看、產生訊號,或是在已量測執行中無法開啟。

  • 將診斷證據保留在本機

    當您需要保留在自己環境中的證據,而不是將供應商金鑰或原始帳務資料傳送給第三方時,可使用本機紀錄與收據。

Pros and Cons

Pros

  • 在單一本機工作流程中擷取逐次呼叫的用量、時間、重試與定價證據。
  • 突顯與帳務相關的失敗模式,例如截斷、重複請求 ID 與快取折扣風險訊號。
  • 除非使用者選擇分享,否則收據都保留在本機。
  • 透過介面涵蓋狀態讓未開啟的檢查可見,而不是默默視為乾淨結果。

Cons

  • 只能量測經由本機代理路由的流量,因此繞過代理的呼叫不在涵蓋範圍內。
  • README 表示,若沒有對應的發票,它無法解釋月結帳單。
  • 涵蓋範圍僅限於已量測的供應商平面,其他介面被描述為可擴充設計,而非今日已量測。

FAQ

inferock-bench 是做什麼的?

它是一個本機診斷代理,會使用您的供應商 API 金鑰,量測透過 localhost 路由的呼叫,然後根據記錄的事件產生收據。README 將其描述為適用於 OpenAI、Anthropic、Gemini Developer API,以及固定的 OpenRouter 端點的本機 LLM 成本追蹤代理。

它支援哪些供應商?

README 指出其量測的供應商平面包括 OpenAI、Anthropic、Gemini Developer API,以及固定的 OpenRouter 端點。它也說 OpenRouter 的涵蓋範圍包括已觀察到的主機,例如 meta-llama、deepseek、mistral、moonshot/kimi、z-ai/glm 與 qwen。

這是給誰用的?

這個專案旨在幫助您稽核 AI 或 LLM 帳單、本機量測 token 用量,以及調查失敗的 API 呼叫是否仍可能影響計費。它特別聚焦於逐次呼叫的收據與帳務完整性問題。

它會產生什麼輸出?

這個工具會寫入本機事件紀錄,並使用隨附的 @inferock/measure 評分程式碼與 The Inferock Standard 產生收據。README 強調,除非您選擇分享,否則收據都會保留在本機。

有任何重要限制嗎?

沒有。README 說它無法稽核繞過本機代理的流量、對未見到的呼叫封頂供應商支出,或在沒有對應發票的情況下解釋月結帳單。它也指出,測量範圍之外的內容屬於可擴充設計,並非今日已量測。

Quick Facts

類別
開發者工具
主要用途
本機 AI 帳單與 token 用量稽核
支援的供應商
OpenAI、Anthropic、Gemini Developer API、固定的 OpenRouter 端點
工作流程
將呼叫經由 localhost 轉送、記錄事件、產生收據
來源網域
github.com
價格
公開的 GitHub 儲存庫;專案頁面未揭露產品價格
inferock-bench - AI Tool, Features, Use Cases & Alternatives | UStack