原生 Apple Silicon runtime
首頁將 BaseRT 定位為專為 Apple Silicon 打造的 LLM runtime，而研究資料則將其描述為原生 Metal 推論 runtime。
概覽
BaseRT 是 Base Compute 為 Apple Silicon 提供的 LLM runtime。產品頁將其描述為 Apple Silicon 上最快的 runtime，並展示了一個可用單一指令安裝、在您自己的裝置上執行本地模型的流程。
公開資料將 BaseRT 的重點放在在地推論：在本機提供模型服務、搭配程式代理外掛使用，並讓模型在您的裝置上執行，而不是把請求送往外部 API。研究頁面將 BaseRT 描述為原生 Metal runtime，旨在提升 Apple 硬體上的吞吐量。
網站的研究論文聲稱 BaseRT 支援多種模型家族與多種量化格式，但產品頁本身刻意較為精簡，主要著重於 Apple Silicon runtime 與本機代理工作流程。這使得 BaseRT 最適合希望在 Mac 硬體上進行本地 LLM 執行的開發者與團隊。
Base Compute 的企業資料將 BaseRT 放在更廣泛的在地 AI 堆疊中，包含在組織自有裝置上執行 AI 所需的應用程式、控制、路由、政策與監控。公開頁面未提供價格細節或完整產品指南，因此目前最有把握的理解是：BaseRT 是本地優先 LLM 架構中的核心推論引擎。
核心功能
效能導向的推論引擎
一份研究報告指出，BaseRT 使用晶片專屬的 kernel fusion、考量 unified memory 的最佳化，以及自訂的 dispatch 邏輯，以提升 Apple 硬體上的吞吐量。
本機程式代理工作流程
首頁提供本機程式代理流程：提供模型服務、安裝外掛，並讓代理在您的裝置上執行，無需 API 金鑰，也不會讓資料離開裝置。
支援多個模型家族
來源列出的支援模型家族包括 Qwen、Llama、Gemma、Mistral、Phi-3 與 Nomic BERT，顯示可跨多個開放模型系列使用。
可納入受管理的在地 AI 堆疊
企業頁面指出，更廣泛的 Base Compute 堆疊包含模型分發、本機/雲端路由、以角色為基礎的存取控制、政策執行與監控，不過公開產品頁並未針對 BaseRT 全部逐一說明。
常見使用案例
在 Apple Silicon 上進行本地模型推論
在 Mac 上執行 LLM，讓提示與輸出保留在本機，這正是首頁所強調的核心工作流程。
私有化程式代理設定
提供本機模型服務，並將程式代理指向該模型；使用產品頁所示的外掛流程，進行裝置內的程式輔助。
組織的裝置內 AI
在團隊或組織情境中使用 BaseRT，企業頁面強調預設本地部署、無需依賴外部 API，以及資料保留在自有裝置上。
runtime 評估與基準測試
當比較 BaseRT 與其他 Apple Silicon runtime 時，將研究頁面與基準主張作為主要證據，評估它作為開放模型的推論引擎。
Pros and Cons
Pros
- 專為 Apple Silicon 打造，研究資料將其描述為原生 Metal 執行。
- 為本地推論設計，因此模型執行可以留在使用者裝置上。
- 首頁展示的範例可支援不需 API 金鑰的本機程式代理工作流程。
- 網站公開的範例與研究涵蓋多個開放模型家族。
- 有技術報告說明 runtime 的最佳化方法與實測吞吐量主張。
Cons
- 公開產品頁只提供了最基本的設定範例，因此在已收集來源中，詳細的安裝、設定與受支援環境指引都相當有限。
- 收集到的頁面未提供價格資訊；在提供的證據中，價格網址回傳了 404。
- 首頁列出模型家族，但並未說明每一個受支援模型、量化選項或相容性邊界情況。
FAQ
BaseRT 是用來做什麼的？
BaseRT 被定位為適用於 Apple Silicon 的 LLM runtime。網站將其定位為可在您的裝置上執行本地模型，包含本機程式代理工作流程。
如何安裝 BaseRT？
首頁顯示了使用 curl 和 shell 腳本的安裝指令，但除了這個單一指令安裝範例之外，網站在收集到的文字中沒有提供更完整的設定文件。
支援哪些模型家族？
來源指出 BaseRT 支援的模型家族包括 Qwen3、Qwen3.5、Qwen3.6、Llama 3.1、Llama 3.2、Gemma 3、Gemma 4、Mistral、Phi-3 以及 Nomic BERT。
有提供價格資訊嗎？
企業頁面將 BaseRT 描述為預設在地運作，僅在您選擇時才使用雲端。公開頁面未提供價格細節，而且在收集到的來源中，定價頁面回傳了 404。
有哪些已記錄的整合？
收集到的來源顯示 BaseRT、技術報告、GitHub、Discord，以及一個程式代理外掛範例。這些資料未深入說明更廣泛的第三方整合或 API 詳情。
Quick Facts
- 類別
- 開發者工具 / AI 基礎架構
- 平台
- Apple Silicon Mac
- 主要用途
- 用於裝置內推論的本地 LLM runtime
- 範例工作流程
- 在本機提供模型服務、連接程式代理，並讓執行留在裝置上
- 來源網域
- basecompute.co
- 價格
- 未在收集到的來源中公布
BaseRT 替代品
ByteAsk
ByteAsk 是專為 C 與 C++ 打造的終端機優先 AI coding agent，先編輯儲存庫再用真實編譯器、除錯器、sanitizer 與測試驗證變更，並提供免費方案與付費方案。
CreateOS Sandbox
CreateOS Sandbox 是以 Firecracker micro-VM 執行程式與 agent 工作負載的隔離運算環境，支援私有網路、SDK、CLI 與 MCP 程式化控制。
hob
hob 是一個獨立的 coding agents 工作區，整合 agent sessions、終端機、歷史紀錄與後續工作，並維持你既有的工具與供應商設定。適合想保有本機路由、歷史與工作區結構控制權的開發者。
Manta AI
Manta AI 是一款自動化網頁應用測試工具，從 URL 即可開始探索、建立行為地圖，並以自然語言產生測試與回歸檢查，無需撰寫腳本或維護 selector。
SonOf
SonOf 串接你的 repo 與 PM 工具，審核程式碼庫與產品脈絡，將核准工作轉為可交付的 ticket，並由資深工程師審查，協助創辦人與工程主管快速補足 backlog。
Ghost
Ghost 是一款終端機 AI 助手，可在命令列中聊天、產生程式碼並執行任務。內建免費模型，支援 Linux、macOS、Windows，且為開源工具。