原生 Apple Silicon 运行时
主页将 BaseRT 定位为专为 Apple Silicon 构建的 LLM 运行时，研究材料则将其描述为原生 Metal 推理运行时。
概述
BaseRT 是 Base Compute 面向 Apple Silicon 的 LLM 运行时。产品页将其描述为 Apple Silicon 上最快的运行时，并展示了一个用于在你自己的设备上运行本地模型的一键安装流程。
公开材料将 BaseRT 定位为面向端侧推理：在本地提供模型服务、与编码代理插件配合使用，并将模型执行保留在你的机器上，而不是将请求发送到外部 API。研究页面则将 BaseRT 描述为原生 Metal 运行时，旨在提升 Apple 硬件上的吞吐量。
网站的研究论文声称 BaseRT 支持广泛的模型家族和多种量化格式，但产品页本身刻意更为简洁，主要突出 Apple Silicon 运行时和本地代理工作流。这使得 BaseRT 最适合希望在 Mac 硬件上进行本地 LLM 执行的开发者和团队。
Base Compute 的企业材料将 BaseRT 放在更广泛的端侧 AI 栈中，其中包括面向在自有设备上运行 AI 的应用、控制、路由、策略和监控。公开页面未提供定价细节或完整产品指南，因此最有依据的判断是：BaseRT 是本地优先 LLM 方案的核心推理引擎。
核心能力
面向性能的推理引擎
一份研究报告称，BaseRT 使用芯片特定的 kernel 融合、面向统一内存的优化以及自定义调度逻辑，以提升 Apple 硬件上的吞吐量。
本地编码代理工作流
主页提供了本地编码代理流程：提供模型服务、安装插件，并让代理在你的机器上运行，而无需 API 密钥或让数据离开设备。
支持多模型家族
来源列出的支持模型家族包括 Qwen、Llama、Gemma、Mistral、Phi-3 和 Nomic BERT，表明可用于多个开源模型系列。
可纳入受管理的端侧 AI 栈
企业页面称，更广泛的 Base Compute 栈包括模型分发、本地/云路由、基于角色的访问、策略执行和监控，不过这些内容并非都在公开产品页中专门为 BaseRT 记录。
常见用例
Apple Silicon 上的本地模型推理
在 Mac 上运行 LLM，使提示和输出保留在本地机器上，这是主页重点强调的核心工作流。
私有编码代理设置
提供本地模型服务，并将编码代理指向该模型，使用产品页展示的插件流程来进行端侧编码辅助。
面向组织的端侧 AI
在团队或组织环境中使用 BaseRT，企业页面强调其默认本地部署、无需外部 API 依赖，以及数据保留在自有设备上。
运行时评估与基准测试
当与其他 Apple Silicon 运行时对比时，将 BaseRT 作为开源模型的推理引擎进行评估，并将研究页面和基准声明作为主要依据。
Pros and Cons
Pros
- 专为 Apple Silicon 构建，研究材料将其描述为原生 Metal 执行。
- 面向本地推理设计，因此模型执行可以保留在用户设备上。
- 主页示例支持本地编码代理工作流，无需 API 密钥。
- 网站发布的示例和研究覆盖了多个开源模型家族。
- 有技术报告解释运行时的优化方法和已测吞吐量声明。
Cons
- 公开产品页只给出了一个最小化的设置示例，因此详细的安装、配置和支持环境指南在已收集来源中较为有限。
- 所收集页面中没有定价信息；在提供的证据里，定价 URL 返回了 404。
- 主页列出了模型家族，但没有记录每一种受支持模型、量化选项或兼容性边界情况。
FAQ
BaseRT 用于什么？
BaseRT 被定位为适用于 Apple Silicon 的 LLM 运行时。该网站将其定位为可在你自己的设备上运行本地模型，包括本地编码代理工作流。
如何安装 BaseRT？
主页展示了一个使用 curl 和 shell 脚本的安装命令，但除这个一键安装示例外，网站在已收集文本中没有提供更完整的设置文档。
支持哪些模型家族？
来源显示 BaseRT 支持的模型家族包括 Qwen3、Qwen3.5、Qwen3.6、Llama 3.1、Llama 3.2、Gemma 3、Gemma 4、Mistral、Phi-3 和 Nomic BERT。
是否有定价信息？
企业页面将 BaseRT 描述为默认本地运行，只有在你选择时才使用云端。公开页面未提供定价详情，且在所收集来源中定价页面返回了 404。
记录了哪些集成？
所收集的来源展示了 BaseRT、技术报告、GitHub、Discord，以及一个编码代理插件示例。它们没有深入说明更广泛的第三方集成或 API 细节。
Quick Facts
- 类别
- 开发者工具 / AI 基础设施
- 平台
- Apple Silicon Mac
- 主要用途
- 用于端侧推理的本地 LLM 运行时
- 示例工作流
- 本地提供模型服务，连接编码代理，并将执行保留在设备上
- 来源域名
- basecompute.co
- 定价
- 未在所收集来源中公布
BaseRT 替代品
ByteAsk
ByteAsk 是面向 C 和 C++ 的终端优先 AI 编码 agent，可直接编辑仓库，并在展示 diff 前用真实编译器、调试器、sanitizers 和测试验证修改。提供免费版与付费方案。
CreateOS Sandbox
CreateOS Sandbox 是基于 Firecracker 微型虚拟机的隔离计算环境，用于运行代码和 agent 工作负载，支持私有网络、SDK、CLI 和 MCP 程序化控制。
hob
hob 是面向编码 agent 的独立工作区，可将 agent 会话、终端、历史记录和后续工作围绕你已在用的工具与提供商有序管理，适合重视本地路由、历史和工作区结构控制的开发者。
Manta AI
Manta AI 是面向团队的自治式网页应用测试工具，可从 URL 自动探索应用、映射行为、捕捉回归，并用自然语言生成测试，无需脚本或维护选择器。
SonOf
SonOf 连接你的代码仓库和 PM 工具，审计代码库与产品上下文，将已批准工作转为可交付工单，并由资深工程复审，适合缺少完整团队的创始人和技术负责人。
Ghost
Ghost 是一款基于终端的 AI 助手，可在命令行中聊天、生成代码并运行任务。内置免费模型，支持 Linux、macOS 和 Windows，且为开源项目。