本地离线推理
在本地离线运行模型，无需 API key 或持续的服务费用，使推理完全在设备端完成。
概览
NobodyWho 是一款推理引擎，可在受支持的设备上本地且高效地运行大型语言模型。它面向需要聊天模型推理、但又不想将请求发送到外部 API 的应用，作为设备端 AI 使用。
README 强调离线运行、对 GGUF 格式模型的支持，以及与多个客户端平台的兼容性，包括 Kotlin、Swift、Python、Flutter、React Native 和 Godot。它还记录了从 Hugging Face 或直接 URL 加载模型的路径，并支持通过 Vulkan 或 Metal 进行 GPU 加速推理。
功能
广泛的模型兼容性
可与包括 Gemma、Qwen、Mistral 在内的聊天模型以及其他基于 GGUF 的 LLM 协作，而不是绑定到单一模型家族。
类型安全的工具调用
定义函数签名后，推理引擎会自动为工具调用生成结构化语法，避免手动编写 schema。
多模态输入支持
向模型发送图像和音频信息，使主机应用在支持时能够启用多模态提示。
内置语音工作流
使用本地文本转语音和语音转文本组件，包括 Kokoro、Pocket TTS、Supertonic 和 Whisper。
灵活的模型加载
可从 Hugging Face 或任意 URL 加载模型，便于将应用指向远程模型文件或下载源。
使用场景
离线聊天体验
构建一款应用，在设备端回答用户提示，而不将数据发送到托管的 LLM API；适用于需要离线运行或减少外部依赖的场景。
使用工具的应用工作流
通过从代码中暴露函数，并让 NobodyWho 生成调用所需的结构化语法，为应用添加由 LLM 驱动的操作。
跨平台应用开发
使用受支持的技术栈（如 Swift、Flutter、React Native、Kotlin 或 Python）创建移动端或桌面应用，并连接到同一本地推理层。
支持语音的助手
将聊天与本地音频功能结合，例如用于转录的语音转文本或用于生成回复的文本转语音，在单一设备端工作流中实现。
自定义模型加载
当你希望应用指向特定模型制品，而不是托管 API 端点时，可从 Hugging Face 或直接 URL 加载模型。
Pros and Cons
Pros
- 在本地离线运行，可减少对云 API 的依赖。
- 支持多种应用开发技术栈，包括 Kotlin、Swift、Python、Flutter、React Native 和 Godot。
- 支持 GGUF 格式模型，并可从 Hugging Face 或任意 URL 加载。
- 包含结构化工具调用以及文本转语音、语音转文本等与语音相关的能力。
- 仓库许可文本说明，在符合所述修改条件的前提下，可免费用于商业和专有用途。
Cons
- 源内容未提供详细基准测试、内存需求或受支持设备列表，因此性能预期仍不明确。
- 部分平台支持细节仅作了高层概述；不同绑定的功能一致性和限制可能有所不同。
- README 中提到，Web 导出更难正确实现，并引用了一个相关 issue。
FAQ
NobodyWho 需要 API key 吗？
NobodyWho 可以在本地运行，无需 API key 或隐藏费用，因此它专为在受支持的设备和平台上离线使用而设计。
它支持哪些平台？
README 列出了 Kotlin、Swift、Python、Flutter、React Native 和 Godot，并为每个平台提供了文档链接。
它可以使用哪些类型的模型？
它支持 Gemma、Qwen、Mistral 等聊天 LLM，以及其他 GGUF 格式模型，并且可以从 Hugging Face 或直接 URL 加载模型。
我可以在移动设备上使用它吗？
README 说明桌面端在所有绑定中都受支持，Android 受 Kotlin、Godot、Flutter 和 React Native 支持，iOS 受 Swift、Flutter 和 React Native 支持。
NobodyWho 可免费用于商业项目吗？
仓库许可证部分说明，你可以免费将 NobodyWho 用于专有和商业项目，但仓库中代码的修改版本必须开源。
Quick Facts
- 类别
- 开发者工具 / AI 推理
- 来源域名
- github.com
- 主要用途
- 设备端本地 LLM 推理
- 支持的平台
- Kotlin、Swift、Python、Flutter、React Native、Godot
- 模型格式
- GGUF
- 许可证说明
- 允许免费商业使用；修改后的仓库代码必须开源
NobodyWho 替代品
AakarDev AI
AakarDev AI 帮助团队在一个仪表板中管理 AI provider 访问、项目级设置、日志和分析，支持 BYOK 工作流，并涵盖 OpenAI、Google Gemini、Anthropic、Groq、Mistral AI 和 Perplexity AI。
ByteAsk
ByteAsk 是面向 C 和 C++ 的终端优先 AI 编码 agent，可直接编辑仓库，并在展示 diff 前用真实编译器、调试器、sanitizers 和测试验证修改。提供免费版与付费方案。
CreateOS Sandbox
CreateOS Sandbox 是基于 Firecracker 微型虚拟机的隔离计算环境，用于运行代码和 agent 工作负载，支持私有网络、SDK、CLI 和 MCP 程序化控制。
hob
hob 是面向编码 agent 的独立工作区，可将 agent 会话、终端、历史记录和后续工作围绕你已在用的工具与提供商有序管理，适合重视本地路由、历史和工作区结构控制的开发者。
Ably Chat
Ably Chat 是用于构建自定义实时聊天应用的 chat API 平台，支持房间消息、输入指示、在线状态、表情回应与消息更新，并提供按使用量计费选项。
Manta AI
Manta AI 是面向团队的自治式网页应用测试工具，可从 URL 自动探索应用、映射行为、捕捉回归，并用自然语言生成测试，无需脚本或维护选择器。