原生多模态嵌入
将文本、代码、图像、视频和音频映射到同一共享嵌入空间,支持跨不同媒体类型进行语义比较。
EmbeddingGemma 2 是 Google DeepMind 推出的开放、轻量级多模态嵌入模型。它可将文本、代码、图像、视频和音频的组合转换到统一的嵌入空间,使应用能够跨媒体类型查找语义相关内容,而不必仅依赖精确关键词。
该模型专为注重隐私的端侧工作流而设计,例如本地媒体搜索、代码库索引、语义检索和检索增强生成。其模块化架构、可配置的向量维度和 8K token 上下文窗口,旨在帮助开发者在受限的本地环境中实现多模态检索。
将文本、代码、图像、视频和音频映射到同一共享嵌入空间,支持跨不同媒体类型进行语义比较。
采用包含 7.4 亿参数的架构,专为本地推理而设计。来源报告称,在 Google Pixel 11 Pro 上,量化后的纯文本权重约需 191 MB 内存,完整多模态模型约需 567 MB。
支持约 2.7 亿参数的纯文本配置,并可选配包含 1.7 亿参数的视觉编码器和包含 3 亿参数的音频编码器,以支持多模态工作负载。
提供 8K token 的上下文窗口,支持直接在本地硬件上处理最长 5.5 分钟的音频、29 张图像、58 个视频帧,或这些内容的交错组合。
Matryoshka Representation Learning 支持将向量从 768 维截断为 512、256 或 128 维。根据来源,这可将本地向量数据库和内存需求最多降低六倍。
该模型以 Apache 2.0 许可证发布,可与 Google AI Edge MediaPipe、LiteRT、transformers.js 和 WebGPU 等浏览器工具,以及 Google 列出的多个模型服务框架搭配使用。
在本地为文件、图像、录音和其他个人媒体生成嵌入,然后通过文本或图像查询检索相关项目,无需将源内容发送到远程服务。
通过输入文本描述或使用音频查询,搜索长篇录音或视频集合,以定位语义相关的片段。
为本地代码仓库建立索引,支持语义代码搜索或编码代理检索。来源报告称,在 MTEB Code 上,该模型较第一代 EmbeddingGemma 提升了 9.92 分。
将 EmbeddingGemma 2 用于本地检索,并与 Gemma 4 搭配,在多模态端侧 RAG 流程中进行上下文推理。
在 MediaPipe Decision Task API 工作流中使用多模态上下文,用于分类、路由和预测性决策引擎。
EmbeddingGemma 2 可将文本、代码、图像、视频和音频映射到共享嵌入空间,使应用能够利用语义相似性比较和检索不同类型的媒体。
该模型可以在本地硬件上运行,专为端侧推理而设计。Google 报告称,在 Google Pixel 11 Pro 上,量化后的纯文本权重需要约 191 MB 的活动内存,完整多模态模型需要约 567 MB。
开发者可以从 Hugging Face 和 Kaggle 下载模型权重。来源还列出了 Google AI Edge MediaPipe、LiteRT、transformers.js、WebGPU、transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama 和 LMStudio,这些工具和环境可用于开发或模型服务。
该模型支持动态缩减输出向量维度,可使用 Matryoshka Representation Learning 将 768 维缩减为 512、256 或 128 维。来源称,这最多可将本地向量数据库的存储和内存使用量减少至原来的六分之一。
发布文章未提供定价信息。文章称该模型以商业友好的 Apache 2.0 许可证发布,但用户应查阅模型卡片及相关文档,了解适用条款和使用详情。
ByteAsk 是面向 C 和 C++ 的终端优先 AI 编码 agent,可直接编辑仓库,并在展示 diff 前用真实编译器、调试器、sanitizers 和测试验证修改。提供免费版与付费方案。
Epherem 是一款面向 AI 编程工具构建的 Web 应用静态安全扫描器,检查源文件和依赖项中的常见安全错误,并提供分类结果与修复建议,无需运行应用。
CreateOS Sandbox 是基于 Firecracker 微型虚拟机的隔离计算环境,用于运行代码和 agent 工作负载,支持私有网络、SDK、CLI 和 MCP 程序化控制。
GitBot 是基于本地浏览器的工作区,可借助 Claude Code、Codex 或 OpenCode 创建可复用的编程机器人,跨仓库文件夹运行代理,并保留持久线程与可配置权限。
hob 是面向编码 agent 的独立工作区,可将 agent 会话、终端、历史记录和后续工作围绕你已在用的工具与提供商有序管理,适合重视本地路由、历史和工作区结构控制的开发者。
Ably Chat 是用于构建自定义实时聊天应用的 chat API 平台,支持房间消息、输入指示、在线状态、表情回应与消息更新,并提供按使用量计费选项。