EmbeddingGemma 2 icon

EmbeddingGemma 2

EmbeddingGemma 2 是 Google DeepMind 推出的开放、轻量级多模态嵌入模型,可将文本、代码、图像、视频和音频映射到共享嵌入空间,助力开发者构建注重隐私的本地搜索、语义检索、代码索引和端侧 RAG 工作流。

EmbeddingGemma 2

概览

EmbeddingGemma 2 是 Google DeepMind 推出的开放、轻量级多模态嵌入模型。它可将文本、代码、图像、视频和音频的组合转换到统一的嵌入空间,使应用能够跨媒体类型查找语义相关内容,而不必仅依赖精确关键词。

该模型专为注重隐私的端侧工作流而设计,例如本地媒体搜索、代码库索引、语义检索和检索增强生成。其模块化架构、可配置的向量维度和 8K token 上下文窗口,旨在帮助开发者在受限的本地环境中实现多模态检索。

主要功能

原生多模态嵌入

将文本、代码、图像、视频和音频映射到同一共享嵌入空间,支持跨不同媒体类型进行语义比较。

端侧推理

采用包含 7.4 亿参数的架构,专为本地推理而设计。来源报告称,在 Google Pixel 11 Pro 上,量化后的纯文本权重约需 191 MB 内存,完整多模态模型约需 567 MB。

模块化模型设计

支持约 2.7 亿参数的纯文本配置,并可选配包含 1.7 亿参数的视觉编码器和包含 3 亿参数的音频编码器,以支持多模态工作负载。

扩展上下文

提供 8K token 的上下文窗口,支持直接在本地硬件上处理最长 5.5 分钟的音频、29 张图像、58 个视频帧,或这些内容的交错组合。

灵活的向量维度

Matryoshka Representation Learning 支持将向量从 768 维截断为 512、256 或 128 维。根据来源,这可将本地向量数据库和内存需求最多降低六倍。

开放的开发者生态

该模型以 Apache 2.0 许可证发布,可与 Google AI Edge MediaPipe、LiteRT、transformers.js 和 WebGPU 等浏览器工具,以及 Google 列出的多个模型服务框架搭配使用。

使用场景

  • 私密媒体搜索

    在本地为文件、图像、录音和其他个人媒体生成嵌入,然后通过文本或图像查询检索相关项目,无需将源内容发送到远程服务。

  • 音频和视频片段检索

    通过输入文本描述或使用音频查询,搜索长篇录音或视频集合,以定位语义相关的片段。

  • 代码库索引

    为本地代码仓库建立索引,支持语义代码搜索或编码代理检索。来源报告称,在 MTEB Code 上,该模型较第一代 EmbeddingGemma 提升了 9.92 分。

  • 端侧 RAG

    将 EmbeddingGemma 2 用于本地检索,并与 Gemma 4 搭配,在多模态端侧 RAG 流程中进行上下文推理。

  • 本地分类和路由

    在 MediaPipe Decision Task API 工作流中使用多模态上下文,用于分类、路由和预测性决策引擎。

Pros and Cons

Pros

  • 在同一共享空间中结合文本、代码、图像、视频和音频嵌入。
  • 专为离线或本地处理而设计,有助于减少数据传输并支持对隐私敏感的工作流。
  • 提供模块化编码器和可选的向量维度,以适配不同的资源预算。
  • 支持本地搜索、多模态检索和端侧 RAG 工作流。
  • 以商业友好的 Apache 2.0 许可证发布。

Cons

  • 来源提供了发布阶段的信息,但未说明详细的 API 行为、支持的操作系统版本、延迟基准或运行限制。
  • 完整多模态推理所需的资源多于纯文本配置;来源报告称,完整模型的活动内存占用明显更高。
  • 未提供定价和服务条款;模型采用 Apache 2.0 许可证发布,但该许可证本身并未说明所有部署或托管方面的注意事项。

FAQ

什么是 EmbeddingGemma 2?

EmbeddingGemma 2 可将文本、代码、图像、视频和音频映射到共享嵌入空间,使应用能够利用语义相似性比较和检索不同类型的媒体。

EmbeddingGemma 2 可以在端侧运行吗?

该模型可以在本地硬件上运行,专为端侧推理而设计。Google 报告称,在 Google Pixel 11 Pro 上,量化后的纯文本权重需要约 191 MB 的活动内存,完整多模态模型需要约 567 MB。

开发者如何开始使用 EmbeddingGemma 2?

开发者可以从 Hugging Face 和 Kaggle 下载模型权重。来源还列出了 Google AI Edge MediaPipe、LiteRT、transformers.js、WebGPU、transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama 和 LMStudio,这些工具和环境可用于开发或模型服务。

EmbeddingGemma 2 支持哪些嵌入维度?

该模型支持动态缩减输出向量维度,可使用 Matryoshka Representation Learning 将 768 维缩减为 512、256 或 128 维。来源称,这最多可将本地向量数据库的存储和内存使用量减少至原来的六分之一。

EmbeddingGemma 2 的费用是多少?

发布文章未提供定价信息。文章称该模型以商业友好的 Apache 2.0 许可证发布,但用户应查阅模型卡片及相关文档,了解适用条款和使用详情。

Quick Facts

类别
开发者工具;AI 嵌入模型
开发者
Google DeepMind
参数量
完整模型 7.4 亿参数
上下文窗口
8K token
许可证
Apache 2.0
模型来源
Hugging Face 和 Kaggle