Gemini 3.5 Live Translate icon

Gemini 3.5 Live Translate

Gemini 3.5 Live Translate 是 Google 面向开发者、Google Meet 和 Google 翻译应用的近实时语音翻译模型,支持 70+ 种语言,可在实时对话中生成自然流畅的译音。

Gemini 3.5 Live Translate

Gemini 3.5 Live Translate 的作用

Gemini 3.5 Live Translate 是 Google 面向实时语音对语音翻译的音频模型。它可检测 70+ 种语言,在语音流式传输时进行处理,并生成与说话者保持接近的近实时译音。

Google 正在将该模型推广到三个产品场景:开发者可通过 Gemini Live API 和 Google AI Studio 访问它,企业可在 Google Meet 的私有预览版中使用它,消费者则可在 Android 和 iOS 版 Google 翻译应用中使用它。该模型面向实时口译场景,强调低延迟、自然的语音输出以及多语言对话体验。

主要能力

自动语言检测

该模型可自动检测 70+ 种语言,并且无需手动设置语言即可翻译实时语音,从而降低多语言对话中的使用门槛。

近实时语音转语音翻译

模型不会等到完整轮次结束才翻译,而是持续进行翻译,并且与说话者只相差几秒,有助于让对话听起来更自然。

自然流畅的译音输出

Google 表示,翻译后的语音会保留说话者的语调、节奏和音高,使输出更接近原始表达。

流式处理与抗噪能力

该模型专为处理流式语音以及嘈杂、不可预测的环境而设计,适合实时通话、会议、课程和直播。

通过 Gemini Live API 供开发者使用

Google 表示,该模型可通过 Gemini Live API 和 Google AI Studio 使用,并且 Agora、Fishjam、LiveKit、Pipecat 和 Vision Agents 等合作伙伴使用这些 API 构建语音翻译应用。

SynthID 水印

Google 表示,所有生成的音频都使用 SynthID 水印,以便识别 AI 生成语音。

适用场景

  • 多语言实时对话

    当两位或更多说话者需要跨语言障碍自然交流时,可将该模型用于实时口译,例如访谈、通话或跨境对话。

  • Google Meet 中的商务会议

    在 Google Workspace 中进行会议的团队可使用 Meet 集成在商务通话中进行语音翻译,且上线时的访问权限被描述为私有预览版。

  • 自定义翻译应用

    开发者可在 Google AI Studio 中或通过 Gemini Live API 构建语音翻译体验,包括接入实时媒体基础设施的应用。

  • 翻译应用中的移动翻译

    在 Android 或 iOS 上使用 Google 翻译应用的人,可以使用 Live translate 获得更顺畅的随身翻译体验,包括基于耳机的收听和 Android 听筒模式。

  • 公共或嘈杂环境中的实时音频会话

    该模型适用于课程、直播和嘈杂环境等场景,在这些场景中,流式翻译和低延迟比轮次式转写更重要。

Pros and Cons

Pros

  • 支持 70+ 种语言,并可自动检测正在说的语言。
  • 持续翻译语音,而不是等待完整轮次结束,从而减少尴尬停顿。
  • 在翻译输出中保留语调、节奏和音高等语音特征。
  • 可在多个场景中使用,包括开发者工具、Meet 和 Google 翻译应用。
  • 支持在嘈杂、不可预测的环境以及流式音频工作流中使用。

Cons

  • 上线文章没有提供独立定价,也没有为每个场景给出公开的全面商用可用日期。
  • Google Meet 的访问在上线时被描述为面向部分企业 Workspace 客户的私有预览版,因此并非立即全面开放。
  • 来源没有详细说明设置步骤、设备要求或所有受支持工作流。

FAQ

Gemini 3.5 Live Translate 在哪里可用?

Google 表示,3.5 Live Translate 正通过 Gemini Live API 和 Google AI Studio 向开发者提供公开预览版,正在 Google Meet 中向企业提供私有预览版,并在 Android 和 iOS 版 Google 翻译应用中面向所有用户推出。该上线方式以这些产品和预览版本为起点。

它在 Google Meet 中如何工作?

在 Google Meet 中,语音翻译即将使用 3.5 Live Translate。Google 表示,这项更新将提供 70+ 种语言,支持一次会议中 2,000+ 种语言组合,并更新界面以便即时访问语音翻译。

它在 Google 翻译中如何呈现?

在 Google 翻译中,Live translate 功能在 Android 和 iOS 上全球使用该模型。Google 表示,用户可以连接任意一副耳机以获得更顺畅的体验,Android 用户还将获得一种通过手机听筒传输译音的聆听模式。

来源是否提到价格?

该上线文章没有列出单独定价。来源中公开的信息是按产品表面和预览层级提供:开发者可通过公开预览使用,部分企业 Google Workspace 客户在 Google Meet 中可用私有预览版,而 Google 翻译则全球推出。

是否有安全或输出保护措施?

Google 指出,其模型生成的所有音频都会使用 SynthID 进行水印处理,并引导读者查看模型卡以了解安全和责任相关细节。

Quick Facts

类别
AI 翻译 / 音频模型
平台
Google AI Studio、Gemini Live API、Google Meet、Android 和 iOS 版 Google 翻译
语言
70+ 种语言
可用性
面向开发者的公开预览版;面向部分 Workspace 客户在 Meet 中的私有预览版;Google 翻译全球上线
来源域名
blog.google
输出
近实时语音转语音译音