自动语言检测
该模型可自动检测 70+ 种语言,并且无需手动设置语言即可翻译实时语音,从而降低多语言对话中的使用门槛。
Gemini 3.5 Live Translate 是 Google 面向实时语音对语音翻译的音频模型。它可检测 70+ 种语言,在语音流式传输时进行处理,并生成与说话者保持接近的近实时译音。
Google 正在将该模型推广到三个产品场景:开发者可通过 Gemini Live API 和 Google AI Studio 访问它,企业可在 Google Meet 的私有预览版中使用它,消费者则可在 Android 和 iOS 版 Google 翻译应用中使用它。该模型面向实时口译场景,强调低延迟、自然的语音输出以及多语言对话体验。
该模型可自动检测 70+ 种语言,并且无需手动设置语言即可翻译实时语音,从而降低多语言对话中的使用门槛。
模型不会等到完整轮次结束才翻译,而是持续进行翻译,并且与说话者只相差几秒,有助于让对话听起来更自然。
Google 表示,翻译后的语音会保留说话者的语调、节奏和音高,使输出更接近原始表达。
该模型专为处理流式语音以及嘈杂、不可预测的环境而设计,适合实时通话、会议、课程和直播。
Google 表示,该模型可通过 Gemini Live API 和 Google AI Studio 使用,并且 Agora、Fishjam、LiveKit、Pipecat 和 Vision Agents 等合作伙伴使用这些 API 构建语音翻译应用。
Google 表示,所有生成的音频都使用 SynthID 水印,以便识别 AI 生成语音。
当两位或更多说话者需要跨语言障碍自然交流时,可将该模型用于实时口译,例如访谈、通话或跨境对话。
在 Google Workspace 中进行会议的团队可使用 Meet 集成在商务通话中进行语音翻译,且上线时的访问权限被描述为私有预览版。
开发者可在 Google AI Studio 中或通过 Gemini Live API 构建语音翻译体验,包括接入实时媒体基础设施的应用。
在 Android 或 iOS 上使用 Google 翻译应用的人,可以使用 Live translate 获得更顺畅的随身翻译体验,包括基于耳机的收听和 Android 听筒模式。
该模型适用于课程、直播和嘈杂环境等场景,在这些场景中,流式翻译和低延迟比轮次式转写更重要。
Google 表示,3.5 Live Translate 正通过 Gemini Live API 和 Google AI Studio 向开发者提供公开预览版,正在 Google Meet 中向企业提供私有预览版,并在 Android 和 iOS 版 Google 翻译应用中面向所有用户推出。该上线方式以这些产品和预览版本为起点。
在 Google Meet 中,语音翻译即将使用 3.5 Live Translate。Google 表示,这项更新将提供 70+ 种语言,支持一次会议中 2,000+ 种语言组合,并更新界面以便即时访问语音翻译。
在 Google 翻译中,Live translate 功能在 Android 和 iOS 上全球使用该模型。Google 表示,用户可以连接任意一副耳机以获得更顺畅的体验,Android 用户还将获得一种通过手机听筒传输译音的聆听模式。
该上线文章没有列出单独定价。来源中公开的信息是按产品表面和预览层级提供:开发者可通过公开预览使用,部分企业 Google Workspace 客户在 Google Meet 中可用私有预览版,而 Google 翻译则全球推出。
Google 指出,其模型生成的所有音频都会使用 SynthID 进行水印处理,并引导读者查看模型卡以了解安全和责任相关细节。
Wallie 是一款开源 AI 直播助手,能观看屏幕、聆听聊天并以可配置人设生成实时解说。支持本地运行、使用自有密钥,适合无真人出镜内容、自动化直播和实时互动。
SpeakoFlow 是一款适用于 Windows、macOS 和 Linux 的免费开源桌面语音转文字应用,支持在任意应用中口述输入、Flow 语音写作、文本清理、翻译和屏幕感知助手。
Sanota 将口述回忆、反思和访谈转写为清晰书面故事,支持个人叙事、家族史与共享记忆,提供引导提示和订阅方案。
Carbon Voice 是一款适用于团队和个人的异步语音消息应用,支持转录、AI 快速补课和跨设备访问,让你无需实时通话也能顺畅沟通。
Dictro 是一款适用于 Mac 的隐私 AI 语音转写应用,可将语音在任何可编辑应用中快速整理为流畅文本。支持 Apple Silicon Mac,默认本地处理,也可选云端 Fast Mode。
BeFreed 是一款个性化音频学习应用,可将书籍和其他知识源转化为有声聆听体验。支持按需学习、可选声音与内置学习工具。