Gemini 3.5 Transcribe icon

Gemini 3.5 Transcribe

Gemini 3.5 Transcribe 是 Google 的语音转文字模型,支持实时和录音转写,可将口语快速转为清晰格式化文本,支持多语言音频、时间戳和说话人标注。

Gemini 3.5 Transcribe

概述

Gemini 3.5 Transcribe 是 Google 的语音转文字模型,用于智能转写。公告将其定位为一种更精准的方案,适用于实时语音交互,以及将录音转换为清晰、格式化文本。

该模型旨在处理常见的转写问题,例如背景噪音、行话、口吃和句中修正。它可通过 Google AI Studio 和 Gemini Enterprise Agent Platform 中的 Gemini API 使用,也为 Google 产品中的语音功能提供支持,例如 macOS 版 Gemini 应用和 Android 上的 Rambler。

主要功能

智能实时转写

即使音频包含噪音、行话或自我修正,该模型也能将语音转写为精炼文本。

通过 Live API 实现低延迟流式传输

Live API 支持连续双向流式传输,延迟低于一秒,适用于交互式语音应用。

预录音频处理

Interactions API 可处理录音、会议和通话日志,并可返回说话人标注和词级时间戳。

多语言自动检测

该模型可自动检测并转写 85 种以上语言,包括地区口音和方言,并可处理实时语言切换。

自定义词汇支持

可通过用户提供的自定义词汇识别专业术语和特殊拼写。

支持语音驱动的函数调用

该模型可通过函数调用委派图像生成和文件分析等任务,目前可在 Gemini macOS 应用中使用。

实际使用场景

  • 交互式语音应用

    构建需要低延迟连续语音转文字和双向流式传输的语音代理及其他交互式应用。

  • 会议与通话转写

    转写会议、通话录音和音频日志,然后使用说话人标注和时间戳回顾内容及发言者。

  • 实时字幕

    创建需要在音频仍在采集时就输出转写结果的实时字幕工具。

  • 语音驱动的生产力

    在 macOS 版 Gemini 应用或 Android 工作流中使用语音命令进行口述、编辑、总结,或将语音整理为精炼文本。

  • 通话后分析

    处理录音音频,用于需要准确格式化文本的后通话分析流程和下游分析。

Pros and Cons

Pros

  • 同时支持实时流式和预录转写工作流。
  • 为录音音频提供说话人标注和词级时间戳。
  • 可自动检测并转写 85 种以上语言。
  • 可处理背景噪音、行话、填充词和自我修正。
  • 开发者可通过 Google AI Studio 和 Gemini Enterprise Agent Platform 使用。

Cons

  • 源页面未公布价格。
  • 部分面向消费者的功能仅部分可用,例如 Android 版 Rambler 仅在部分国家和语言中提供,Chrome 即将推出,以及支持 3 位以上说话人的功能标记为实验性。

FAQ

开发者如何访问 Gemini 3.5 Transcribe?

开发者可以通过 Google AI Studio 中的 Gemini API 以及 Gemini Enterprise Agent Platform 访问 Gemini 3.5 Transcribe。公告还说明它已向开发者开放公测。

它支持哪些转写工作流?

页面描述了两条 API 路径:用于实时流式传输、具备亚秒级延迟的 Live API,以及用于预录音频并支持说话人标注和词级时间戳的 Interactions API。

它被设计用来处理哪些转写挑战?

它旨在处理背景噪音、复杂行话、流畅性修正、用户自定义词汇,以及 85 种以上语言,包括地区口音和方言。

Gemini 3.5 Transcribe 在 Google 产品中可用在哪里?

公告称,该模型已向所有人开放,可在 macOS 版 Gemini 应用中以英语使用,也可在部分国家和语言的 Android 版 Rambler 中使用,并且即将登陆 Chrome。

Gemini 3.5 Transcribe 是否公布了价格?

来源没有提供公开定价信息。它只说明该模型在开发者和企业访问入口中处于公测阶段。

Quick Facts

类别
语音转文字 / 转写
主要用户
开发者、企业和消费级应用用户
访问方式
Google AI Studio 中的 Gemini API;Gemini Enterprise Agent Platform;macOS 版 Gemini 应用;Android 版 Rambler
API 模式
用于实时流式传输的 Live API;用于预录音频的 Interactions API
语言
85+ 种语言,支持地区口音和方言
来源域名
blog.google