Gemini Omni icon

Gemini Omni

Gemini Omni 是 Google DeepMind 的影片生成與編輯模型,可從文字、圖片、音訊或影片建立內容,適用於 Gemini 與 Google Flow 的對話式多模態工作流程。

Gemini Omni

概覽

Gemini Omni 是 Google DeepMind 的模型,可從多種輸入建立與編輯影片。產品頁將其定位為一種可「從任何內容創造任何內容」的方式,起點是影片,而模型卡則將其描述為從文字、圖片、音訊與影片生成和編輯媒體的下一步。

這項產品以對話式編輯與多模態創作為核心。其範例展示使用者如何變更場景、重新想像動作,並將參考資料整合成單一輸出;同時模型卡指出,它可產生高品質、高解析度且附帶音訊的影片,並支援透過 Gemini App 與 Google Flow 使用。

功能

多模態影片生成

從文字、圖片、音訊或影片輸入生成高品質、高解析度的影片;模型卡說明其支援多種輸入類型與附帶音訊的影片輸出。

以對話為基礎的編輯

透過自然對話編輯影片,因此每一次新指令都能建立在前一次結果上,而不必在每次變更後重新開始。

轉換現有片段

使用提示詞調整輸入影片的美感、動作或效果,例如變更材質、風格轉換或場景變形。

參考驅動創作

將不同參考資料整合為單一且連貫的輸出,可將圖片、文字、影片或音訊作為起點。

具世界感知的場景生成

運用廣泛的世界知識與物理理解,支援既有真實感也有風格化或超現實感的場景。

可在 Google 介面中使用

可透過 Gemini 或 Google Flow 使用同一模型,如產品頁與模型頁所示。

使用情境

  • 生成新的影片概念

    從提示開始,並利用模型對高品質文字或其他參考資料生成的支援,從零產出影片內容。

  • 透過對話編輯片段

    透過逐步編輯既有影片進行迭代,每一輪都讓同一場景更精緻,而不是完全替換它。

  • 重新想像視覺風格與動作

    轉換片段的風格或效果,例如變更材質、將人物變成不同的視覺形式,或把整個環境轉換成另一種媒介。

  • 合併多個參考資料

    在專案需要由混合來源素材產生一致結果時,將文字、圖片、音訊與影片等多種參考資料整合為單一輸出。

  • 在 Google 介面中工作

    當工作流程更適合使用 Google 的託管介面,而非獨立本機工具時,可在 Gemini 或 Google Flow 中使用此模型。

Pros and Cons

Pros

  • 支援多種輸入類型,包括文字、圖片、音訊與影片。
  • 可讓使用者透過自然對話進行編輯,而不是從零重建場景。
  • 能讓變更在多輪對話中持續建立於先前指令之上。
  • 旨在結合 Gemini 的推理能力與生成式媒體能力,以產生更具真實感的輸出。
  • 可透過多個 Google 介面使用,包括 Gemini App 與 Google Flow。

Cons

  • 模型卡指出,在各次編輯之間維持完全一致性仍然具有挑戰。
  • 複雜動作的場景也被列為較難處理。
  • 完全準確的文字渲染仍然是一項限制。

FAQ

Gemini Omni 用於什麼?

Gemini Omni 被描述為一個可從文字、圖片、音訊或影片輸入建立與編輯影片的模型。根據產品頁面顯示的工作流程,它可在 Gemini 與 Google Flow 中使用。

我可以在哪裡試用 Gemini Omni?

來源資料顯示,Gemini Omni 可透過 Gemini App 與 Google Flow 使用。模型卡說明它會透過這些管道提供,而產品頁也包含在 Gemini 與 Google Flow 中試用的連結。

Gemini Omni 會輸出什麼?

模型卡指出,Gemini Omni Flash 會輸出具有音訊的高品質、高解析度影片。產品頁也強調以對話方式編輯,並將參考資料整合為單一一致的結果。

Gemini Omni 的主要限制是什麼?

模型卡提到,在編輯過程中維持完全一致性、處理複雜動作場景,以及渲染完全準確的文字,仍然是挑戰。

Gemini Omni 有獨立定價嗎?

定價頁沒有提供 Gemini Omni 的專屬價格資訊,只是將 Gemini Omni 顯示為 Google DeepMind 更廣泛模型陣容的一部分。

Quick Facts

類別
AI 影片生成與編輯
產品系列
Gemini
輸入
文字、圖片、音訊與影片
輸出
高品質且附帶音訊的影片
存取介面
Gemini App 與 Google Flow
來源網域
deepmind.google