UStackUStack
Vantage icon

Vantage

Vantage 是 Google Research 的研究實驗,透過生成式 AI 以評量規準引導的模擬對話評估「未來就緒」能力,提供技能地圖與回饋。

Vantage

Vantage 是什麼?

Vantage 是 Google Research 的研究實驗,旨在使用生成式 AI 評估「未來就緒」能力。它使用模擬的多方對話,讓學習者在開放式情境中練習技能,同時 AI 系統收集結構化證據用於評量。

該專案與紐約大學的教學法專家和研究人員合作開發,目標是採用可擴展的方法,符合核心學科評量實務。Google 表示,Vantage 旨在為高中生和大學生提供沙盒環境,並包含產生驗證技能評分和回饋的評量方法。

主要功能

  • 與 AI 化身進行模擬多方對話:學習者在開放式任務中(如辯論準備或推銷創意願景)與 AI 化身互動,以產生技能互動的可觀察證據。
  • 引導評量的「執行 LLM」:執行 LLM 使用提供的評量規準管理對話流程,並在需要時引入針對性挑戰(如反對想法或引入衝突)。
  • 依規準引導的自適應證據收集:執行 LLM 透過監控對話狀態,動態選擇何時提出特定挑戰,確保任務結束時收集到評量所需資訊。
  • 基於規準評分的「AI 評量器」:任務結束後,AI 評量器根據相同規準分析對話記錄,以辨識並測量技能應用的證據。
  • 附視覺評分與質性回饋的「技能地圖」:學習者獲得詳細技能地圖,將評分和書面回饋連結至對話中展現的技能與子技能。

如何使用 Vantage

  1. 在 Google Labs 註冊(Vantage 僅提供英文版本,依頁面所述)。
  2. 選擇開放式情境,如準備辯論或推銷創意願景。
  3. 參與模擬對話,與 AI 化身互動,系統會依評量規準引入挑戰。
  4. 對話結束後檢視輸出:獲得技能地圖(視覺評分加質性回饋),反映記錄中展現的技能。

使用情境

  • 在受控環境練習未來就緒技能:學生可在結構化但開放式的模擬情境中排練溝通、協作與創意思考行為,以利評量。
  • 透過引發分歧評估衝突解決:若對話需分歧來評量回應,執行 LLM 可引入衝突,讓學習者展現處理方式。
  • 評估協作環境中的構想建構:在參與者需發展彼此構想的模擬中,自適應設定可促使持續精煉構想,而非僅止於首個提案。
  • 以規準對齊證據支援教育者:因流程依提供的規準引導並產生基於記錄的評分,教育者可將課程與技能地圖代表的技能領域對齊。
  • 為展現的子技能提供可行動回饋:技能地圖旨在讓「隱形」進展可見化,透過將質性回饋連結至互動中觀察到的特定技能與子技能。

常見問題

Vantage 是通用聊天機器人嗎?

不是。頁面描述 Vantage 為評量實驗,透過與 AI 化身進行規準引導的模擬對話,收集「未來就緒」技能的證據。

Vantage 適合誰使用?

Google 表示,它專為高中生和大學生設計,提供練習與驗證評量的沙盒環境。

Vantage 執行哪些類型任務?

頁面舉例開放式情境,如準備辯論或推銷創意願景。

Vantage 如何產生評分?

學習者完成對話後,AI 評量器依評量規準分析記錄,學習者獲得附視覺評分與質性回饋的技能地圖。

Vantage 在哪裡可用?

頁面表示,Vantage 在 Google Labs 以英文提供註冊。

替代方案

  • 人工輔助的評量規準,用於表現導向任務:教育工作者可舉辦討論、辯論或團體活動,並使用評量規準評分。這可能更耗費資源,且難以大規模標準化。
  • 標準化測驗與固定題項評量:這些較易執行,但可能過於僵化,無法捕捉頁面所述的互動模式或思考過程。
  • 其他具教師自製評量規準的 AI 輔導或角色扮演系統:有些工具專注對話練習與回饋,而非專屬「適應性評量引擎」,評量則由教師或獨立規準流程處理。
  • 專注課程成果的學習分析平台:這些追蹤可量測的學習訊號,但可能無法如 Vantage 中的模擬多方對話般,直接評估人際互動與創造性思考行為。
Vantage | UStack