Vantage

Vantageとは？

VantageはGoogle Researchの実験で、生成AIを用いて「未来に備える」スキルを評価します。学習者がオープンエンドのシナリオでスキルを練習できるように、模擬的な多人数会話を使用し、AIシステムが評価のための構造化された証拠を収集します。

このプロジェクトはニューヨーク大学の教育学専門家および研究者と共同開発され、主要な学術科目の評価実践に沿ったスケーラブルなアプローチを目指しています。Googleによると、Vantageは高校生および大学生向けのサンドボックスとして設計され、検証されたスキルスコアリングとフィードバックを生む評価方法を含みます。

主な機能

• AIアバターとの模擬多人数会話: 学習者はオープンエンドのタスク（例: 討論準備やクリエイティブビジョンのピッチング）でAIアバターと交流し、インタラクションにおけるスキルの観察可能な証拠を生成します。
• 評価を導く「Executive LLM」: Executive LLMは提供された評価ルーブリックを使用して会話の流れを管理し、必要に応じてターゲットされた課題（例: アイデアへの反論や対立の導入）を導入します。
• ルーブリックに基づく適応型証拠収集: 会話状態を監視し、Executive LLMが特定の課題を動的に提示するタイミングを選択することで、タスク終了時に評価に必要な情報を収集します。
• ルーブリックベースのスコアリングを行う「AI Evaluator」: タスク後、AI Evaluatorが会話トランスクリプトを同一ルーブリックに対して分析し、スキル適用の証拠を特定・測定します。
• 視覚スコアと質的フィードバック付き「スキルマップ」: 学習者は会話で示されたスキルおよびサブスキルにスコアと記述フィードバックをリンクした詳細なスキルマップを受け取ります。

Vantageの使い方

1. Google Labsでサインアップ (Vantageは英語で利用可能、ページによる)。
2. オープンエンドのシナリオを選択、例: 討論準備やクリエイティブビジョンのピッチング。
3. 模擬会話に参加、AIアバターとの会話中にシステムが評価ルーブリックに沿った課題を導入。
4. 会話後に出力レビュー: トランスクリプトで示されたスキルを反映したスキルマップ（視覚スコア＋質的フィードバック）を受け取ります。

ユースケース

• 制御された環境で未来に備えるスキルを練習: 学生は評価可能なくらい構造化されつつオープンエンドなシナリオで、コミュニケーション、コラボレーション、クリエイティブシンキングの行動をリハーサルできます。
• 促された対立で対立解決を評価: 応答評価に異議が必要な場合、Executive LLMが対立を導入し、学習者がそれをどう乗り越えるかを示せます。
• コラボラティブ設定でアイデア構築を評価: 参加者が互いのアイデアを発展させるシナリオでは、適応型設定が最初の提案で止まらず継続的なアイデア洗練を促します。
• ルーブリック準拠の証拠で教育者を支援: 提供ルーブリックで導かれトランスクリプトベースのスコアリングを生むため、教育者はスキルマップのスキル領域に授業を合わせられます。
• 示されたサブスキルに実践的フィードバックを提供: スキルマップはインタラクションで観察された特定スキルおよびサブスキルに質的フィードバックを結びつけ、「見えない」進捗を可視化します。

FAQ

Vantageは汎用チャットボットですか？
いいえ。ページではVantageを「未来に備える」スキルの証拠収集のためのルーブリック導行模擬会話を作成する評価実験と記述しています。

Vantageの対象者は？
Googleによると、高校生および大学生向けに設計され、練習と検証評価のためのサンドボックスを提供します。

Vantageが実行するタスクの種類は？
ページでは討論準備やクリエイティブビジョンのピッチングなどのオープンエンドシナリオを例示しています。

Vantageはどうやってスコアを生成しますか？
学習者が会話を完了後、AI Evaluatorがトランスクリプトを評価ルーブリックに対して分析し、視覚スコアと質的フィードバック付きスキルマップを受け取ります。

Vantageはどこで利用可能ですか？
ページによると、Google Labsで英語版がサインアップ可能です。

代替案

• パフォーマンスベースタスク向けの人間主導ルーブリック：教育者がディスカッション、ディベート、グループ活動を実施し、ルーブリックで採点。これによりリソースを多く要し、大規模での標準化が難しい場合がある。
• 標準化テストと固定項目評価：実施が容易だが、ページで説明されるような相互作用パターンや思考プロセスを捉えるには硬直的すぎる可能性がある。
• 教師作成ルーブリック付きの他のAIチューターやロールプレイシステム：専用の「適応型評価エンジン」の代わりに、会話練習とフィードバックに焦点を当て、評価を講師や別途のルーブリックプロセスで扱うツール。
• コースワーク成果に特化した学習分析プラットフォーム：測定可能な学習シグナルを追跡するが、Vantageの模擬多人数会話が目指すような対人スキルや創造的思考行動を直接評価しない場合がある。