Vantage

Was ist Vantage?

Vantage ist ein Forschungsprojekt von Google Research, das „future-ready“ Skills mit generativer KI bewertet. Es nutzt simulierte, mehrteilige Gespräche, damit Lernende Fähigkeiten in offenen Szenarien üben können, während ein KI-System strukturierte Belege für die Bewertung sammelt.

Das Projekt wurde mit Pädagogen und Forschern der New York University entwickelt, mit dem Ziel, einen skalierbaren Ansatz zu nutzen, der mit Bewertungsmethoden für Kernfächer übereinstimmt. Google gibt an, dass Vantage als Sandbox für Highschool- und College-Studenten gedacht ist und eine Bewertungsmethode bietet, die validierte Skill-Bewertungen und Feedback erzeugt.

Wichtige Funktionen

• Simulierte mehrteilige Gespräche mit AI-Avataren: Lernende interagieren mit AI-Avataren in offenen Aufgaben (z. B. Debattevorbereitung oder Präsentation einer kreativen Vision), um beobachtbare Belege für Skills in der Interaktion zu erzeugen.
• Ein „Executive LLM“, das die Bewertung steuert: Ein Executive LLM verwendet eine vorgegebene Bewertungsrubrik, um den Gesprächsfluss zu managen und gezielte Herausforderungen einzubringen (z. B. Widerspruch zu einer Idee oder Konflikt).
• Adaptive Belegesammlung rubric-gesteuert: Durch Überwachung des Gesprächszustands wählt der Executive LLM dynamisch, wann spezifische Herausforderungen aufgebracht werden, damit am Ende der Aufgabe die für die Bewertung benötigten Informationen vorliegen.
• Ein „AI Evaluator“ für rubric-basierte Bewertung: Nach der Aufgabe analysiert ein AI Evaluator das Gesprächsprotokoll anhand der gleichen Rubrik, um Belege für die Skill-Anwendung zu identifizieren und zu messen.
• Eine „Skill-Map“ mit visueller Bewertung und qualitativer Rückmeldung: Lernende erhalten eine detaillierte Skill-Map, die Scores und schriftliches Feedback mit den im Gespräch gezeigten Skills und Sub-Skills verknüpft.

So nutzen Sie Vantage

1. Melden Sie sich bei Google Labs an (Vantage ist auf Englisch verfügbar, wie auf der Seite angegeben).
2. Wählen Sie ein offenes Szenario wie Debattevorbereitung oder Präsentation einer kreativen Vision.
3. Nehmen Sie am simulierten Gespräch teil mit AI-Avataren, während das System rubric-konforme Herausforderungen einführt.
4. Überprüfen Sie das Ergebnis nach dem Gespräch: Sie erhalten eine Skill-Map (visueller Score plus qualitative Rückmeldung), die die im Protokoll belegten Skills widerspiegelt.

Anwendungsfälle

• Üben future-ready Skills in kontrollierter Umgebung: Studenten können Kommunikation, Zusammenarbeit und kreatives Denken in strukturierten, aber offenen Szenarien trainieren, die bewertbar sind.
• Bewerten von Konfliktlösung durch induzierten Widerspruch: Wenn ein Gespräch Widerspruch braucht, um Reaktionen zu prüfen, führt der Executive LLM Konflikt ein, damit Lernende zeigen, wie sie ihn navigieren.
• Evaluieren des Aufbauens auf Ideen in kollaborativen Settings: In Szenarien, in denen Teilnehmer Ideen voneinander aufbauen müssen, fordert die adaptive Steuerung laufende Ideenverfeinerung statt Stopp nach dem ersten Vorschlag.
• Unterstützen von Pädagogen mit rubric-konformen Belegen: Da der Prozess rubric-gesteuert ist und protokollbasierte Bewertungen erzeugt, können Pädagogen Unterricht mit den in der Skill-Map dargestellten Skill-Bereichen abstimmen.
• Bieten von handlungsrelevantem Feedback zu gezeigten Sub-Skills: Die Skill-Map macht „unsichtbaren“ Fortschritt sichtbar, indem qualitative Rückmeldung mit beobachteten spezifischen Skills und Sub-Skills verknüpft wird.

FAQ

Ist Vantage ein Allzweck-Chatbot?
Nein. Die Seite beschreibt Vantage als Bewertungsexperiment, das rubric-gesteuerte simulierte Gespräche mit AI-Avataren für Belege zu „future-ready“ Skills erzeugt.

Für wen ist Vantage gedacht?
Google gibt an, es sei für Highschool- und College-Studenten konzipiert und biete eine Sandbox für Übung und validierte Bewertung.

Welche Arten von Aufgaben führt Vantage aus?
Die Seite nennt Beispiele offener Szenarien wie Debattevorbereitung oder Präsentation einer kreativen Vision.

Wie erzeugt Vantage einen Score?
Nach Abschluss des Gesprächs analysiert ein AI Evaluator das Protokoll anhand der Bewertungsrubrik, und der Lernende erhält eine Skill-Map mit visueller Bewertung und qualitativer Rückmeldung.

Wo ist Vantage verfügbar?
Die Seite sagt, Vantage sei auf Google Labs auf Englisch zum Anmelden verfügbar.

Alternativen

• Menschlich begleitete Rubriken für leistungsbasierte Aufgaben: Pädagogen können Diskussionen, Debatten oder Gruppenaktivitäten durchführen und mit Rubriken bewerten. Dies kann ressourcenintensiver sein und erschwert die Standardisierung im großen Maßstab.
• Standardisierte Tests und feststehende Item-Assessments: Diese sind einfacher zu verwalten, können aber zu starr sein, um Interaktionsmuster oder Denkprozesse wie auf der Seite beschrieben zu erfassen.
• Andere KI-Tutoring- oder Rollenspielsysteme mit lehrererstellten Rubriken: Statt eines dedizierten „adaptiven Bewertungs-Engines“ konzentrieren sich einige Tools auf Gesprächsübungen und Feedback, wobei die Bewertung vom Instruktor oder einem separaten Rubrik-Prozess übernommen wird.
• Lernanalytik-Plattformen mit Fokus auf Kursleistungen: Diese verfolgen messbare Lernsignale, bewerten aber möglicherweise nicht direkt interpersonale und kreativ-denkende Verhaltensweisen, wie es simulierte Mehrparteien-Gespräche in Vantage anstreben.