Vantage

Qu'est-ce que Vantage ?

Vantage est une expérience de recherche de Google Research conçue pour évaluer des compétences « future-ready » en utilisant l'IA générative. Elle repose sur des conversations simulées multipartites permettant aux apprenants de pratiquer des compétences dans des scénarios ouverts, tandis qu'un système IA collecte des preuves structurées pour l'évaluation.

Le projet a été développé avec des experts en pédagogie et des chercheurs de l'Université de New York, dans le but d'adopter une approche scalable alignée sur les pratiques d'évaluation des matières académiques de base. Google indique que Vantage est destiné comme un espace d'expérimentation pour les lycéens et étudiants universitaires, et inclut une méthode d'évaluation visant à produire un scoring validé des compétences et un feedback.

Fonctionnalités principales

• Conversations multipartites simulées avec avatars IA : Les apprenants interagissent avec des avatars IA dans des tâches ouvertes (par exemple, préparation d'un débat ou pitch d'une vision créative) pour générer des preuves observables des compétences en interaction.
• Un « Executive LLM » qui guide l'évaluation : L'Executive LLM utilise une rubrique d'évaluation fournie pour gérer le flux de la conversation et introduire des défis ciblés au besoin (comme contredire une idée ou introduire un conflit).
• Collecte adaptative de preuves guidée par une rubrique : En surveillant l'état de la conversation, l'Executive LLM choisit dynamiquement quand introduire des défis spécifiques afin que les informations requises pour l'évaluation soient recueillies à la fin de la tâche.
• Un « AI Evaluator » pour le scoring basé sur rubrique : Après la tâche, un AI Evaluator analyse la transcription de la conversation selon la même rubrique pour identifier et mesurer les preuves d'application des compétences.
• Une « carte de compétences » avec scoring visuel et feedback qualitatif : Les apprenants reçoivent une carte de compétences détaillée reliant scores et feedback écrit aux compétences et sous-compétences démontrées dans la conversation.

Comment utiliser Vantage

1. Inscrivez-vous sur Google Labs (Vantage est disponible en anglais, selon la page).
2. Choisissez un scénario ouvert comme préparer un débat ou pitcher une vision créative.
3. Participez à la conversation simulée avec des avatars IA pendant que le système introduit des défis alignés sur une rubrique d'évaluation.
4. Consultez le résultat après la conversation : vous recevez une carte de compétences (score visuel plus feedback qualitatif) reflétant les compétences mises en évidence dans la transcription.

Cas d'usage

• Pratiquer des compétences future-ready dans un environnement contrôlé : Les étudiants peuvent répéter des comportements de communication, collaboration et pensée créative dans des scénarios structurés pour l'évaluation mais toujours ouverts.
• Évaluer la résolution de conflits via un désaccord provoqué : Si une conversation nécessite un désaccord pour évaluer les réponses, l'Executive LLM peut introduire un conflit afin que les apprenants montrent comment ils le gèrent.
• Évaluer la construction d'idées en contexte collaboratif : Dans des scénarios où les participants doivent développer les idées des autres, la configuration adaptative peut inciter à un raffinement continu des idées plutôt que s'arrêter après la première proposition.
• Soutenir les éducateurs avec des preuves alignées sur une rubrique : Comme le processus est guidé par une rubrique fournie et produit un scoring basé sur transcription, les éducateurs peuvent aligner leurs leçons sur les domaines de compétences représentés dans la carte de compétences.
• Fournir aux étudiants un feedback actionnable sur les sous-compétences démontrées : La carte de compétences vise à rendre visible le progrès « invisible » en reliant le feedback qualitatif à des compétences et sous-compétences spécifiques observées dans l'interaction.

FAQ

Vantage est-il un chatbot généraliste ?
Non. La page décrit Vantage comme une expérience d'évaluation qui crée des conversations simulées guidées par une rubrique avec des avatars IA pour collecter des preuves de compétences « future-ready ».

À qui s'adresse Vantage ?
Google indique qu'il est conçu pour les lycéens et étudiants universitaires, offrant un espace d'expérimentation pour la pratique et une évaluation validée.

Quels types de tâches Vantage propose-t-il ?
La page donne des exemples de scénarios ouverts comme préparer un débat ou pitcher une vision créative.

Comment Vantage produit-il un score ?
Après que l'apprenant a terminé la conversation, un AI Evaluator analyse la transcription selon la rubrique d'évaluation, et l'apprenant reçoit une carte de compétences avec scoring visuel et feedback qualitatif.

Où Vantage est-il disponible ?
La page indique que Vantage est disponible sur Google Labs en anglais pour inscription.

Alternatives

• Rubriques facilitées par un humain pour des tâches basées sur la performance : Les éducateurs peuvent mener des discussions, débats ou activités de groupe et évaluer à l’aide de rubriques. Cela peut être plus gourmand en ressources et plus difficile à standardiser à grande échelle.
• Tests standardisés et évaluations à items fixes : Ils sont plus faciles à administrer mais peuvent être trop rigides pour capturer les schémas d’interaction ou les processus de pensée décrits sur la page.
• Autres systèmes de tutorat IA ou de jeux de rôle avec rubriques créées par l’enseignant : Au lieu d’un « moteur d’évaluation adaptatif » dédié, certains outils se concentrent sur la pratique conversationnelle et le feedback, l’évaluation étant gérée par l’instructeur ou un processus de rubrique séparé.
• Plateformes d’analyse d’apprentissage axées sur les résultats des cours : Elles suivent des signaux d’apprentissage mesurables, mais n’évaluent pas directement les comportements interpersonnels et de pensée créative comme le font les conversations simulées multipartites dans Vantage.