Vantage

¿Qué es Vantage?

Vantage es un experimento de investigación de Google Research diseñado para evaluar habilidades “future-ready” mediante IA generativa. Utiliza conversaciones simuladas multiparte para que los aprendices practiquen habilidades en escenarios abiertos, mientras un sistema de IA recopila evidencia estructurada para la evaluación.

El proyecto se desarrolló con expertos en pedagogía e investigadores de la Universidad de Nueva York, con el objetivo de usar un enfoque escalable que se alinee con las prácticas de evaluación empleadas en asignaturas académicas principales. Google indica que Vantage está pensado como un entorno de pruebas para estudiantes de secundaria y universidad, e incluye un método de evaluación destinado a generar puntuaciones validadas de habilidades y retroalimentación.

Características principales

• Conversaciones multiparte simuladas con avatares de IA: Los aprendices interactúan con avatares de IA en tareas abiertas (por ejemplo, preparación de debates o presentación de una visión creativa) para generar evidencia observable de habilidades en interacción.
• Un “Executive LLM” que dirige la evaluación: Un Executive LLM usa una rúbrica de evaluación proporcionada para gestionar el flujo de la conversación e introducir desafíos dirigidos cuando sea necesario (como rechazar una idea o introducir conflicto).
• Recopilación adaptativa de evidencia guiada por rúbrica: Al monitorear el estado de la conversación, el Executive LLM elige dinámicamente cuándo presentar desafíos específicos para que se recopile la información requerida para la evaluación al final de la tarea.
• Un “AI Evaluator” para puntuación basada en rúbrica: Después de la tarea, un AI Evaluator analiza la transcripción de la conversación contra la misma rúbrica para identificar y medir evidencia de aplicación de habilidades.
• Un “skill map” con puntuación visual y retroalimentación cualitativa: Los aprendices reciben un mapa detallado de habilidades que vincula puntuaciones y retroalimentación escrita a las habilidades y subhabilidades demostradas en la conversación.

Cómo usar Vantage

1. Regístrate en Google Labs (Vantage está disponible en inglés, según la página).
2. Elige un escenario abierto como preparar un debate o presentar una visión creativa.
3. Participa en la conversación simulada con avatares de IA mientras el sistema introduce desafíos alineados con una rúbrica de evaluación.
4. Revisa el resultado después de la conversación: recibes un skill map (puntuación visual más retroalimentación cualitativa) que refleja las habilidades evidenciadas en la transcripción.

Casos de uso

• Practicar habilidades future-ready en un entorno controlado: Los estudiantes pueden ensayar comportamientos de comunicación, colaboración y pensamiento creativo en escenarios estructurados para evaluación pero aún abiertos.
• Evaluar resolución de conflictos mediante desacuerdos provocados: Si una conversación necesita desacuerdo para evaluar respuestas, el Executive LLM puede introducir conflicto para que los aprendices demuestren cómo lo navegan.
• Evaluar construcción de ideas en entornos colaborativos: En escenarios donde los participantes deben desarrollar las ideas de los demás, la configuración adaptativa puede impulsar la refinación continua de ideas en lugar de detenerse tras la primera propuesta.
• Apoyar a educadores con evidencia alineada a rúbricas: Como el proceso se dirige usando una rúbrica proporcionada y produce puntuación basada en transcripciones, los educadores pueden alinear lecciones con las áreas de habilidades representadas en el skill map.
• Proporcionar a estudiantes retroalimentación accionable sobre subhabilidades demostradas: El skill map busca hacer visible el progreso “invisible” conectando retroalimentación cualitativa a habilidades y subhabilidades específicas observadas en la interacción.

Preguntas frecuentes

¿Es Vantage un chatbot de propósito general?
No. La página describe Vantage como un experimento de evaluación que crea conversaciones simuladas dirigidas por rúbricas con avatares de IA para recopilar evidencia de habilidades “future-ready”.

¿Para quién es Vantage?
Google indica que está diseñado para estudiantes de secundaria y universidad, ofreciendo un entorno de pruebas para práctica y evaluación validada.

¿Qué tipos de tareas ejecuta Vantage?
La página da ejemplos de escenarios abiertos como preparar un debate o presentar una visión creativa.

¿Cómo produce Vantage una puntuación?
Después de que un aprendiz complete la conversación, un AI Evaluator analiza la transcripción contra la rúbrica de evaluación, y el aprendiz recibe un skill map con puntuación visual y retroalimentación cualitativa.

¿Dónde está disponible Vantage?
La página dice que Vantage está disponible en Google Labs en inglés para registro.

Alternativas

• Rúbricas facilitadas por humanos para tareas basadas en rendimiento: Los educadores pueden realizar discusiones, debates o actividades grupales y puntuar con rúbricas. Esto puede ser más intensivo en recursos y más difícil de estandarizar a gran escala.
• Pruebas estandarizadas y evaluaciones de ítems fijos: Son más fáciles de administrar, pero pueden ser demasiado rígidas para capturar patrones de interacción o procesos de pensamiento descritos en la página.
• Otros sistemas de tutoría o role-play con IA y rúbricas creadas por el profesor: En lugar de un “motor de evaluación adaptativa” dedicado, algunas herramientas se centran en la práctica conversacional y retroalimentación, con la evaluación manejada por el instructor o un proceso de rúbrica separado.
• Plataformas de analítica de aprendizaje enfocadas en resultados de cursos: Estas rastrean señales de aprendizaje medibles, pero pueden no evaluar directamente comportamientos interpersonales y de pensamiento creativo de la manera en que las conversaciones simuladas multiparte buscan hacerlo en Vantage.