Vantage

Vantage란 무엇인가요?

Vantage는 Google Research의 연구 실험으로, 생성 AI를 활용해 “미래역량”을 평가하도록 설계되었습니다. 학습자들이 개방형 시나리오에서 기술을 연습할 수 있도록 모의 다자간 대화를 사용하며, AI 시스템이 평가를 위한 구조화된 증거를 수집합니다.

이 프로젝트는 뉴욕대학교의 교수학 및 연구 전문가들과 함께 개발되었으며, 핵심 학문 과목 평가 관행과 일치하는 확장 가능한 접근 방식을 목표로 합니다. Google은 Vantage를 고등학교 및 대학생을 위한 샌드박스로 의도했으며, 검증된 기술 점수와 피드백을 생성하는 평가 방법을 포함합니다.

주요 기능

• AI 아바타와의 모의 다자간 대화: 학습자들이 토론 준비나 창의적 비전 피칭 같은 개방형 작업에서 AI 아바타와 상호작용하며 상호작용 기술의 관찰 가능한 증거를 생성합니다.
• 평가를 조정하는 “Executive LLM”: Executive LLM은 제공된 평가 루브릭을 사용해 대화 흐름을 관리하고 필요 시 표적 도전을 도입합니다(예: 아이디어에 반박하거나 갈등 유발).
• 루브릭에 기반한 적응형 증거 수집: 대화 상태를 모니터링하며 Executive LLM이 특정 도전을 드러낼 시점을 동적으로 선택해 작업 종료 시 평가에 필요한 정보를 수집합니다.
• 루브릭 기반 점수를 위한 “AI Evaluator”: 작업 후 AI Evaluator가 동일한 루브릭에 대해 대화 녹취록을 분석해 기술 적용 증거를 식별하고 측정합니다.
• 시각적 점수와 질적 피드백이 포함된 “스킬 맵”: 학습자들이 대화에서 보여준 기술 및 하위 기술에 점수와 서면 피드백을 연결한 상세 스킬 맵을 받습니다.

Vantage 사용 방법

1. Google Labs에서 가입 (Vantage는 영어로 제공됨, 페이지 기준).
2. 토론 준비나 창의적 비전 피칭 같은 개방형 시나리오 선택.
3. 평가 루브릭에 맞춘 도전을 도입하는 AI 아바타와 모의 대화 참여.
4. 대화 후 출력 검토: 녹취록에 나타난 기술을 반영한 스킬 맵(시각적 점수 + 질적 피드백)을 받습니다.

사용 사례

• 통제된 환경에서 미래역량 연습: 학생들이 평가에 적합하게 구조화된 동시에 개방형 시나리오에서 의사소통, 협업, 창의적 사고 행동을 연습할 수 있습니다.
• 프롬프트된 불일치로 갈등 해결 평가: 응답 평가를 위해 불일치가 필요하면 Executive LLM이 갈등을 도입해 학습자들이 이를 탐색하는 방식을 보여줍니다.
• 협업 환경에서 아이디어 발전 평가: 참여자들이 서로의 아이디어를 발전시켜야 하는 시나리오에서 적응형 설정이 첫 제안 후 멈추지 않고 지속적 아이디어 정제를 유도합니다.
• 루브릭 일치 증거로 교육자 지원: 제공된 루브릭으로 조정되고 녹취록 기반 점수를 생성하므로 교육자들이 스킬 맵에 나타난 기술 영역에 수업을 맞출 수 있습니다.
• 보여준 하위 기술에 대한 실행 가능한 피드백 제공: 스킬 맵은 상호작용에서 관찰된 특정 기술 및 하위 기술에 질적 피드백을 연결해 “보이지 않는” 진척을 가시화합니다.

자주 묻는 질문

Vantage는 범용 챗봇인가요?
아니요. 페이지에서 Vantage를 AI 아바타와의 루브릭 조정 모의 대화를 생성해 “미래역량” 증거를 수집하는 평가 실험으로 설명합니다.

Vantage는 누구를 위한 것인가요?
Google은 고등학교 및 대학생을 위해 설계되었으며, 연습과 검증된 평가를 위한 샌드박스를 제공한다고 밝혔습니다.

Vantage는 어떤 종류의 작업을 실행하나요?
페이지에서 토론 준비나 창의적 비전 피칭 같은 개방형 시나리오를 예로 들었습니다.

Vantage는 어떻게 점수를 생성하나요?
학습자가 대화를 완료하면 AI Evaluator가 평가 루브릭에 대해 녹취록을 분석하고, 학습자가 시각적 점수와 질적 피드백이 포함된 스킬 맵을 받습니다.

Vantage는 어디에서 이용 가능한가요?
페이지에 따르면 Vantage는 Google Labs에서 영어로 가입 가능합니다.

대안

• 성과 기반 과제용 인간 주도 루브릭: 교사가 토론, 토론회 또는 그룹 활동을 진행하고 루브릭으로 채점할 수 있습니다. 이는 자원이 더 많이 들고 대규모로 표준화하기 어려울 수 있습니다.
• 표준화된 시험 및 고정 항목 평가: 관리하기 쉽지만 페이지에 설명된 상호작용 패턴이나 사고 과정을 포착하기에는 너무 경직될 수 있습니다.
• 교사가 만든 루브릭을 사용하는 다른 AI 튜터링 또는 롤플레이 시스템: 전용 “적응형 평가 엔진” 대신 일부 도구는 대화 연습과 피드백에 중점을 두며, 평가는 교사나 별도의 루브릭 프로세스에서 처리합니다.
• 과정 성과 중심 학습 분석 플랫폼: 측정 가능한 학습 신호를 추적하지만 Vantage에서 모의 다자 대화로 목표로 하는 대인 관계 및 창의적 사고 행동을 직접 평가하지 않을 수 있습니다.