Alconost MQM Annotation Tool

Что такое Alconost MQM Annotation Tool?

Alconost MQM Annotation Tool — это веб-инструмент для оценки качества перевода с использованием MQM (Multidimensional Quality Metrics), фреймворка на основе ошибок, применяемого в общих задачах WMT и отраслевых бенчмарках. Он поддерживает рабочие процессы с участием человека для аннотации ошибок перевода по руководствам MQM, а также анализ на уровне системы и сегмента.

Инструмент позволяет загружать выходы перевода, отмечать и категоризировать ошибки по таксономии MQM и степени серьёзности, а также экспортировать структурированные результаты для дальнейшей оценки. Он также преобразует MQM-аннотации в нормализованный Quality Score (%) для сопоставимости между языками с учётом длины перевода по токенам XLM-R SentencePiece.

Ключевые возможности

• Аннотация ошибок по руководствам MQM для выходов перевода: отмечайте явные категории ошибок и степени серьёзности вместо использования только общих баллов.
• Покрытие таксономии MQM с детальными категориями и степенями: включает категории вроде Accuracy, Fluency и Terminology с уровнями Minor, Major и Critical.
• Структурированный экспорт для анализа: экспортирует аннотированные данные в форматах TSV/CSV (табличный) и JSONL (JSON по строкам) для отчётов на уровне системы и сегмента.
• Отчёты и аналитика: включает расчёт баллов проекта и представления вроде диаграмм распределения ошибок и оценок времени сессий.
• Автоматический расчёт баллов на основе нормализованных по токенам штрафов: вычисляет общий штраф как Σ(количество ошибок × вес ошибки) и выводит Quality Score (%) из общего количества токенов; порог pass/fail и веса ошибок настраиваемы.
• Интеграция API для рабочих процессов импорта/экспорта: предоставляет REST API для создания проектов, импорта контента и экспорта аннотированных результатов (JSONL, TSV, CSV).

Как использовать Alconost MQM Annotation Tool

1. Создайте или запустите проект аннотации MQM в инструменте.
2. Загрузите данные с исходными и целевыми переводами (опционально ID сегментов, систем и документов).
3. Аннотируйте ошибки по категориям и уровням MQM. Чтобы отметить сегмент как проверенный без ошибок, добавьте аннотацию «no-error».
4. Просмотрите отчёты проекта (включая баллы и распределение ошибок) и экспортируйте аннотированные данные для анализа.

Для автоматизации используйте предоставленный REST API для программного импорта сегментов и экспорта результатов в JSONL, TSV или CSV.

Сценарии использования

• Оценка качества человеческого перевода: лингвисты аннотируют конкретные типы ошибок MQM (например, Accuracy/Addition, Fluency/Grammar) для создания проверяемого профиля ошибок.
• Сравнение систем машинного перевода: несколько выходов систем можно аннотировать и сравнивать по нормализованному Quality Score и отчётам распределения ошибок.
• Рабочие процессы оценки LLM или нейронного MT: аннотируйте выходы перевода от нейронного/LLM MT по той же таксономии MQM для консистентности оценок.
• Регрессионное тестирование и анализ ошибок: отслеживайте изменения конкретных категорий ошибок между версиями моделей путём экспорта структурированных аннотаций.
• Обзор QA от вендоров или внутренний с слепой аннотацией: аннотатор выполняет MQM-аннотацию ошибок для объективной основы оценки качества перевода.

FAQ

Какие входные форматы поддерживаются?
Примеры структурированных форматов инструмента — TSV (табличный) и JSONL (JSON по строкам). Также поддерживается импорт CSV/TSV/JSONL и сырого JSON через REST API.

Как работает Quality Score (%)?
Инструмент вычисляет общий штраф из аннотированных ошибок по количеству и весам ошибок, затем нормализует по общему количеству токенов XLM-R SentencePiece. Весы по умолчанию: Critical: 25, Major: 5, Minor: 1; порог pass по умолчанию — 99.0% и выше; оба настраиваемы.

Как отметить, что в сегменте нет ошибок?
Добавьте аннотацию с категорией no-error, чтобы сегмент считался проверенным и правильным, а не пропущенным или ожидающим.

Можно ли добавить дополнительный контекст для аннотаторов?
Да. Поле context можно предоставить для отображения дополнительной информации в интерфейсе аннотации (например, термины глоссария, ссылки на референсы, правила стиля).

Можно ли интегрировать MQM-аннотацию в автоматизированный рабочий процесс?
Да. Инструмент предоставляет REST API с OpenAPI-спецификацией для автоматизированного импорта/экспорта проектов и аннотированных результатов.

Альтернативы

• Инструменты MQM-аннотации (open source или self-hosted): если нужен похожий MQM-таксономия и рабочий процесс аннотации, но с самостоятельным управлением инфраструктурой, подойдут открытые инструменты, вдохновлённые MQM; главное отличие — контроль над процессом и ответственность за настройку.
• Универсальные инструменты анализа ошибок перевода с кастомными наборами тегов: инструменты на основе таблиц или UI поддерживают аннотацию ошибок, но придётся определять собственную таксономию/весовую систему и логику подсчёта баллов вместо MQM-ориентированной модели.
• Платформы аннотации с экспортными пайплайнами: платформы с поддержкой задач разметки и структурированного экспорта воспроизводят «человек в цикле», но могут не предоставлять MQM-специфические категории/степени тяжести и токен-нормализованный подсчёт баллов из коробки.
• Дашборды оценки качества, ориентированные только на подсчёт баллов: некоторые инструменты фокусируются на расчёте метрик качества, но без MQM-стиля категориальной аннотации ошибок и структурированных экспортов не обеспечивают такую же детализацию анализа ошибок.