Alconost MQM Annotation Tool

O que é a Alconost MQM Annotation Tool?

A Alconost MQM Annotation Tool é uma ferramenta web para avaliação de qualidade de tradução usando MQM (Multidimensional Quality Metrics), um framework baseado em erros usado em tarefas compartilhadas da WMT e benchmarks da indústria. Ela suporta fluxos de trabalho com intervenção humana para anotar erros de tradução conforme as diretrizes MQM, além de análises em nível de sistema e segmento dessas anotações.

A ferramenta permite fazer upload de saídas de tradução, marcar e categorizar erros pela taxonomia MQM e gravidade, e exportar resultados estruturados para avaliação posterior. Ela também converte anotações MQM em uma Quality Score (%) normalizada, destinada a ser comparável entre idiomas, considerando o comprimento da tradução com tokens XLM-R SentencePiece.

Principais Recursos

• Anotação de erros com diretrizes MQM para saídas de tradução: anote categorias e gravidades explícitas em vez de usar apenas pontuações holísticas.
• Cobertura da taxonomia MQM com categorias granulares e gravidades: inclui categorias como Accuracy, Fluency e Terminology, com níveis de gravidade como Minor, Major e Critical.
• Exportações estruturadas para análise: exporta dados anotados em formatos como TSV/CSV (tabular) e JSONL (JSON delimitado por linha) para relatórios em nível de sistema e segmento.
• Relatórios e análises: inclui pontuação de projeto e visualizações como gráficos de distribuição de erros e estimativas de tempo de sessão.
• Pontuação automatizada baseada em penalidades normalizadas por token: calcula penalidade total como Σ(contagem de erros × peso do erro) e deriva Quality Score (%) do total de tokens; limite de aprovação/ reprovação e pesos de erros são configuráveis.
• Integração com API para fluxos de importação/exportação: fornece uma REST API para criar projetos, importar conteúdo e exportar resultados anotados (JSONL, TSV, CSV).

Como Usar a Alconost MQM Annotation Tool

1. Crie ou inicie um projeto de anotação MQM na ferramenta.
2. Faça upload dos seus dados contendo traduções fonte e alvo (e opcionalmente IDs de segmento, IDs de sistema e IDs de documento).
3. Anote erros usando as categorias MQM e níveis de gravidade. Para marcar um segmento como verificado sem erros, adicione uma anotação “no-error”.
4. Revise os relatórios do projeto (incluindo pontuação e distribuições de erros) e exporte os dados anotados para análise.

Para automação, use a REST API fornecida para importar segmentos programaticamente e exportar resultados em JSONL, TSV ou CSV.

Casos de Uso

• Avaliação de qualidade de tradução humana: linguistas anotam tipos específicos de erros MQM (ex.: Accuracy/Addition, Fluency/Grammar) para produzir um perfil de erros auditável.
• Comparação de sistemas de tradução automática: saídas de múltiplos sistemas podem ser anotadas e comparadas usando Quality Score normalizada e relatórios de distribuição de erros.
• Fluxos de avaliação de MT neural ou LLM: anote saídas de tradução de MT baseado em neural/LLM usando a mesma taxonomia MQM para manter avaliações consistentes.
• Testes de regressão e análise de erros: acompanhe como categorias específicas de erros mudam entre versões de modelo exportando anotações estruturadas.
• Revisão de QA de fornecedores ou interna com anotação cega: tenha um anotador completar anotação de erros MQM para criar uma base objetiva para revisão de qualidade de tradução.

FAQ

Quais formatos de entrada são suportados? Os exemplos de formato estruturado da ferramenta incluem TSV (tabular) e JSONL (JSON delimitado por linha). Ela também suporta importação de CSV/TSV/JSONL e JSON bruto via REST API.

Como funciona a Quality Score (%)? A ferramenta calcula uma penalidade total de erros anotados usando contagens e pesos de erros, depois normaliza pelo total de tokens com tokens XLM-R SentencePiece. Os pesos de gravidade padrão são Critical: 25, Major: 5, Minor: 1, e o limite de aprovação padrão é 99,0% ou superior; tanto aprovação/reprovação quanto pesos são ajustáveis.

Como registro que um segmento não tem erros? Adicione uma anotação com a categoria no-error para que o segmento seja contado como verificado e correto, em vez de pulado ou pendente.

Posso incluir contexto adicional para anotadores? Sim. O campo context pode ser fornecido para exibir informações extras na interface de anotação (ex.: termos de glossário, links de referência, regras de estilo).

Posso integrar anotação MQM em um fluxo de trabalho automatizado? Sim. A ferramenta fornece uma REST API com especificação OpenAPI para importação e exportação automatizadas de projetos e resultados anotados.

Alternativas

• Ferramentas de anotação MQM (abertas ou auto-hospedadas): se você quiser uma taxonomia MQM e fluxo de anotação similar, mas gerenciar a infraestrutura sozinho, ferramentas MQM inspiradas e abertas podem servir; a principal diferença é o controle do fluxo e a responsabilidade pela configuração.
• Análise geral de erros de tradução com conjuntos de tags personalizados: ferramentas baseadas em planilhas ou UI podem suportar anotação de erros, mas você precisaria definir sua própria taxonomia/pesos e lógica de pontuação em vez de usar um modelo focado em MQM.
• Plataformas de anotação com pipelines apenas de exportação: plataformas que suportam tarefas de rotulagem e exportações estruturadas podem replicar a parte “human-in-the-loop”, mas podem não fornecer estruturas de categoria/severidade específicas do MQM e pontuação normalizada por token prontas para uso.
• Painéis de avaliação de qualidade focados apenas em pontuação: algumas ferramentas podem se concentrar em calcular métricas de qualidade, mas sem anotação categórica de erros no estilo MQM e exportações estruturadas, podem não suportar a mesma granularidade para análise de erros.