Alconost MQM Annotation Tool

Qu'est-ce que l'Alconost MQM Annotation Tool ?

L'Alconost MQM Annotation Tool est un outil web pour l'évaluation de la qualité des traductions utilisant MQM (Multidimensional Quality Metrics), un cadre basé sur les erreurs utilisé dans les tâches partagées WMT et les benchmarks industriels. Il prend en charge les workflows avec intervention humaine pour annoter les erreurs de traduction selon les directives MQM, ainsi que l'analyse au niveau système et segment de ces annotations.

L'outil vous permet de télécharger des sorties de traduction, de marquer et catégoriser les erreurs selon la taxonomie MQM et leur gravité, et d'exporter des résultats structurés pour une évaluation ultérieure. Il convertit également les annotations MQM en un Quality Score (%) normalisé, comparable entre langues en tenant compte de la longueur de traduction via des tokens XLM-R SentencePiece.

Fonctionnalités principales

• Annotation d'erreurs selon les directives MQM pour sorties de traduction : annotez des catégories d'erreurs explicites et gravités au lieu d'utiliser uniquement des scores globaux.
• Couverture de la taxonomie MQM avec catégories et gravités granulaires : inclut des catégories comme Accuracy, Fluency et Terminology, avec niveaux de gravité Minor, Major et Critical.
• Exports structurés pour analyse : exporte les données annotées en formats TSV/CSV (tabulaire) et JSONL (JSON délimité par ligne) pour reporting système et segment.
• Reporting et analyses : inclut scoring de projet et vues d'insights comme graphiques de distribution d'erreurs et estimations de temps de session.
• Scoring automatisé basé sur pénalités normalisées par token : calcule pénalité totale comme Σ(compte d'erreurs × poids d'erreur) et dérive Quality Score (%) du compte total de tokens ; seuil pass/fail et poids d'erreurs configurables.
• Intégration API pour workflows import/export : fournit une REST API pour créer des projets, importer du contenu et exporter des résultats annotés (JSONL, TSV, CSV).

Comment utiliser l'Alconost MQM Annotation Tool

1. Créez ou démarrez un projet d'annotation MQM dans l'outil.
2. Téléchargez vos données contenant traductions source et cible (et optionnellement IDs de segments, IDs de systèmes et IDs de documents).
3. Annotez les erreurs en utilisant les catégories MQM et niveaux de gravité. Pour marquer un segment comme vérifié sans erreurs, ajoutez une annotation « no-error ».
4. Consultez le reporting du projet (incluant scoring et distributions d'erreurs) et exportez les données annotées pour analyse.

Pour l'automatisation, utilisez la REST API fournie pour importer des segments par programme et exporter les résultats en JSONL, TSV ou CSV.

Cas d'usage

• Évaluation qualité traduction humaine : linguistes annotent types d'erreurs MQM spécifiques (ex. Accuracy/Addition, Fluency/Grammar) pour produire un profil d'erreurs auditable.
• Comparaison systèmes traduction automatique : plusieurs sorties de systèmes peuvent être annotées et comparées via Quality Score normalisé et reporting de distribution d'erreurs.
• Workflows évaluation MT neuronal/LLM : annotez sorties de MT neuronal/LLM avec même taxonomie MQM pour évaluations cohérentes.
• Tests de régression et analyse d'erreurs : suivez évolution catégories d'erreurs spécifiques entre versions de modèles via exports d'annotations structurées.
• Revue QA vendor/interne avec annotation aveugle : annotateur complète annotation erreurs MQM pour base objective d'évaluation qualité traduction.

FAQ

Quels formats d'entrée sont pris en charge ? Les exemples de formats structurés de l'outil incluent TSV (tabulaire) et JSONL (JSON délimité par ligne). Il supporte aussi l'import CSV/TSV/JSONL et JSON brut via REST API.

Comment fonctionne le Quality Score (%) ? L'outil calcule une pénalité totale à partir des erreurs annotées via comptes d'erreurs et poids, puis normalise par compte total de tokens avec tokens XLM-R SentencePiece. Poids de gravité par défaut : Critical: 25, Major: 5, Minor: 1 ; seuil pass par défaut 99,0 % ou plus ; seuil pass/fail et poids ajustables.

Comment enregistrer qu'un segment n'a pas d'erreurs ? Ajoutez une annotation avec catégorie no-error pour que le segment soit compté comme vérifié et correct, non ignoré ou en attente.

Puis-je inclure du contexte supplémentaire pour les annotateurs ? Oui. Le champ context peut être fourni pour afficher infos supplémentaires dans l'interface d'annotation (ex. termes glossaire, liens référence, règles style).

Puis-je intégrer l'annotation MQM dans un workflow automatisé ? Oui. L'outil fournit une REST API avec spécification OpenAPI pour import/export automatisé de projets et résultats annotés.

Alternatives

• Outils d’annotation MQM (open source ou auto-hébergés) : si vous voulez une taxonomie MQM et un workflow d’annotation similaires mais gérez vous-même l’infrastructure, des outils open source inspirés de MQM peuvent convenir ; la principale différence est le contrôle du workflow et la responsabilité de la configuration.
• Analyse d’erreurs de traduction généraliste avec ensembles d’étiquettes personnalisés : des outils basés sur tableurs ou interfaces peuvent supporter l’annotation d’erreurs, mais vous devrez définir votre propre taxonomie/pondération et logique de scoring plutôt qu’utiliser un modèle centré sur MQM.
• Plateformes d’annotation avec pipelines d’export uniquement : des plateformes supportant les tâches de labellisation et exports structurés peuvent reproduire la partie « humain dans la boucle », mais elles ne fournissent pas forcément les structures de catégories/gravité spécifiques à MQM et le scoring normalisé par token prêtes à l’emploi.
• Tableaux de bord d’évaluation de qualité axés uniquement sur le scoring : certains outils se concentrent sur le calcul de métriques de qualité, mais sans annotation d’erreurs catégorielle style MQM et exports structurés, ils ne supportent pas la même granularité pour l’analyse d’erreurs.