Alconost MQM Annotation Tool

Alconost MQM Annotation Tool 是什麼？

Alconost MQM Annotation Tool 是一款基於網頁的翻譯品質評估工具，使用 MQM (Multidimensional Quality Metrics)，這是 WMT 共享任務與產業基準所採用的基於錯誤的框架。它支援人機互動工作流程，用於依據 MQM 指南標註翻譯錯誤，並進行系統層級與片段層級的分析。

此工具可讓您上傳翻譯輸出、依 MQM 分類與嚴重度標註並分類錯誤，並匯出結構化結果以供後續評估。它還將 MQM 標註轉換為標準化品質分數 (%)，透過 XLM-R SentencePiece 權重計算翻譯長度，以實現跨語言可比較性。

主要功能

翻譯輸出的 MQM 指南錯誤標註：標註明確的錯誤類別與嚴重度，而非僅使用整體分數。
MQM 分類涵蓋細分類別與嚴重度：包含 Accuracy、Fluency、Terminology 等類別，以及 Minor、Major、Critical 等嚴重度等級。
結構化匯出以供分析：以 TSV/CSV (表格) 與 JSONL (逐行 JSON) 等格式匯出標註資料，支援系統與片段層級報表。
報表與分析：包含專案評分與洞察視圖，如錯誤分佈圖表與工作階段時間估計。
基於權重正規化的自動評分：計算總罰分為 Σ(錯誤數 × 錯誤權重)，並依總權重數推導品質分數 (%)；通過/失敗門檻與錯誤權重均可設定。
API 整合用於匯入/匯出工作流程：提供 REST API 以建立專案、匯入內容並匯出標註結果 (JSONL、TSV、CSV)。

如何使用 Alconost MQM Annotation Tool

在工具中建立或啟動 MQM 標註專案。
上傳包含來源與目標翻譯的資料 (可選段落 ID、系統 ID 與文件 ID)。
使用 MQM 類別與嚴重度等級標註錯誤。要標記片段已檢查且無錯誤，請新增「no-error」標註。
檢視專案報表 (包含評分與錯誤分佈) 並匯出標註資料以供分析。

如需自動化，可使用提供的 REST API 以程式方式匯入片段並以 JSONL、TSV 或 CSV 匯出結果。

使用情境

人工翻譯品質評估：語言專家標註特定 MQM 錯誤類型 (例如 Accuracy/Addition、Fluency/Grammar)，產生可稽核的錯誤剖析。
機器翻譯系統比較：可標註並比較多個系統輸出，使用標準化品質分數與錯誤分佈報表。
LLM 或神經 MT 評估工作流程：使用相同 MQM 分類標註神經/LLM 基於 MT 的翻譯輸出，以維持評估一致性。
回歸測試與錯誤分析：透過匯出結構化標註，追蹤模型版本間特定錯誤類別的變化。
供應商或內部 QA 審核 (盲標註)：讓標註者完成 MQM 錯誤標註，以建立翻譯品質審核的客觀基礎。

常見問題

支援哪些輸入格式？ 工具的結構化格式範例包含 TSV (表格) 與 JSONL (逐行 JSON)。也支援經 REST API 匯入 CSV/TSV/JSONL 與原始 JSON。

品質分數 (%) 如何運作？ 工具使用錯誤數與錯誤權重計算總罰分，再以 XLM-R SentencePiece 權重總數正規化。預設嚴重度權重為 Critical: 25、Major: 5、Minor: 1，預設通過門檻為 99.0% 或更高；通過/失敗與權重均可調整。

如何記錄片段無錯誤？ 新增分類為 no-error 的標註，讓片段被視為已檢查且正確，而非略過或待處理。

能否為標註者提供額外上下文？ 可以。context 欄位可用於在標註介面顯示額外資訊 (例如詞彙表術語、參考連結、風格規則)。

能否將 MQM 標註整合至自動化工作流程？ 可以。工具提供具 OpenAPI 規範的 REST API，用於自動化匯入/匯出專案與標註結果。

替代方案

MQM 標註工具（開源或自架）：如果您想要類似的 MQM 分類法與標註流程，但自行管理基礎設施，開源 MQM 相關工具可能適合；主要差異在於流程控制與設定責任。
通用翻譯錯誤分析搭配自訂標籤集：試算表或 UI 工具可支援錯誤標註，但您需自行定義分類法/權重與計分邏輯，而非使用 MQM 專屬模型。
僅支援匯出的標註平台：支援標註任務與結構化匯出的平台可複製「人工介入」部分，但可能無法開箱即用提供 MQM 專屬分類/嚴重度結構與 token 正規化計分。
僅聚焦計分的品質評估儀表板：有些工具專注計算品質指標，但若無 MQM 風格的分類錯誤標註與結構化匯出，即無法提供相同細粒度的錯誤分析。

Alconost MQM Annotation Tool