COMET
Définition
Métrique d'évaluation neuronale de traduction automatique qui calcule la similarité entre une traduction automatique et une traduction de référence à l'aide de segments textuels et un entraînement sur des données humaines comme BLEURT. Elle intègre aussi le texte source dans son analyse ce qui lui permet d'évaluer la fidélité du sens original.
Compléments
Contrairement à BERTScore, COMET est entraîné à prédire différents types de jugements humains sous forme d'effort de post-édition, d'évaluation directe ou d'analyse des erreurs de traduction.
Français
COMET
Anglais
COMET
Crosslingual Optimized Metric for Evaluation of Translation
A metric for automatic evaluation of machine translation that calculates the similarity between a machine translation output and a reference translation using token or sentence embeddings. It also uses the original text, enabling a semantic fidelity analysis of the translation.
Unlike BERTScore, COMET is trained on predicting different types of human judgements in the form of post-editing effort, direct assessment or translation error analysis.
Sources
Contributeurs: Arianne Arel, wiki
