LEPOR

Définition

LEPOR est l'acronyme de « Length Penalty, Precision, n-gram Position difference Penalty and Recall » ; il s'agit d'une métrique d'évaluation de traduction automatique doté de paramètres ajustables et de facteurs d'ajustement afin de remédier au problème de biais linguistique.

Plus spécifiquement, LEPOR concentre sur la combinaison de deux facteurs modifiés (pénalité liée à la longueur de la phrase et pénalité liée à la différence de position des n-grammes) et de deux méthodologies classiques (précision et rappel).

Voir aussi BLEU, METEOR, NIST et TER

Compléments

• La métrique LEPOR a donné naissance à la série de métriques LEPOR. Cette série ne nécessite aucun jeu de données supplémentaire.
• Le biais linguistique désigne le fait que certaines métriques performent mieux sur certaines langues que d'autres. En effet, certaines métriques reposent sur des informations et caractéristiques linguistiques spécifiques de certaines langues. Ceci rend difficile la reproductibilité des expériences.

Français

LEPOR

Anglais

Length Penalty, Precision, n-gram Position difference Penalty and Recall

LEPOR

LEPOR stands for Length Penalty, Precision, n-gram Position difference Penalty and Recall and it is an automatic machine translation evaluation metric with tunable parameters and augmented factors to address the language bias problem.

LEPOR metric has been developed into LEPOR series. This metric does not need any extra dataset or tool.

Some metrics perform well on certain languages but weak on other languages, which is usually called as a language bias problem. Some metrics rely on a lot of language features or linguistic information, which makes it difficult for other researchers to repeat the experiments.

Sources

Source : ACL Anthology

Source : arxiv

Source : GitHub

Source : Wikipedia