NIST (metric)

Définition

Méthode d'évaluation automatique de la qualité de la traduction automatique dérivée du score BLEU. Tout en calculant la similarité à l'aide de la précision des n-grammes, elle évalue également le degré d'information fourni par un n-gramme donné.

L'idée sous-jacente est d'accorder plus de crédit à un système lorsqu'il obtient une correspondance de n-gramme difficile, et moins de crédit pour une correspondance de n-gramme facile.

Compléments

• Par rapport à BLEU, NIST accorde davantage d'importance aux n-grammes moins fréquents ; il se distingue également de BLEU dans le calcul de la pénalité de concision, où de légères variations de la longueur de la traduction n'ont pas autant d'impact sur le score global.
• Le nom de la métrique provient du National Institute of Standards and Technology.

Français

NIST

Anglais

NIST

National Institute of Standards and Technology

NIST stands for National Institute of Standards and Technology and it is an automatic evaluation of machine translation adaptation of BLEU. While it also calculates the similarity using n-grams precision, NIST also calculates how informative a particular n-gram is. The idea behind this is to give more credit if a system gets an n-gram match that is difficult, but to give less credit for an n-gram match which is easy.

Compared to BLEU, NIST gives more importance to the less frequent n-grams, also differs from BLEU in its calculation of the brevity penalty insofar as small variations in translation length do not impact the overall score as much.

Sources

Source : ACL Anthology

Source : Machine Translate

Source : Wikipedia