Segmenteur

Définition

En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de segments ou de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

voir aussi : segment

Compléments

L'unité qui en résulte se nomme segment.

En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte.

Français

segmenteur

découpeur

Anglais

tokenizer

Sources

Termium.