Segmentation

Définition

En traitement automatique de la langue naturelle, la segmentation est la division d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais) mots ou caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots.

Français

segmentation

tokénisation calque de l'anglais

Anglais

tokenization

• Source: Wikipedia - Glossaire de l'exploration des données

• Source: Wikipedia, Analyse lexicale.