Segmentation
Définition
En traitement automatique de la langue naturelle, la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Compléments
On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité.
Français
segmentation
tokenisation calque de l'anglais
Anglais
tokenization
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
