Segmentation

Définition

En traitement automatique de la langue naturelle, la segmentation est la division ou le découpage d’une chaîne de caractères (un texte) en une liste de mots, de symboles, ou parfois de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

Compléments

On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité. On emploiera le mot symbole pour la segmentation de texte.

---

Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ».

Français

segmentation

découpage

tokenisation calque de l'anglais

Anglais

tokenization

• Source: Wikipédia - Glossaire de l'exploration des données

• Source: Wikipédia, Analyse lexicale.