Segmentation

Définition

En traitement automatique de la langue naturelle, la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. On appelle parfois ces unités des jetons (en anglais, tokens). Typiquement, il s'agit de la première étape de l’analyse lexicale.

Français

segmentation

tokenisation calque de l'anglais

Anglais

tokenization

• Source: Wikipedia - Glossaire de l'exploration des données

• Source: Wikipedia, Analyse lexicale.