« Segmenteur » : différence entre les versions
(Page créée avec « ==Définition== En '''traitement automatique de la langue naturelle''', le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de morceaux de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale. ==Compléments== On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plut... ») |
m (Claude COULOMBE a déplacé la page Tokenizer vers Segmenteur) |
(Aucune différence)
| |
Version du 14 mars 2024 à 05:22
Définition
En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de morceaux de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Compléments
On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité. On emploiera les vocables mot, morceau de mots, partie de mot ou symbole pour le résultat de la segmentation de texte.
Français
segmenteur
découpeur
Anglais
tokenizer
Sources
Contributeurs: Claude Coulombe, wiki
