« Segmenteur » : différence entre les versions

Version du 30 avril 2024 à 14:38

Définition

En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

Compléments

On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité. On emploiera les vocables mot, morceau de mots, partie de mot ou symbole pour le résultat de la segmentation de texte.

Français

segmenteur

découpeur

Anglais

tokenizer

Sources

Termium.

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de morceaux de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
+En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
 ==Compléments==
@@ Ligne 18 : / Ligne 18 : @@
 [[Catégorie:GRAND LEXIQUE FRANÇAIS]]
+[[Catégorie:Publication]]