« Segmenteur » : différence entre les versions

Version du 30 avril 2024 à 14:40

En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

L'unité qui en résulte se nomme segment.

segmenteur

découpeur

tokenizer

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de morceaux de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
+En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
 ==Compléments==
-On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera les vocables '''mot''', '''morceau de mots''', '''partie de mot''' ou '''symbole''' pour le résultat de la segmentation de texte.
+L'unité qui en résulte se nomme [[Segment|segment]].
 ==Français==
@@ Ligne 18 : / Ligne 19 : @@
 [[Catégorie:GRAND LEXIQUE FRANÇAIS]]
+[[Catégorie:Publication]]