« Segmenteur » : différence entre les versions

Dernière version du 2 mai 2024 à 09:28

Définition

En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de segments ou de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

voir aussi : segment

Compléments

L'unité qui en résulte se nomme segment.

En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte.

Français

segmenteur

découpeur

Anglais

tokenizer

Sources

Termium.

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de morceaux de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
+En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de segments ou de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
+voir aussi :  '''[[segment]]'''
 ==Compléments==
-On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera les vocables '''mot''', '''morceau de mots''', '''partie de mot''' ou '''symbole''' pour le résultat de la segmentation de texte.
+L'unité qui en résulte se nomme [[Segment|segment]].
+En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte.
 ==Français==
@@ Ligne 18 : / Ligne 23 : @@
 [[Catégorie:GRAND LEXIQUE FRANÇAIS]]
-[[Catégorie:publication]]