« Segmenteur » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
(2 versions intermédiaires par le même utilisateur non affichées) | |||
Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de | En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]]. | ||
==Compléments== | ==Compléments== | ||
L'unité qui en résulte se nomme [[Segment|segment]]. | |||
==Français== | ==Français== | ||
Ligne 18 : | Ligne 19 : | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
[[Catégorie:Publication]] |
Version du 30 avril 2024 à 14:40
Définition
En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Compléments
L'unité qui en résulte se nomme segment.
Français
segmenteur
découpeur
Anglais
tokenizer
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki