« Segmentation » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[traitement automatique de la langue naturelle]]''', la segmentation est la division d’une chaîne de caractères (un texte) en une liste de symboles (''tokens'' | En '''[[traitement automatique de la langue naturelle]]''', la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. On appelle parfois ces unités des jetons (en anglais, ''tokens''). Typiquement, il s'agit de la première étape de l’[[analyse lexicale]]. | ||
==Français== | ==Français== | ||
Version du 14 juillet 2023 à 01:51
Définition
En traitement automatique de la langue naturelle, la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. On appelle parfois ces unités des jetons (en anglais, tokens). Typiquement, il s'agit de la première étape de l’analyse lexicale.
Français
segmentation
tokenisation calque de l'anglais
Anglais
tokenization
Contributeurs: Claude Coulombe, wiki
