« Analyse lexicale » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[ | En '''[[traitement automatique de la langue naturelle]]''', l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (''tokens'' en anglais) et l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (''tokenizer'' ou ''lexer''). | ||
==Français== | ==Français== | ||
Version du 14 juillet 2023 à 00:18
Définition
En traitement automatique de la langue naturelle, l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais) et l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (tokenizer ou lexer).
Français
analyse lexicale
segmentation
Anglais
tokenization
Contributeurs: Claude Coulombe, Jacques Barolet, wiki
