« Analyse lexicale » : différence entre les versions
m (Remplacement de texte — « ==Définition== » par « ==Définition== ») |
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[fouille de texte]]''', l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (''tokens'' en anglais) et l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (''tokenizer'' ou ''lexer''). | En '''[[fouille de texte]]''', l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (''tokens'' en anglais) et l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (''tokenizer'' ou ''lexer''). | ||
| Ligne 13 : | Ligne 11 : | ||
==Anglais== | ==Anglais== | ||
'''tokenization ''' | '''tokenization ''' | ||
| Ligne 22 : | Ligne 18 : | ||
[https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipedia, ''Analyse lexicale'']. | [https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipedia, ''Analyse lexicale'']. | ||
[[Catégorie:Exploration de données]] | |||
[[Catégorie:Wikipedia-données]] | |||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
Version du 3 mai 2020 à 09:20
Définition
En fouille de texte, l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais) et l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (tokenizer ou lexer).
Français
analyse lexicale loc. nom. fém.
segmentation nom fém.
Anglais
tokenization
Contributeurs: Claude Coulombe, Jacques Barolet, wiki
