« Analyse lexicale » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications |
||
| Ligne 10 : | Ligne 10 : | ||
==Français== | ==Français== | ||
''' | '''analyse lexicale''' <small>loc. nom. fém. </small> | ||
'''segmentation''' <small>n.f.</small> | |||
==Anglais== | ==Anglais== | ||
'''tokenization ''' | '''tokenization ''' | ||
| Ligne 21 : | Ligne 23 : | ||
[https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es Source: Wikipedia - ''Glossaire de l'exploration des données''] | [https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es Source: Wikipedia - ''Glossaire de l'exploration des données''] | ||
[https://fr.wikipedia.org/wiki/Analyse_lexicale | [https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipedia, ''Analyse lexicale'']. | ||
Version du 23 décembre 2019 à 14:31
Définition
En fouille de texte, l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais) et l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (tokenizer ou lexer).
Français
analyse lexicale loc. nom. fém.
segmentation n.f.
Anglais
tokenization
Contributeurs: Claude Coulombe, Jacques Barolet, wiki
