Analyse lexicale

Définition

En fouille de texte, l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais) et l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (tokenizer ou lexer).

Français

analyse lexicale

segmentation

Anglais

tokenization

• Source: Wikipedia - Glossaire de l'exploration des données

• Source: Wikipedia, Analyse lexicale.