Analyse lexicale

Définition

Analyse lexicale (« tokenization ») :

En informatique, l’analyse lexicale, lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer1 ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte.

En fouille de texte (entre autres domaines) , l'analyse lexicale est a conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais).

la décomposition de textes en mots appelés tokens, et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots5.

En fouille de texte (entre autres domaines) , l'analyse lexicale est la décomposition de textes en mots appelés tokens, et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots.

Français

Analyse lexicale

Anglais

tokenization

Source : Wikipedia - glossaire de l'exploration des données