« Analyse lexicale » : différence entre les versions

Version du 14 juillet 2023 à 01:35

Définition

En traitement automatique de la langue naturelle, l’analyse lexicale débute par la segmentation qui convertit un texte en une liste de mots ou symboles (tokens en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots.

Compléments

En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (en anglais, tokenizer, lexical analyser ou lexer).

Français

analyse lexicale

Anglais

lexical analysis

Source: Wikipedia - Glossaire de l'exploration des données

Source: Wikipedia, Analyse lexicale.

@@ Ligne 3 : / Ligne 3 : @@
 En '''[[traitement automatique de la langue naturelle]]''', l’analyse lexicale débute par la [[segmentation]] qui convertit un texte en une liste de mots ou symboles (''tokens'' en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots.
+==Compléments==
 En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (en anglais, ''tokenizer'', ''lexical analyser'' ou ''lexer'').