« Analyse lexicale » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[traitement automatique de la langue naturelle]]''', l’analyse lexicale débute par la '''[[segmentation]]''' qui convertit un texte en une liste de mots ou symboles (''tokens'' en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. | En '''[[traitement automatique de la langue naturelle]]''', l’analyse lexicale débute par la '''[[segmentation]]''' qui convertit un texte en une liste de mots, de parties de mots ou symboles (''tokens'' en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. | ||
==Compléments== | ==Compléments== | ||
En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (en anglais, ''tokenizer'', ''lexical analyser'' ou ''lexer''). | En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (en anglais, ''tokenizer'', ''lexical analyser'' ou ''lexer''). | ||
<hr/> | |||
La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, '''subword'''). | |||
==Français== | ==Français== | ||
'''analyse lexicale''' | '''analyse lexicale''' | ||
| Ligne 20 : | Ligne 21 : | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
[[Catégorie:Publication]] | |||
Version du 2 janvier 2024 à 17:32
Définition
En traitement automatique de la langue naturelle, l’analyse lexicale débute par la segmentation qui convertit un texte en une liste de mots, de parties de mots ou symboles (tokens en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots.
Compléments
En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (en anglais, tokenizer, lexical analyser ou lexer).
La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, subword).
Français
analyse lexicale
Anglais
lexical analysis
Contributeurs: Claude Coulombe, Jacques Barolet, wiki
