« Analyse lexicale » : différence entre les versions

Dernière version du 11 février 2024 à 22:29

Définition

En traitement automatique de la langue naturelle, l’analyse lexicale débute par la segmentation qui convertit un texte en une liste de mots, de parties de mots ou symboles (tokens en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots.

Compléments

En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (en anglais, tokenizer, lexical analyser ou lexer).

La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, subword).

Français

analyse lexicale

Anglais

lexical analysis

Sources

Source: Wikipedia - Glossaire de l'exploration des données

Source: Wikipedia, Analyse lexicale.

@@ Ligne 1 : / Ligne 1 : @@
-== en construction ==
+==Définition==
-[[Catégorie:Vocabulaire]]
+En '''[[traitement automatique de la langue naturelle]]''', l’analyse lexicale débute par la '''[[segmentation]]''' qui convertit un texte en une liste de mots, de parties de mots ou symboles (''tokens'' en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots.
-[[Catégorie:Exploration de données‏‎]]
-[[Catégorie:Wikipedia‏‎-données]]
-[[Catégorie:Scotty]]
-== Définition ==
+==Compléments==
-Analyse lexicale (« tokenization ») :
+En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (en anglais, ''tokenizer'', ''lexical analyser'' ou ''lexer'').
+<hr/>
+La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, '''subword''').
+==Français==
+'''analyse lexicale'''
-En informatique, l’[[analyse lexicale]], lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer1 ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte.
+==Anglais==
+'''lexical analysis'''
+==Sources==
-En fouille de texte (entre autres domaines) , l'analyse lexicale est a conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais).
+[https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es Source: Wikipedia - ''Glossaire de l'exploration des données'']
+[https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipedia, ''Analyse lexicale''].
-la décomposition de textes en mots appelés tokens, et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots5.
+[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
-En fouille de texte (entre autres domaines) , l'analyse lexicale est la décomposition de textes en mots appelés tokens, et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots.
-== Français ==
-'''Analyse lexicale'''
-== Anglais ==
-'''tokenization  '''
-<small>
-[https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es  Source : Wikipedia - glossaire de l'exploration des données ]