« Analyse lexicale » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
[[Catégorie:Vocabulaire]] | [[Catégorie:Vocabulaire]] | ||
| Ligne 7 : | Ligne 6 : | ||
[[Catégorie:9]] | [[Catégorie:9]] | ||
== Définition == | ==Définition== | ||
En informatique, l’[[analyse lexicale]], ou segmentation, la conversion d’une chaîne de caractères (un texte) en une liste de symboles (''tokens'' en anglais). et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical. tokenizer1 ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte. | En informatique, l’[[analyse lexicale]], ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (''tokens'' en anglais). et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical. tokenizer1 ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte. | ||
| Ligne 16 : | Ligne 15 : | ||
En fouille de texte (entre autres domaines) , l'analyse lexicale est la décomposition de textes en mots appelés tokens, | En fouille de texte (entre autres domaines) , l'analyse lexicale est la décomposition de textes en mots appelés tokens, | ||
== Français == | ==Français== | ||
'''Analyse lexicale''' | '''Analyse lexicale''' | ||
== Anglais == | ==Anglais== | ||
'''tokenization ''' | '''tokenization ''' | ||
| Ligne 27 : | Ligne 26 : | ||
<small> | <small> | ||
[https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es | [https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es Source : Wikipedia - glossaire de l'exploration des données] | ||
Version du 23 décembre 2019 à 13:15
Définition
En informatique, l’analyse lexicale, ou segmentation, est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots. Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical. tokenizer1 ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte.
la décomposition de textes en mots appelés tokens, et l'étude des phénomènes (statistique, morphologiques) relatifs à ces mots5.
En fouille de texte (entre autres domaines) , l'analyse lexicale est la décomposition de textes en mots appelés tokens,
Français
Analyse lexicale
Anglais
tokenization
Contributeurs: Claude Coulombe, Jacques Barolet, wiki
