« Segmentation » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (3 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[traitement automatique de la langue naturelle]]''', la segmentation est le découpage d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]]. | En '''[[traitement automatique de la langue naturelle]]''', la segmentation est le découpage d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]]. | ||
Pour la segmentation d'image, voir l'entrée [[segmentation d'image]]. | |||
==Compléments== | ==Compléments== | ||
On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera | On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera les vocables '''mot''', '''partie de mots''', '''morceau de mot''', ou '''symbole''' pour la segmentation de texte. | ||
<hr/> | <hr/> | ||
Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ». | Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ». | ||
<hr/> | <hr/> | ||
La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, ''' | La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en '''parties de mots''', '''morceaux de mots''', ou symboles (en anglais, '''subwords'''). | ||
==Français== | ==Français== | ||
| Ligne 24 : | Ligne 26 : | ||
[https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipédia, ''Analyse lexicale'']. | [https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipédia, ''Analyse lexicale'']. | ||
[https://towardsdatascience.com/the-art-of-tokenization-breaking-down-text-for-ai-43c7bccaed25 Source : towardsdatascience ] | |||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 30 septembre 2024 à 09:33
Définition
En traitement automatique de la langue naturelle, la segmentation est le découpage d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Pour la segmentation d'image, voir l'entrée segmentation d'image.
Compléments
On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité. On emploiera les vocables mot, partie de mots, morceau de mot, ou symbole pour la segmentation de texte.
Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ».
La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots, morceaux de mots, ou symboles (en anglais, subwords).
Français
segmentation
découpage
tokénisation calque de l'anglais
Anglais
tokenization
Sources
Source: Wikipédia - Glossaire de l'exploration des données
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
