« Segmentation » : différence entre les versions

Version du 14 mars 2024 à 05:23

Définition

En traitement automatique de la langue naturelle, la segmentation est le découpage d’un texte en une liste de mots, une liste de parties de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

Compléments

On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité. On emploiera les vocables mot, partie de mots, morceau de mot, ou symbole pour la segmentation de texte.

Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ».

La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, subword).

Français

segmentation

découpage

tokénisation calque de l'anglais

Anglais

tokenization

Sources

Source: Wikipédia - Glossaire de l'exploration des données

Source: Wikipédia, Analyse lexicale.

@@ Ligne 3 : / Ligne 3 : @@
 ==Compléments==
-On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera le vocable '''mot''', '''partie de mots''', '''morceau de mot''', ou '''symbole''' pour la segmentation de texte.
+On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera les vocables '''mot''', '''partie de mots''', '''morceau de mot''', ou '''symbole''' pour la segmentation de texte.
 <hr/>
 Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ».