« Segmentation » : différence entre les versions

Version du 14 juillet 2023 à 01:56

Définition

En traitement automatique de la langue naturelle, la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

Compléments

On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité.

Français

segmentation

tokenisation calque de l'anglais

Anglais

tokenization

Source: Wikipedia - Glossaire de l'exploration des données

Source: Wikipedia, Analyse lexicale.

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-En '''[[traitement automatique de la langue naturelle]]''', la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. On appelle parfois ces unités des jetons (en anglais, ''tokens''). Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
+En '''[[traitement automatique de la langue naturelle]]''', la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]].
+==Compléments==
+On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité.
 ==Français==