« Segmentation » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[traitement automatique de la langue naturelle]]''', la segmentation est la division d’une chaîne de caractères (un texte) en une liste mots, de symboles, ou parfois même de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]]. | En '''[[traitement automatique de la langue naturelle]]''', la segmentation est la division d’une chaîne de caractères (un texte) en une liste de mots, de symboles, ou parfois même de caractères. Typiquement, il s'agit de la première étape de l’[[analyse lexicale]]. | ||
==Compléments== | ==Compléments== | ||
On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera le mot symbole pour la segmentation de texte. | On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. On emploiera le mot symbole pour la segmentation de texte. | ||
<hr/> | <hr/> | ||
Attention! On utilise également le terme segmentation pour la division d'un texte en phrases | Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ». | ||
==Français== | ==Français== | ||
| Ligne 24 : | Ligne 24 : | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
[[Catégorie:Publication]] | |||
Version du 22 décembre 2023 à 02:59
Définition
En traitement automatique de la langue naturelle, la segmentation est la division d’une chaîne de caractères (un texte) en une liste de mots, de symboles, ou parfois même de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Compléments
On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité. On emploiera le mot symbole pour la segmentation de texte.
Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ».
Français
segmentation
tokenisation calque de l'anglais
Anglais
tokenization
Contributeurs: Claude Coulombe, wiki
