« Segmentation » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 6 : Ligne 6 :
'''segmentation'''
'''segmentation'''


'''tokénisation''' <small>calque de l'anglais</small>
'''tokenisation''' <small>calque de l'anglais</small>





Version du 14 juillet 2023 à 00:40

Définition

En traitement automatique de la langue naturelle, la segmentation est la division d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais), mots ou caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

Français

segmentation

tokenisation calque de l'anglais


Anglais

tokenization