« Segment » : différence entre les versions
Aucun résumé des modifications |
|||
| (Une version intermédiaire par le même utilisateur non affichée) | |||
| Ligne 5 : | Ligne 5 : | ||
Un segment peut correspondre à un mot, à une partie de mot (ou symbole) ou encore une suite de caractères. | Un segment peut correspondre à un mot, à une partie de mot (ou symbole) ou encore une suite de caractères. | ||
Traditionnellement, en [[Traitement automatique de la langue naturelle|TALN]], les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous- | Traditionnellement, en [[Traitement automatique de la langue naturelle|TALN]], les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux. | ||
<hr/> | <hr/> | ||
| Ligne 27 : | Ligne 27 : | ||
==Sources== | ==Sources== | ||
[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs ''Termium''] | [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs ''Termium - Tokenizer''] | ||
[https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale''] | [https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale''] | ||
Version du 30 avril 2024 à 15:02
Définition
En traitement automatique de la langue naturelle, le segment est l'unité de base pour l'analyse de textes produite par un segmenteur (en anglais tokenizer).
Compléments
Un segment peut correspondre à un mot, à une partie de mot (ou symbole) ou encore une suite de caractères.
Traditionnellement, en TALN, les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots hors-vocabulaire, puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux.
On appelle aussi les unités résultant de la segmentation des jetons, mais le terme jeton est plutôt réservé à la cybersécurité et les réseaux de communication.
Français
segment
symbole
unité sous-lexicale
unité lexicale
partie de mot
Anglais
tokenizer
Sources
Overview of Character-Based Models for Natural Language Processing, Adel et al. 2018
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
