« Segment » : différence entre les versions

Version du 30 avril 2024 à 14:56

Définition

En traitement automatique de la langue naturelle, le segment est l'unité de base pour l'analyse de textes produite par un segmenteur (en anglais tokenizer).

Compléments

Un segment peut correspondre à un mot, à une partie de mot (ou symbole) ou encore une suite de caractères.

Traditionnellement, en TALN, les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexicale est d'éviter les mots hors-vocabulaire, puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux.

On appelle aussi les unités résultant de la segmentation des jetons, mais le terme jeton est plutôt réservé à la cybersécurité et les réseaux de communication.

Français

segment

symbole

unité sous-lexicale

unité lexicale

partie de mot

Anglais

tokenizer

Sources

Termium.

Wikipedia - Analyse lexicale

A unified multilingual handwriting recognition system using multigrams sub-lexical units, Swaileh et al. 2019

Overview of Character-Based Models for Natural Language Processing, Adel et al. 2018

Wikipedia - Lexical Analysis

@@ Ligne 5 : / Ligne 5 : @@
 Un segment peut correspondre à un mot, à une partie de mot (ou symbole) ou encore une suite de caractères.
-On appelle aussi les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est plutôt réservé à la cybersécurité.
+Traditionnellement, en [[Traitement automatique de la langue naturelle|TALN]], les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexicale est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux.
 <hr/>
-Traditionnellement, en [[Traitement automatique de la langue naturelle|TALN]], les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexicale est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux.
+On appelle aussi les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est plutôt réservé à la cybersécurité et les réseaux de communication.
 ==Français==
@@ Ligne 27 : / Ligne 27 : @@
 ==Sources==
-[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs Termium].
+[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs ''Termium''].
+[https://fr.wikipedia.org/wiki/Analyse_lexicale  Wikipedia - ''Analyse lexicale'']
+[https://www.sciencedirect.com/science/article/pii/S0167865518303271 ''A unified multilingual handwriting recognition system using multigrams sub-lexical units'', Swaileh et al. 2019]
+[https://link.springer.com/chapter/10.1007/978-3-319-77113-7_1, ''Overview of Character-Based Models for Natural Language Processing'', Adel et al. 2018]
+[https://en.wikipedia.org/wiki/Lexical_analysis  Wikipedia - Lexical Analysis]
 [[Catégorie:Publication]]