« Représentation sémantique compacte » : différence entre les versions

Dernière version du 12 novembre 2024 à 15:24

Définition

En apprentissage profond, une représentation sémantique compace (en anglais, embedding) fait référence à une représentation sémantique vectorielle dense et de faible dimension d’un objet de dimension supérieure.

Cette représentation résulte de l'application d'un algorithme qui permet de passer d'une représentation en haute dimension et habituellement de son contexte à une représentation vectorielle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. des nombres réels).

Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches selon une distance (ou métrique) dans l'espace vectoriel où sont définis ces objets. Il s'agit donc d'une représentation distribuée qui décrit la « sémantique » d'un objet en considérant ses relations avec d'autres objets de son contexte.

Typiquement, on crée une représentation sémantique compacte avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.

Voir aussi: vecteur contextuel

Compléments

La représentation sémantique compacte est basée sur l’hypothèse distributionnelle de [Harris 1954], [Firth 1957]. Elle repose sur l'idée que le sens d'un mot est déterminé par son contexte d'utilisation. En d'autres termes, la signification d'un mot est intrinsèquement liée aux autres mots avec lesquels il a tendance à apparaître dans un corpus linguistique. Plus la distribution statistique des contextes de deux mots est différente, plus leur sens tend à différer. Réciproquement les mots sémantiquement proches partagent un plus grand nombre de contextes.

L'algorithme de création d'une représentation sémantique compacte procède par approximation pour passer d'une représentation discrète qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme équivalent « vecteur contextuel compact » ou encore « représentation contextuelle compacte ». À discuter...

Attention! En français, on retrouve souvent le terme « plongement neuronal ». La notion mathématique de plongement, bien que proche, car elle implique une réduction de la dimension de la représentation, ne couvre pas l'ensemble des concepts sous-jacents. Par exemple, la notion de contexte ou voisinage. Aussi le plongement est davantage assimilée à une opération de création d'un sous-ensemble qu'à une opération de réduction de la dimension obtenue par approximation. À discuter...

La modélisation par vecteur sémantique compact, bien que souvent appliquée aux mots, vecteur-mot (word embedding), ne se limite pas à des mots et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation par vecteur contextuel compact peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.

Un vecteur sémantique compact peut également être « utilisée » comme représentation latente. À discuter...

On distingue trois principaux usages des vecteurs sémantiques compacts:

identifier les plus proches voisins d'un objet ou d'un concept;
enrichir l'entrée de données d'un algorithme d'apprentissage;
visualiser des objets ou des concepts et leurs relations.

Français

représentation sémantique compacte

représentation contextuelle compacte

vecteur sémantique compact

vecteur contextuel compact

plongement neuronal

plongement

représentation vectorielle compacte

vecteur contextuel

vecteur sémantique

Anglais

embedding

neural embedding

compact semantic vector

Sources

Source: Géron, Aurélien (2017) Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets, Paris, Dunod, 256 pages.

Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.

Source: Google, Glossaire du machine learning.

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-Représentation résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle et de son contexte à une représentation vectorielle contextuelle compressée (c.-à-d. de plus faible dimension) et continue (c.-à-d. des nombres réels).
+En [[apprentissage profond]], une représentation sémantique compace (en anglais, embedding) fait référence à une représentation sémantique vectorielle dense et de faible dimension d’un objet de dimension supérieure.
-Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches dans l'espace vectoriel où sont définis ces vecteurs.
+Cette représentation résulte de l'application d'un algorithme qui permet de passer d'une représentation en haute dimension et habituellement de son contexte à une représentation vectorielle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. des nombres réels).
-Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte.
+Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches selon une distance (ou métrique) dans l'espace vectoriel où sont définis ces objets. Il s'agit donc d'une représentation distribuée qui décrit la « sémantique » d'un objet en considérant ses relations avec d'autres objets de son contexte.
-Typiquement, on crée une représentation contextuelle compressée avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.
+Typiquement, on crée une représentation sémantique compacte avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.
+Voir aussi: [[vecteur contextuel]]
 ==Compléments==
-L'algorithme de création d'une représentation contextuelle compressée procède par approximation pour passer d'une représentation discrete qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compressée (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme « représentation contextuelle compressée » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones.
+La représentation sémantique compacte est basée sur l’hypothèse distributionnelle de [Harris 1954], [Firth 1957]. Elle repose sur l'idée que le sens d'un mot est déterminé par son contexte d'utilisation. En d'autres termes, la signification d'un mot est intrinsèquement liée aux autres mots avec lesquels il a tendance à apparaître dans un corpus linguistique. Plus la distribution statistique des contextes de deux mots est différente, plus leur sens tend à différer. Réciproquement les mots sémantiquement proches partagent un plus grand nombre de contextes.
 <hr/>
-Attention! La notion mathématique de plongement, bien que proche, ne couvre pas l'ensemble des concepts sous-jacents à la notion d'« embedding ». Par exemple, la notion de contexte ou voisinage. Aussi le plongement s'apparente davantage à une opération de création d'un sous-ensemble qu'à un résultat obtenu par approximation. À discuter...
+L'algorithme de création d'une représentation sémantique compacte procède par approximation pour passer d'une représentation discrète qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme équivalent « vecteur contextuel compact » ou encore « représentation contextuelle compacte ». À discuter...
 <hr/>
-La modélisation par représentation contextuelle compressée, bien que souvent appliquée aux mots, [[vecteur-mot]] (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation contextuelle compressée peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.
+Attention! En français, on retrouve souvent le terme « plongement neuronal ». La notion mathématique de plongement, bien que proche, car elle implique une réduction de la dimension de la représentation, ne couvre pas l'ensemble des concepts sous-jacents. Par exemple, la notion de contexte ou voisinage. Aussi le plongement est davantage assimilée à une opération de création d'un sous-ensemble qu'à une opération de réduction de la dimension obtenue par approximation. À discuter...
 <hr/>
-Une représentation contextuelle compressée dense peut également être « utilisée » comme représentation latente. À discuter...
+La modélisation par vecteur sémantique compact, bien que souvent appliquée aux mots, [[vecteur-mot]] (word embedding), ne se limite pas à des mots et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation par vecteur contextuel compact peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.
 <hr/>
-On distingue trois principaux usages des représentations contextuelles compressées:
+Un vecteur sémantique compact peut également être « utilisée » comme représentation latente. À discuter...
+<hr/>
+On distingue trois principaux usages des vecteurs sémantiques compacts:
 *identifier les plus proches voisins d'un objet ou d'un concept;
-*enrichir l'entrée de données d'un algorithme;
+*enrichir l'entrée de données d'un algorithme d'apprentissage;
 *visualiser des objets ou des concepts et leurs relations.
 ==Français==
-'''représentation contextuelle compressée'''
+'''représentation sémantique compacte'''
+'''représentation contextuelle compacte'''
+'''vecteur sémantique compact'''
-'''représentation vectorielle dense'''
+'''vecteur contextuel compact'''
-'''vecteur contextuel dense'''
+'''plongement neuronal'''
-'''vecteur contextuel'''
+'''plongement'''
-'''plongement vectoriel'''
+'''représentation vectorielle compacte'''
-'''plongement neuronal'''
+'''vecteur contextuel'''
+'''vecteur sémantique'''
 ==Anglais==
@@ Ligne 43 : / Ligne 53 : @@
 '''neural embedding'''
-<small>
+'''compact semantic vector'''
+==Sources==
 Source: Géron, Aurélien (2017) ''Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets'', Paris, Dunod, 256 pages.
@@ Ligne 51 : / Ligne 63 : @@
 [https://developers.google.com/machine-learning/crash-course/glossary Source: ''Google, Glossaire du machine learning''.]
-[[Category:Intelligence artificielle]]
+[[Catégorie:Intelligence artificielle]]
-[[Category:Apprentissage profond]]
+[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
-[[Category:Termino 2019]]
+[[Catégorie:101]]
-[[Category:GRAND LEXIQUE FRANÇAIS]]

« Représentation sémantique compacte » : différence entre les versions