« Vecteur sémantique compact » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 6 : Ligne 6 :
Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte.  
Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte.  


Typiquement, on crée un vecteur contextuel dense avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.  
Typiquement, on crée une représentation contextuelle compressée avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.  


==Compléments==
==Compléments==


L'algorithme de création d'une représentation par un vecteur contextuel dense procède par approximation pour passer d'une représentation discrete qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle dense (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme « vecteur contextuel dense » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones.
L'algorithme de création d'une représentation contextuelle compressée procède par approximation pour passer d'une représentation discrete qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compressée (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme « représentation contextuelle compressée » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones.
<hr/>
<hr/>
Attention! La notion mathématique de plongement, bien que proche, ne couvre pas l'ensemble des concepts comme la notion de contexte ou voisinage. Aussi le plongement s'apparente davantage à une opération de sous-ensemble qu'à un résultat obtenu par approximation. À discuter...   
Attention! La notion mathématique de plongement, bien que proche, ne couvre pas l'ensemble des concepts comme la notion de contexte ou voisinage. Aussi le plongement s'apparente davantage à une opération de création d'un sous-ensemble qu'à un résultat obtenu par approximation. À discuter...   
<hr/>
<hr/>
La modélisation par vecteur contextuel dense, bien que souvent appliquée aux mots, [[vecteur-mot]] (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation vectorielle contextuelle dense peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.   
La modélisation par représentation contextuelle compressée, bien que souvent appliquée aux mots, [[vecteur-mot]] (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation contextuelle compressée peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.   
<hr/>
<hr/>
Une représentation vectorielle contextuelle dense peut également être « utilisée » comme représentation latente.  
Une représentation contextuelle compressée dense peut également être « utilisée » comme représentation latente. À discuter...
<hr/>
<hr/>
On distingue trois principaux usages des vecteurs contextuels denses:
On distingue trois principaux usages des représentations contextuelles compressées:


*identifier les plus proches voisins d'un objet ou d'un concept;
*identifier les plus proches voisins d'un objet ou d'un concept;
Ligne 25 : Ligne 25 :


==Français==
==Français==
'''représentation contextuelle compressée''' 
'''représentation vectorielle dense'''


'''vecteur contextuel dense'''
'''vecteur contextuel dense'''


'''vecteur contextuel'''
'''vecteur contextuel'''
'''représentation vectorielle dense''' 


'''plongement vectoriel'''   
'''plongement vectoriel'''   

Version du 3 août 2023 à 03:27

Définition

Représentation résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle et de son contexte à une représentation vectorielle contextuelle dense (c.-à-d. de plus faible dimension) et continue (c.-à-d. des nombres réels).

Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches dans l'espace vectoriel où sont définis ces vecteurs.

Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte.

Typiquement, on crée une représentation contextuelle compressée avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.

Compléments

L'algorithme de création d'une représentation contextuelle compressée procède par approximation pour passer d'une représentation discrete qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compressée (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme « représentation contextuelle compressée » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones.


Attention! La notion mathématique de plongement, bien que proche, ne couvre pas l'ensemble des concepts comme la notion de contexte ou voisinage. Aussi le plongement s'apparente davantage à une opération de création d'un sous-ensemble qu'à un résultat obtenu par approximation. À discuter...


La modélisation par représentation contextuelle compressée, bien que souvent appliquée aux mots, vecteur-mot (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation contextuelle compressée peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.


Une représentation contextuelle compressée dense peut également être « utilisée » comme représentation latente. À discuter...


On distingue trois principaux usages des représentations contextuelles compressées:

  • identifier les plus proches voisins d'un objet ou d'un concept;
  • enrichir l'entrée de données d'un algorithme;
  • visualiser des objets ou des concepts et leurs relations.

Français

représentation contextuelle compressée

représentation vectorielle dense

vecteur contextuel dense

vecteur contextuel

plongement vectoriel

plongement neuronal

Anglais

embedding

neural embedding

Source: Géron, Aurélien (2017) Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets, Paris, Dunod, 256 pages.

Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.

Source: Google, Glossaire du machine learning.