« Représentation sémantique compacte » : différence entre les versions
m (Claude COULOMBE a déplacé la page Représentation vectorielle dense et continue vers Vecteur dense contextuel) |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Modèle résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle à une | Modèle résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle et de son contexte à une représentation vectorielle dense (i.e. de plus faible dimension) et continue (i.e. des nombres réels). | ||
Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches dans l'espace vectoriel où sont définis ces vecteurs. | |||
Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte. | Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte. | ||
Typiquement, on crée un | Typiquement, on crée un vecteur dense contextuel avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents. | ||
==Compléments== | ==Compléments== | ||
L'algorithme de création d'une représentation | L'algorithme de création d'une représentation par un vecteur dense contextuel procède par approximation pour passer d'une représentation discrete vers une représentation dense (i.e. de plus faible dimension) et continue (i.e. vecteur de nombres réels). D'où la proposition du terme « « dense », « vecteur dense contextuel » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones. | ||
<hr/> | <hr/> | ||
La modélisation | La modélisation par vecteur dense contextuel, bien que souvent appliquée aux mots, [[vecteur-mot]] (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation vectorielle continue s'applique également à d'autres représentations catégorielles comme les différentes marchandises dans un magasin. | ||
<hr/> | <hr/> | ||
Une représentation vectorielle dense et | Une représentation vectorielle dense et contextuelle peut également être considérée comme une représentation latente. | ||
<hr/> | <hr/> | ||
On distingue trois principaux usages des | On distingue trois principaux usages des vecteurs denses contextuels: | ||
*identifier les plus proches voisins d'un objet ou d'une concept; | *identifier les plus proches voisins d'un objet ou d'une concept; | ||
| Ligne 22 : | Ligne 24 : | ||
==Français== | ==Français== | ||
''' | |||
'''vecteur dense contextuel''' | |||
'''représentation vectorielle dense''' | '''représentation vectorielle dense''' | ||
| Ligne 29 : | Ligne 32 : | ||
'''plongement neuronal''' | '''plongement neuronal''' | ||
==Anglais== | ==Anglais== | ||
Version du 8 décembre 2022 à 13:35
Définition
Modèle résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle et de son contexte à une représentation vectorielle dense (i.e. de plus faible dimension) et continue (i.e. des nombres réels).
Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches dans l'espace vectoriel où sont définis ces vecteurs.
Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte.
Typiquement, on crée un vecteur dense contextuel avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.
Compléments
L'algorithme de création d'une représentation par un vecteur dense contextuel procède par approximation pour passer d'une représentation discrete vers une représentation dense (i.e. de plus faible dimension) et continue (i.e. vecteur de nombres réels). D'où la proposition du terme « « dense », « vecteur dense contextuel » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones.
La modélisation par vecteur dense contextuel, bien que souvent appliquée aux mots, vecteur-mot (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation vectorielle continue s'applique également à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.
Une représentation vectorielle dense et contextuelle peut également être considérée comme une représentation latente.
On distingue trois principaux usages des vecteurs denses contextuels:
- identifier les plus proches voisins d'un objet ou d'une concept;
- enrichir l'entrée de données d'un algorithme;
- visualiser des objets ou des concepts et leurs relations.
Français
vecteur dense contextuel
représentation vectorielle dense
plongement vectoriel
plongement neuronal
Anglais
embedding
neural embedding
Source: Géron, Aurélien (2017) Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets, Paris, Dunod, 256 pages.
Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
