Vecteur contextuel compact

Définition

Modèle résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle à une nouvelle représentation vectorielle continue (i.e. des nombres réels) et dense où les objets similaires possèdent des vecteurs correspondants qui sont proches dans l'espace vectoriel où sont définis ces vecteurs.

Il s'agit d'une représentation distribuée qui tente de décrire le sens d'un objet en considérant ses relations avec d'autres objets de son contexte.

Typiquement, on crée un représentation vectorielle continue avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et éloigner les objets différents.

Compléments

L'algorithme de création d'une représentation vectorielle continue procède par approximation pour passer d'une représentation discrete vers une représentation dense, continue (i.e. vecteur de nombres réels) et de plus faible dimension. D'où la proposition du terme « vectorisation dense », « vectodensification » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones.

La modélisation vectorielle, bien que souvent appliquée aux mots, vecteur-mot (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation vectorielle continue s'applique également à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.

Une représentation vectorielle dense et continue peut également être considérée comme une représentation latente.

On distingue trois principaux usages des plongements:

identifier les plus proches voisins d'un objet ou d'une concept;
enrichir l'entrée de données d'un algorithme;
visualiser des objets ou des concepts et leurs relations.

Français

représentation vectorielle dense et continue

représentation vectorielle dense

plongement vectoriel

plongement neuronal

vectorisation dense

Anglais

embedding

neural embedding

Source: Géron, Aurélien (2017) Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets, Paris, Dunod, 256 pages.

Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.

Source: Google, Glossaire du machine learning.