« Représentation sémantique compacte » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Représentation résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle et de son contexte à une représentation vectorielle contextuelle | Représentation résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle et de son contexte à une représentation vectorielle contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. des nombres réels). | ||
Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches selon une distance (ou métrique) dans l'espace vectoriel où sont définis ces objets. | Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches selon une distance (ou métrique) dans l'espace vectoriel où sont définis ces objets. | ||
| Ligne 6 : | Ligne 6 : | ||
Il s'agit d'une représentation distribuée qui tente de décrire la « sémantique » d'un objet en considérant ses relations avec d'autres objets de son contexte. | Il s'agit d'une représentation distribuée qui tente de décrire la « sémantique » d'un objet en considérant ses relations avec d'autres objets de son contexte. | ||
Typiquement, on crée une représentation contextuelle | Typiquement, on crée une représentation contextuelle compacte avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents. | ||
==Compléments== | ==Compléments== | ||
L'algorithme de création d'une représentation contextuelle | L'algorithme de création d'une représentation contextuelle compacte procède par approximation pour passer d'une représentation discrete qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme « représentation contextuelle compacte » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones. | ||
<hr/> | <hr/> | ||
Attention! La notion mathématique de plongement, bien que proche, ne couvre pas l'ensemble des concepts sous-jacents à la notion d'« embedding ». Par exemple, la notion de contexte ou voisinage. Aussi le plongement s'apparente davantage à une opération de création d'un sous-ensemble qu'à | Attention! La notion mathématique de plongement, bien que proche, ne couvre pas l'ensemble des concepts sous-jacents à la notion d'« embedding ». Par exemple, la notion de contexte ou voisinage. Aussi le plongement s'apparente davantage à une opération de création d'un sous-ensemble qu'à une réduction de la dimension obtenue par approximation. À discuter... | ||
<hr/> | <hr/> | ||
La modélisation par représentation contextuelle | La modélisation par représentation contextuelle compacte, bien que souvent appliquée aux mots, [[vecteur-mot]] (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation contextuelle compacte peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin. | ||
<hr/> | <hr/> | ||
Une représentation contextuelle | Une représentation contextuelle compacte peut également être « utilisée » comme représentation latente. À discuter... | ||
<hr/> | <hr/> | ||
On distingue trois principaux usages des représentations contextuelles | On distingue trois principaux usages des représentations contextuelles compacte: | ||
*identifier les plus proches voisins d'un objet ou d'un concept; | *identifier les plus proches voisins d'un objet ou d'un concept; | ||
| Ligne 25 : | Ligne 25 : | ||
==Français== | ==Français== | ||
'''représentation contextuelle compacte''' | |||
'''représentation contextuelle compressée''' | '''représentation contextuelle compressée''' | ||
'''représentation | '''représentation vectorielle compacte''' | ||
'''représentation vectorielle compressée''' | |||
'''représentation vectorielle dense''' | '''représentation vectorielle dense''' | ||
'''vecteur contextuel compact''' | |||
'''vecteur contextuel dense''' | '''vecteur contextuel dense''' | ||
Version du 3 août 2023 à 02:45
Définition
Représentation résultant de l'opération mathématique qui permet de passer d'une représentation catégorielle et de son contexte à une représentation vectorielle contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. des nombres réels).
Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches selon une distance (ou métrique) dans l'espace vectoriel où sont définis ces objets.
Il s'agit d'une représentation distribuée qui tente de décrire la « sémantique » d'un objet en considérant ses relations avec d'autres objets de son contexte.
Typiquement, on crée une représentation contextuelle compacte avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.
Compléments
L'algorithme de création d'une représentation contextuelle compacte procède par approximation pour passer d'une représentation discrete qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme « représentation contextuelle compacte » ou encore « plongement neuronal » puisque ce sont souvent des algorithmes à base de réseaux de neurones.
Attention! La notion mathématique de plongement, bien que proche, ne couvre pas l'ensemble des concepts sous-jacents à la notion d'« embedding ». Par exemple, la notion de contexte ou voisinage. Aussi le plongement s'apparente davantage à une opération de création d'un sous-ensemble qu'à une réduction de la dimension obtenue par approximation. À discuter...
La modélisation par représentation contextuelle compacte, bien que souvent appliquée aux mots, vecteur-mot (word embedding), ne se limite pas à ces derniers et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation contextuelle compacte peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.
Une représentation contextuelle compacte peut également être « utilisée » comme représentation latente. À discuter...
On distingue trois principaux usages des représentations contextuelles compacte:
- identifier les plus proches voisins d'un objet ou d'un concept;
- enrichir l'entrée de données d'un algorithme;
- visualiser des objets ou des concepts et leurs relations.
Français
représentation contextuelle compacte
représentation contextuelle compressée
représentation vectorielle compacte
représentation vectorielle compressée
représentation vectorielle dense
vecteur contextuel compact
vecteur contextuel dense
vecteur contextuel
plongement vectoriel
plongement neuronal
Anglais
embedding
neural embedding
Source: Géron, Aurélien (2017) Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets, Paris, Dunod, 256 pages.
Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
