Word2vec

Domaine

Vocabulary
Apprentissage profond
Coulombe

Français

Discussion:

Pour le moment, le terme privilégié est «mot-à-vecteur».

Mot-à-vecteur (word2vec) est un algorithme pour produire des représentations vectorielles denses de mots appelé vecteurs-mots (en anglais word embeddings ou word vector). Typiquement, les vecteurs-mots sont utilisés pour enrichir les entrées textuelles dans un algorithme d'apprentissage profond. Les vecteurs-mots ont des propriétés intéressantes, par exemple, on peut les additionner ou les soustraire vecteur('reine') ~= vecteur('roi') - vecteur('homme') + vecteur('femme'). Il existe deux variantes de l'algorithme : l'algorithme PVM (en anglais Skip-Gram) un algorithme qui cherche à prédire les mots voisins d’un mot donné, et l'algorithme PMV (en anglais CBOW) qui cherche à prédire un mot à partir de ses mots voisins.

Anglais

word2vec

word2vec is an algorithm and tool to learn word embeddings by trying to predict the context of words in a document. The resulting word vectors have some interesting properties, for example vector('queen') ~= vector('king') - vector('man') + vector('woman'). Two different objectives can be used to learn these embeddings: The Skip-Gram objective tries to predict a context from on a word, and the CBOW objective tries to predict a word from its context.