Voir la source de Apprentissage de représentations en poupées russes

== Définition ==
Méthode d''''[[entraînement]]''' des '''[[Réseau neuronal|réseaux neuronaux]]''' pour produire des représentations multi-échelles au sein d'un seul '''[[modèle]]''' exploitant la métaphore des poupées russes nommées ''matriochkas'' (qui sont imbriquées les unes dans les autres). 

== Complément ==
Elle est particulièrement efficace pour des tâches telles que la '''[[recherche sémantique]]''', la recherche d'information, le traitement multilingue et toute application nécessitant des représentations nuancées des '''[[données]]''' à niveaux différents d'abstraction. 

Lors de l'entraînement du modèle avec cette méthode, plusieurs '''[[Fonction d'erreur|fonctions d'erreur]]''' sont optimisées; les premières dimensions contenant des détails de haut niveau, tandis que les dimensions suivantes se concentrent sur des informations plus granulaires. Cela permet à un seul '''[[Représentation sémantique distributionnelle compacte|plongement]]''' de s'adapter aux contraintes informatiques des tâches en aval, sans imposer de coût supplémentaire lors de l''''[[inférence]]''' et du déploiement.

Voir aussi '''[[apprentissage de représentations]]''' et '''[[modèles multimodal en poupées russes]]'''.

== Français ==
''' apprentissage de représentations en poupées russes'''

''' apprentissage des représentations en matriochhkas'''

== Anglais ==
''' Matryoshka Representation Learning'''

''' MRL'''

<!--''Method for training neural networks to produce multi-scale representations within a single model. It is particularly effective for tasks like semantic search, information retrieval, multilanguage processing and any application requiring nuanced representations of data across different levels of abstraction. 

During model training with MRL, several loss functions are optimized, where the first few dimensions contain high-level details, while the later dimensions focus on more granular information. This allows a single embedding to adapt to the computational constraints of downstream tasks, and imposes no additional cost during inference and deployment.''-->

== Sources ==
[https://arxiv.org/abs/2205.13147   Source : Arxiv]

[https://medium.com/@zilliz_learn/matryoshka-representation-learning-explained-the-method-behind-openais-efficient-text-embeddings-a600dfe85ff8   Source : Medium]

[[Catégorie:Publication]]