« Matryoshka Representation Learning » : différence entre les versions
(Page créée avec « == en construction == == Définition == xxxxxx Voir aussi '''Matryoshka Multimodal Models''' == Français == ''' XXXXXXX''' == Anglais == ''' Matryoshka Representation Learning''' ''' MRL''' == Sources == [https://arxiv.org/abs/2205.13147 Source : Arxiv] [https://medium.com/@zilliz_learn/matryoshka-representation-learning-explained-the-method-behind-openais-efficient-text-embeddings-a600dfe85ff8 Source : Medium] Catégorie:vocabulary ») |
Aucun résumé des modifications |
||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
Méthode d''''[[entraînement]]''' des '''[[Réseau neuronal|réseaux neuronaux]]''' pour produire des représentations multi-échelles au sein d'un seul '''[[modèle]]'''. Elle est particulièrement efficace pour des tâches telles que la '''[[recherche sémantique]]''', la récupération d'informations, le traitement multilingue et toute application nécessitant des représentations nuancées des '''[[données]]''' à différents niveaux d'abstraction. | |||
Voir aussi '''[[Matryoshka Multimodal Models]]''' | Lors de l'entraînement du modèle avec cette méthode, plusieurs '''[[Fonction d'erreur|fonctions d'erreur]]''' sont optimisées; les premières dimensions contenant des détails de haut niveau, tandis que les dimensions suivantes se concentrent sur des informations plus granulaires. Cela permet à un seul '''[[Représentation sémantique distributionnelle compacte|plongement]]''' de s'adapter aux contraintes informatiques des tâches en aval, sans imposer de coût supplémentaire lors de l''''[[inférence]]''' et du déploiement. | ||
Voir aussi '''[[apprentissage de représentations]]''' et '''[[Matryoshka Multimodal Models]]''' | |||
== Français == | == Français == | ||
''' | ''' Apprentissage de représentations de Matryoshka''' | ||
''' Apprentissage des représentations de Matryoshka''' | |||
== Anglais == | == Anglais == | ||
| Ligne 13 : | Ligne 17 : | ||
''' MRL''' | ''' MRL''' | ||
''Method for training neural networks to produce multi-scale representations within a single model. It is particularly effective for tasks like semantic search, information retrieval, multilanguage processing and any application requiring nuanced representations of data across different levels of abstraction. | |||
During model training with MRL, several loss functions are optimized, where the first few dimensions contain high-level details, while the later dimensions focus on more granular information. This allows a single embedding to adapt to the computational constraints of downstream tasks, and imposes no additional cost during inference and deployment.'' | |||
== Sources == | == Sources == | ||
Dernière version du 4 novembre 2025 à 11:45
en construction
Définition
Méthode d'entraînement des réseaux neuronaux pour produire des représentations multi-échelles au sein d'un seul modèle. Elle est particulièrement efficace pour des tâches telles que la recherche sémantique, la récupération d'informations, le traitement multilingue et toute application nécessitant des représentations nuancées des données à différents niveaux d'abstraction.
Lors de l'entraînement du modèle avec cette méthode, plusieurs fonctions d'erreur sont optimisées; les premières dimensions contenant des détails de haut niveau, tandis que les dimensions suivantes se concentrent sur des informations plus granulaires. Cela permet à un seul plongement de s'adapter aux contraintes informatiques des tâches en aval, sans imposer de coût supplémentaire lors de l'inférence et du déploiement.
Voir aussi apprentissage de représentations et Matryoshka Multimodal Models
Français
Apprentissage de représentations de Matryoshka
Apprentissage des représentations de Matryoshka
Anglais
Matryoshka Representation Learning
MRL
Method for training neural networks to produce multi-scale representations within a single model. It is particularly effective for tasks like semantic search, information retrieval, multilanguage processing and any application requiring nuanced representations of data across different levels of abstraction.
During model training with MRL, several loss functions are optimized, where the first few dimensions contain high-level details, while the later dimensions focus on more granular information. This allows a single embedding to adapt to the computational constraints of downstream tasks, and imposes no additional cost during inference and deployment.
Sources
Contributeurs: Arianne Arel
