Optimisation des préférences en fonction du rapport des cotes
Définition
L'optimisation des préférences en fonction du rapport des cotes est une méthode monolithique et sans référence d'alignement des préférences qui simplifie l'entraînement et améliore l'évolutivité du modèle. Elle fournit aussi un moyen stable et efficace pour la différenciation entre les réponses préférées et non préférées, ce qui augmente la capacité du modèle à se concentrer sur les résultats souhaitables.
Compléments
L'optimisation des préférences en fonction du rapport des cotes établit une nouvelle norme pour le développement de systèmes d'IA qui sont à la fois efficaces, et conformes aux valeurs humaines.
Français
optimisation des préférences en fonction du rapport des cotes
Anglais
odds ratio preference optimization
ORPO
Odds Ratio Preference Optimization (ORPO) is a reference-free monolithic preference alignment method that simplifies training, enhances scalability and provides a stable and effective means of differentiation between preferred and non-preferred responses, increasing the model’s ability to focus on desirable outputs. ORPO sets a new standard for developing AI systems that are both efficient and aligned with human values.
Source
