Self-Evolving Curriculum

Définition

Méthode d'apprentissage par curriculum automatique adaptée au peaufinage de l'apprentissage par renforcement des grands modèles de langues. Elle ajuste dynamiquement le curriculum d'entraînement en fonction des capacités actuelles du modèle à l'aide de techniques telles que la sélection du bandit manchot et l'analyse de sensibilité.

Voir aussi apprentissage automatique, entraînement et Group Relative Policy Optimization

Français

apprentissage par curriculum auto-évolutif

Anglais

Self-Evolving Curriculum learning

SEC

Automatic curriculum learning method tailored for reinforcement learning fine-tuning of large language models. It dynamically adjusts the training curriculum according to the model’s current capabilities using techniques like multi-armed bandit selection and sensitivity analysis. Its defining property is its dependence on performance-driven adaptation.

Sources

Source : arxiv

Source : Emergent Mind