MiMo

Définition

Grand modèle de langues pour les tâches de résolution de problèmes qui peut être optimisé à la fois lors des étapes de préentraînement et de post-entraînement. Mimo-7B-Base est pré-entraîné sur 25 trillions de jetons génératifs et intègre la prédiction de plusieurs jetons en tant qu'objectif d'entraînement supplémentaire, ce qui améliore les performances du modèle et accélère l'inférence.

Voir aussi OpenAI

Français

MiMo-7B

Anglais

MiMo-7B

Sources

Source : arxiv