Politique conditionnée par le langage
ROBOTIQUE
Définition
Une politique qui prend des instructions en langage naturel en entrée aux côtés d'observations visuelles et produit des actions de robot. Le conditionnement par langage permet une spécification flexible des tâches : au lieu de coder en dur les identifiants de tâche, les utilisateurs peuvent dire « prendre le bloc rouge » ou « verser l'eau dans le verre ». Les modèles VLA, SayCan et Code-as-Policies sont différentes approches du contrôle robotique conditionné par langage.
Une politique conditionnée par le langage prend une instruction en langage naturel (par exemple, « prendre la tasse rouge et la placer sur le plateau ») comme entrée supplémentaire aux côtés d'observations visuelles, permettant à un seul réseau de politique d'effectuer plusieurs tâches sélectionnées à l'exécution sans réentraînement.
Le conditionnement par langage est généralement implémenté en codant les instructions avec un modèle de langage préentraîné (CLIP, T5, PaLM) et en fusionnant l'embedding résultant avec les caractéristiques d'image. Les modèles VLA tels que RT-2, OpenVLA et pi0 sont conditionnés par langage par conception. Cette approche réduit le besoin d'entraîner des politiques séparées par tâche et supporte la généralisation zéro-shot à des formulations d'instructions nouvelles.
Français
Politique conditionnée par le langage
Anglais
language conditioned policy
Sources
Contributeurs: wiki
