« AutoRT » : différence entre les versions

Version du 24 septembre 2024 à 07:56

en construction

Définition

AutoRT combine des modèles fondateurs, tels qu'un grand modèle de langues ou un modèle de langage visuel et un modèle de contrôle robotique (RT-1 ou RT-2) pour créer un système qui est capable d'étendre le déploiement de plusieurs robots opérationnels et qui recueille des données d'entraînement dans de nouveaux environnements avec une supervision humaine minimale.

Français

AutoRT

Anglais

AutoRT

AutoRT combines large foundation models such as a Large Language Model (LLM) or Visual Language Model (VLM), and a robot control model (RT-1 or RT-2) to create a system that can scale up the deployment of multiple operational robots to gather training data in novel environments and with minimal human supervision.

Source : arxiv

Source: github

Source: Google DeepMind

@@ Ligne 2 : / Ligne 2 : @@
 == Définition ==
-Modèle fondateur qui incorpore le modèle VLM (à définir) ainsi qu'un grand modèle de langue et qui propose diverses tâches de manipulation adapté à ce qui est perçu par les robots. Cependant, un des défis de l'entraînement de modèles fondateurs concrets est le maque de données basées dans le monde réel.
+AutoRT combine des modèles fondateurs, tels qu'un grand modèle de langues ou un modèle de langage visuel et un modèle de contrôle robotique (RT-1 ou RT-2) pour créer un système qui est capable d'étendre le déploiement de plusieurs robots opérationnels et qui recueille des données d'entraînement dans de nouveaux environnements avec une supervision humaine minimale.
 == Français ==
@@ Ligne 10 : / Ligne 10 : @@
 ''' AutoRT'''
-  Foundation models that incorporate language, vision, and more recently actions have revolutionized the ability to harness internet scale data to reason about useful tasks. However, one of the key challenges of training embodied foundation models is the lack of data grounded in the physical world.==Sources==
+''AutoRT combines large foundation models such as a Large Language Model (LLM) or Visual Language Model (VLM), and a robot control model (RT-1 or RT-2) to create a system that can scale up the deployment of multiple operational robots to gather training data in novel environments and with minimal human supervision.''
-  AutoRT is a peptide retention time prediction tool using deep learning. It supports peptide retention prediction for tryptic peptides (global proteome experiments), MHC bound peptides (immunopeptidomics experiment) and PTM peptides (such as phosphoproteomics experiment, ubiquitome or acetylome experiment).
+[https://arxiv.org/abs/2401.12963   Source : arxiv]
-  It works by combining a visual language model (VLM) to perceive the surroundings with a large language model (LLM) that proposes diverse manipulation tasks suited to what the robots see in its environment. The system directs robots, each equipped with a camera and an end effector, to perform diverse tasks in various settings. Before execution, the tasks are filtered for safety by an "LLM legislator" guided by a "Robot Constitution" inspired by Asimov's Three Laws of Robotics.
+[https://auto-rt.github.io/   Source: github]
-[https://auto-rt.github.io/   Source : github]
+[https://deepmind.google/discover/blog/shaping-the-future-of-advanced-robotics/   Source: Google DeepMind]
-[https://github.com/bzhanglab/AutoRT    Source: github]
-[https://www.maginative.com/article/google-deepmind-unveils-latest-research-in-advanced-robotics-with-autort-sara-rt-and-rt-trajectory/   Source: Maginative, "Google DeepMind Unveils Latest Research in Advanced Robotics with AutoRT, SARA-RT, and RT-Trajectory"]
-[[Catégorie:vocabulary]]
+[[Catégorie:publication]]

« AutoRT » : différence entre les versions