« SARA-RT » : différence entre les versions


(Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' SARA-RT''' == Anglais == ''' SARA-RT''' Self-Adaptive RobustAttention we present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT): a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already... »)
 
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
==en construction==
== Définition ==
== Définition ==
XXXXXXXXX
Nouveau paradigme pour relever le défi émergent de la mise à l'échelle des transformateurs robotiques en vue d'un déploiement sur robot. SARA-RT s'appuie sur la nouvelle méthode de réglage fin que nous avons proposée, appelée "up-training". Elle convertit les politiques robotiques entraînées ou déjà affinées basées sur les transformateurs, d'une complexité temporelle quadratique (y compris les modèles vision-langage-action (VLA) massifs à un milliard de paramètres), en leurs équivalents efficaces à attention linéaire, tout en conservant une qualité élevée.


== Français ==
== Français ==
Ligne 9 : Ligne 7 :
== Anglais ==
== Anglais ==
''' SARA-RT'''
''' SARA-RT'''
 
''' Self-Adaptive Robust Attention'''
Self-Adaptive RobustAttention
   
   
we present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT):
 
a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already fine-tuned Transformer-based robotic policies of quadratic time complexity (including massive billion-parameter vision-language-action models or VLAs), into their efficient linear-attention counterparts maintaining high quality. We demonstrate the effectiveness of SARA-RT by speeding up: (a) the class of recently introduced RT-2 models, the first VLA robotic policies pre-trained on internet-scale data, as well as (b) Point Cloud Transformer (PCT) robotic policies operating on large point clouds. We complement our results with the rigorous mathematical analysis providing deeper insight into the phenomenon of SARA.
 
 
<small>
<small>


Ligne 27 : Ligne 20 :


[[Catégorie:vocabulary]]
[[Catégorie:vocabulary]]
[[Catégorie:publication]]

Version du 9 janvier 2024 à 14:45

Définition

Nouveau paradigme pour relever le défi émergent de la mise à l'échelle des transformateurs robotiques en vue d'un déploiement sur robot. SARA-RT s'appuie sur la nouvelle méthode de réglage fin que nous avons proposée, appelée "up-training". Elle convertit les politiques robotiques entraînées ou déjà affinées basées sur les transformateurs, d'une complexité temporelle quadratique (y compris les modèles vision-langage-action (VLA) massifs à un milliard de paramètres), en leurs équivalents efficaces à attention linéaire, tout en conservant une qualité élevée.

Français

SARA-RT

Anglais

SARA-RT Self-Adaptive Robust Attention


Source : Google

Source : arxiv

Récupérée de « https://datafranca.org/wiki/index.php?title=SARA-RT&oldid=86645 »


Contributeurs: Marie Alfaro, wiki