Attention éclair

Définition

Pour économiser de la mémoire, l'attention éclair consiste à reprendre des étapes du calcul de la fonction softmax en utilisant des astuces mathématiques au lieu de les mémoriser.

Compléments

Les couches d'auto-attention permettent de comprendre les relations contextuelles entre les données d'entrée. Cependant, la consommation maximale de mémoire GPU pour les couches d'auto-attention augmente quadratiquement avec la longueur de la séquence d’entrée. Ainsi, l'algorithme d'auto-attention classique devient rapidement prohibitif en termes de mémoire pour les longs contextes d'entrée.

Afin de résoudre ce problème, Tri Dao et al. ont inventé en 2022 l'algorithme d'attention éclair dont le coût en mémoire n'augmente que linéairement avec la longueur de la séquence d'entrée. Évidemment, l’algorithme d’attention éclair est un peu plus lent. Cependant, l'attention-éclair est plus rapide en inférence que l'attention classique car elle réduit considérablement les accès mémoires plus lents du processeur graphique en se concentrant plutôt sur la mémoire vive statique (SRAM) qui est plus rapide.

Français

attention éclair

attention flash

Anglais

flash attention

FlashAttention Proposition originale de Tri Dao et al. (2022)

Source : Tri Dao et al. (2022)

Source: Medium