« Pondération attentionnelle » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
== Définition ==
== Définition ==
Technique qui permet au modèle d'apprendre si une certaine partie de la séquence d'entrée nécessite une attention particulière.
[[Mécanisme d'attention]] qui attribue un [[poids]] aux différents éléments qui constitue une [[Séquence de mots|séquence]].


Voir aussi '''[[Mécanisme d'attention]]'''
== Compléments ==
Par exemple, en [[traitement automatique de la langue]], le [[mécanisme d'attention]] attribuera des [[poids]] différents aux mots en fonction de leur importance.


== Compléments ==
Nous proposons d'adopter le terme ''pondération attentionnelle'' qui est déjà en utilisation dans le domaine de la psychologie pour désigner un concept similaire.  
Nous proposons d'adopter le terme ''pondération attentionnelle'' qui est déjà en utilisation dans le domaine de la psychologie pour désigner un concept similaire.  


Ligne 16 : Ligne 16 :


'''Attention Weights'''
'''Attention Weights'''


<!-- Attention-weighting is a technique by which the model learns which part of the incoming sequence needs to be focused on. Think of it as the ‘Eye of Sauron’ scanning everything at all times and throwing light on the parts that are relevant.
<!-- Attention-weighting is a technique by which the model learns which part of the incoming sequence needs to be focused on. Think of it as the ‘Eye of Sauron’ scanning everything at all times and throwing light on the parts that are relevant.
Ligne 23 : Ligne 24 :
== Source ==
== Source ==
[https://doi.org/10.1146/annurev.psych.49.1.585  Source : Goldstone, R. L. (1998). ''Perceptual Learning. Annual Review of Psychology'']
[https://doi.org/10.1146/annurev.psych.49.1.585  Source : Goldstone, R. L. (1998). ''Perceptual Learning. Annual Review of Psychology'']
[https://arxiv.org/pdf/2211.07714  Source : arxiv]
[https://arxiv.org/pdf/2211.07714  Source : arxiv]
[https://en.wikipedia.org/wiki/Attention_(machine_learning)  Source: wiki]
[https://en.wikipedia.org/wiki/Attention_(machine_learning)  Source: wiki]




[[Catégorie:Publication]]
[[Catégorie:Publication]]

Version du 10 septembre 2024 à 14:01

Définition

Mécanisme d'attention qui attribue un poids aux différents éléments qui constitue une séquence.

Compléments

Par exemple, en traitement automatique de la langue, le mécanisme d'attention attribuera des poids différents aux mots en fonction de leur importance.

Nous proposons d'adopter le terme pondération attentionnelle qui est déjà en utilisation dans le domaine de la psychologie pour désigner un concept similaire.

Français

pondération attentionnelle

pondération de l'attention

Anglais

Attention-Weighting

Attention Weights


Source

Source : Goldstone, R. L. (1998). Perceptual Learning. Annual Review of Psychology

Source : arxiv

Source: wiki

Contributeurs: Arianne , Patrick Drouin, wiki