« Peaufinage de grand modèle de langues » : différence entre les versions


(Page créée avec « == Définition == En apprentissage automatique, le peaufinage désigne le processus d'apprentissage par transfert pour la mise au point d'un modèle avec de nouvel... »)
 
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
== Définition ==
== Définition ==
En [[apprentissage automatique]], le peaufinage désigne le processus d'[[apprentissage par transfert]] pour la mise au point d'un modèle avec de nouvelles données en partant d'un [[modèle préentraîné]] .  
Application de la technique de [[peaufinage]] à l'amélioration des performances d'un [[grand modèle de langues]].
 
== Compléments ==
Pour le peaufinage de grands modèles de langues, il existe deux techniques principales : la méthode LoRA (Low-Rank Adapters) et la méthode RAG (Retrieval Augmented Generation).
 
Voir l'entrée [[modèle de langue]] pour des explications sur la nuance entre modèle de langues et modèles de langage.  


Plus généralement la notion de peaufinage (''fine tuning '') désigne aussi une situation où un certain nombre de paramètres doivent avoir une valeur très précise pour pouvoir rendre compte de tel ou tel phénomène observé.


== Français ==
== Français ==
Ligne 30 : Ligne 34 :


[https://towardsdatascience.com/fine-tuning-large-language-models-llms-23473d763b91 Source : Medium]
[https://towardsdatascience.com/fine-tuning-large-language-models-llms-23473d763b91 Source : Medium]
[https://en.wikipedia.org/wiki/Fine-tuning_(deep_learning) Source : Wikipedia]


[[Catégorie:Publication]]
[[Catégorie:Publication]]

Version du 19 septembre 2023 à 14:48

Définition

Application de la technique de peaufinage à l'amélioration des performances d'un grand modèle de langues.

Compléments

Pour le peaufinage de grands modèles de langues, il existe deux techniques principales : la méthode LoRA (Low-Rank Adapters) et la méthode RAG (Retrieval Augmented Generation).

Voir l'entrée modèle de langue pour des explications sur la nuance entre modèle de langues et modèles de langage.


Français

peaufinage de grand modèle de langues

réglage fin de grand modèle de langues

ajustement fin de grand modèle de langues

Anglais

large language model fine-tuning

large language model fine tuning

large language model finetuning

LLM fine-tuning

LLM fine tuning

LLM finetunning


Source : Hugging Face

Source : Medium

Source : Wikipedia