Distillation des connaissances
Définition
La distillation des connaissances est le processus qui permet de transférer les connaissances d'un grand modèle à un plus petit modèle sans perte de validité et en conservant la précision lors de la compression du modèle.
Français
distillation des connaissances
Anglais
knowledge distillation
model distillation
Knowledge distillation is the process to transfer knowledge from large model to smaller one without loss of validity and retains accuracy with model compression.
Sources
