« Réseau de Kolmogorov–Arnold » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (9 versions intermédiaires par 3 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Un réseau de Kolmogorov-Arnold est un [[réseau de neurones]] entraîné en apprenant une fonction d'activation pour chaque arête d'un [[réseau de neurones]], plutôt qu'une seule fonction d'activation en sortie du neurone comme dans un [[perceptron multicouche]]. | Un réseau de Kolmogorov-Arnold (ou réseau KA) est un [[réseau de neurones profond]] entraîné en apprenant une fonction d'activation pour chaque arête (ou poids) d'un [[réseau de neurones]], plutôt qu'une seule fonction d'activation fixe en sortie du neurone comme dans un [[perceptron multicouche]]. | ||
Les réseaux KA offriraient l'avantage d'une meilleure [[interprétabilité]] et d'une plus grande précision. | |||
== Compléments == | == Compléments == | ||
En mai 2024, les chercheurs du MIT, de Caltech, de Northeastern et l'Institut de la NSF Institute for AI and Fundamental Interactions ont développé le réseau Kolmogorov-Arnold comme alternative au [[perceptron multicouche]]. Contrairement à ce dernier, dont les fonctions d'activation | En mai 2024, les chercheurs du MIT, de Caltech, de Northeastern et l'Institut de la NSF Institute for AI and Fundamental Interactions ont développé le réseau Kolmogorov-Arnold comme alternative au [[perceptron multicouche]]. Contrairement à ce dernier, dont les fonctions d'activation en sortie de chaque neurone sont fixes, les réseaux KA utilisent des fonctions d'activation apprises (polynômes) sur les arêtes (entrées du neurone), en remplaçant les poids linéaires par des splines paramétrées. L'emploi de splines pour approximer une fonction par apprentissage constitue une application pratique du théorème de représentation de Kolmogorov-Arnold. Rappelons qu'une spline est une fonction définie par morceaux par des polynômes. | ||
<hr/> | <hr/> | ||
Malgré que les réseaux KA demandent d'avantage de calcul, ils offrent l'avantage d'une meilleure [[interprétabilité]] et d'une plus grande précision. Advenant qu'on arrive à optimiser les calculs nécessaires, les réseaux RK pourraient remplacer les [[Perceptron mulicouche|perceptrons mulicouches]] qui sont à la base de des architectures de [[réseau de neurones profond|réseaux de neurones profonds]]. | Malgré que les réseaux KA demandent d'avantage de calcul, ils offrent l'avantage d'une meilleure [[interprétabilité]] et d'une plus grande précision. Advenant qu'on arrive à optimiser les calculs nécessaires, les réseaux RK pourraient remplacer les [[Perceptron mulicouche|perceptrons mulicouches]] qui sont à la base de des architectures de [[réseau de neurones profond|réseaux de neurones profonds]]. | ||
| Ligne 19 : | Ligne 21 : | ||
'''KAN''' | '''KAN''' | ||
== | '''DeepKAN''' | ||
'''Deep-KAN''' | |||
==Sources== | |||
[https://arxiv.org/pdf/2404.19756 KAN: Kolmogorov–Arnold Networks. Liu et al. (2024)] | [https://arxiv.org/pdf/2404.19756 KAN: Kolmogorov–Arnold Networks. Liu et al. (2024)] | ||
[https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Arnold_Network Wikipedia - Kolmogorov–Arnold Network] | [https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Arnold_Network Wikipedia - Kolmogorov–Arnold Network] | ||
[https://www.marktechpost.com/2024/05/02/kolmogorov-arnold-networks-kans-a-new-era-of-interpretability-and-accuracy-in-deep-learning/ ''Kolmogorov-Arnold Networks (KANs): A New Era of Interpretability and Accuracy in Deep Learning'', Sana Hassan (2024)] | [https://www.marktechpost.com/2024/05/02/kolmogorov-arnold-networks-kans-a-new-era-of-interpretability-and-accuracy-in-deep-learning/ ''Kolmogorov-Arnold Networks (KANs): A New Era of Interpretability and Accuracy in Deep Learning'', Sana Hassan (2024)] | ||
[https://www.math.univ-toulouse.fr/~fmalgouy/enseignement/downloadMva_deep_L_18_19/theorie_deep_learning_approximation1.pdf, ''Fondements théoriques du Deep Learning: Expressivité des réseaux de neurones'', Gerchinovitz et al. (2019)] | [https://www.math.univ-toulouse.fr/~fmalgouy/enseignement/downloadMva_deep_L_18_19/theorie_deep_learning_approximation1.pdf, ''Fondements théoriques du Deep Learning: Expressivité des réseaux de neurones'', Gerchinovitz et al. (2019)] | ||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 16 juillet 2024 à 13:53
Définition
Un réseau de Kolmogorov-Arnold (ou réseau KA) est un réseau de neurones profond entraîné en apprenant une fonction d'activation pour chaque arête (ou poids) d'un réseau de neurones, plutôt qu'une seule fonction d'activation fixe en sortie du neurone comme dans un perceptron multicouche.
Les réseaux KA offriraient l'avantage d'une meilleure interprétabilité et d'une plus grande précision.
Compléments
En mai 2024, les chercheurs du MIT, de Caltech, de Northeastern et l'Institut de la NSF Institute for AI and Fundamental Interactions ont développé le réseau Kolmogorov-Arnold comme alternative au perceptron multicouche. Contrairement à ce dernier, dont les fonctions d'activation en sortie de chaque neurone sont fixes, les réseaux KA utilisent des fonctions d'activation apprises (polynômes) sur les arêtes (entrées du neurone), en remplaçant les poids linéaires par des splines paramétrées. L'emploi de splines pour approximer une fonction par apprentissage constitue une application pratique du théorème de représentation de Kolmogorov-Arnold. Rappelons qu'une spline est une fonction définie par morceaux par des polynômes.
Malgré que les réseaux KA demandent d'avantage de calcul, ils offrent l'avantage d'une meilleure interprétabilité et d'une plus grande précision. Advenant qu'on arrive à optimiser les calculs nécessaires, les réseaux RK pourraient remplacer les perceptrons mulicouches qui sont à la base de des architectures de réseaux de neurones profonds.
Français
réseau de Kolmogorov–Arnold
réseau KA
RKA (prononcé R-K)
Anglais
Kolmogorov–Arnold Network
KAN
DeepKAN
Deep-KAN
Sources
KAN: Kolmogorov–Arnold Networks. Liu et al. (2024)
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
