Réseau de Kolmogorov–Arnold

Définition

Un réseau de Kolmogorov-Arnold (ou réseau KA) est un réseau de neurones entraîné en apprenant une fonction d'activation pour chaque arête d'un réseau de neurones, plutôt qu'une seule fonction d'activation fixe en sortie du neurone comme dans un perceptron multicouche.

Compléments

En mai 2024, les chercheurs du MIT, de Caltech, de Northeastern et l'Institut de la NSF Institute for AI and Fundamental Interactions ont développé le réseau Kolmogorov-Arnold comme alternative au perceptron multicouche. Contrairement à ce dernier, dont les fonctions d'activation des nœuds sont fixes, les RKA utilisent des fonctions d'activation apprises (polynômes) sur les arêtes, en remplaçant les poids linéaires par des splines paramètrées. L'emploi de splines pour approximer une fonction par apprentissage constitue une application pratique du théorème de représentation de Kolmogorov-Arnold. Rappelons qu'une spline est une fonction définie par morceaux par des polynômes.

Malgré que les réseaux KA demandent d'avantage de calcul, ils offrent l'avantage d'une meilleure interprétabilité et d'une plus grande précision. Advenant qu'on arrive à optimiser les calculs nécessaires, les réseaux RK pourraient remplacer les perceptrons mulicouches qui sont à la base de des architectures de réseaux de neurones profonds.

Français

réseau de Kolmogorov–Arnold

réseau KA

RKA (prononcé R-K)

Anglais

Kolmogorov–Arnold Network

KAN

Sources

KAN: Kolmogorov–Arnold Networks. Liu et al. (2024)

Wikipedia - Kolmogorov–Arnold Network

Kolmogorov-Arnold Networks (KANs): A New Era of Interpretability and Accuracy in Deep Learning, Sana Hassan (2024)

Fondements théoriques du Deep Learning: Expressivité des réseaux de neurones, Gerchinovitz et al. (2019)