Réseaux de neurones artificiels: dynamique des systèmes distribués

UCL-INGI 3191 -- Y. Kamp -- 30-0-0 -- Cours de 3ème cycle

Objectif

Développer la théorie des réseaux de neurones et étudier l'émergence de coordination par collaboration distribuée.

Prérequis

• principaux types de réseaux et leur application à la classification ainsi qu'au traitement non linéaire de données:
  UCL-ELEC-3190: Réseaux de neurones

Contenu

• Les réseaux récursifs comme systèmes dynamiques discrets.
• Les réseaux récursifs comme systèmes dynamiques stochastiques. Modélisation par chaînes de Markov; théorème de Perron-Frobenius; ergodicité; notion d'énergie libre.
• Illustration des concepts théoriques sur le modèle de spin de Ising. Equations du champ moyen. Application à l'intelligence collective.
• Application aux mémoires associatives; capacité maximale de la mémoire; mémoire avec facteur d'oubli.
• Les réseaux récursifs comme outil d'optimisation; recuit simulé; l'algorithme homogène et inhomogène; recuit du champ moyen.
• Réseaux bidirectionnels; machines de Boltzmann.
• Théorie de l'approximation universelle au moyen de perceptrons multicouches et de fonctions radiales de base; application à l'identification de systèmes non linéaires.

Pédagogie

Examen oral avec préparation écrite.

Références

11
J. Hertz, A. Krogh and R.G. Palmer. Introduction to the Theory of Neural Computation. Addison-Wesley, 1990

12
P.Peretto. An Introduction to the Modeling of Neural Networks. Cambridge University Press, 1992