Les machines peuvent-elles penser ? Voilà ce que demandait
en 1950 Alan Turing dans un fameux article(1)
qui servit de "base de départ" à Allen
Newell, J.-Cliff Shaw et Herbert Alexander Simon concevant à
partir de 1952 la théorie des Heuristiques programmables
qui allait, en 1956, rendre effectives les premières
réalisations programmées de l'Intelligence artificielle.
En fait, c'est dès les années 40 que, forts des
progrès des neurosciences et de ceux de la logique mathématique,
ont émergé les premiers travaux sur le cerveau
artificiel. En s'inspirant de la structure du système
nerveux biologique, on devrait pouvoir construire des systèmes
artificiels dotés de puissantes capacités computationnelles.
Très tôt a pu être montré que des
réseaux d'unités logiques simples (neurones) sont
capables de réaliser des opérations complexes
; plus encore, que de tels réseaux sont "Turing
universels", c'est-à-dire qu'ils sont potentiellement
aptes à traiter toute fonction calculable, voire, selon
l'interprétation physique forte de la thèse de
Church/Turing, à réaliser toute opération
de traitement de l'information opérée par le cerveau
biologique.
C'est sur ces bases que sont apparus les premiers réseaux
apprenants, appelés "réseaux de neurones
formels"(2).
C'est à Franck Rosenblatt que l'on doit en 1958 le premier
modèle de ces réseaux(3)
- le Perceptron(4)
- premier système artificiel présentant ainsi
une faculté jusque là réservée aux
êtres vivants : celle d'apprendre par l'expérience.
C'est
une extension du Perceptron, baptisée "Madaline"
et réalisée par Bernard Widrow et Marcian E. Hoff,
qui débouche en 1959 sur la première application
réelle, encore utilisée aujourd'hui comme filtre
adaptatif permettant de réduire l'écho sur les
lignes téléphoniques. Mais si l'espoir était
fort, la désillusion sera à la hauteur des promesses
non tenues et, à la fin des années 60, d'importants
résultats théoriques démontrèrent
les limites intrinsèques des réseaux existants(5),
hypothéquant alors l'avenir du domaine, qui entrera en
hibernation durant plus de 10 ans
C'est
tout d'abord à toute cette histoire que nous convie Jean-Philippe
Rennard, en filigrane, au cours des pages de cet excellent livre
Réseaux neuronaux. Comme le signale l'auteur,
le renouveau du domaine, qui date du début des années
80, viendra paradoxalement plus de l'utilisation rénovée
de l'outil mathématique que de nos progrès en
neurosciences. Ceci ouvrira à un foisonnement de travaux
donnant lieu à l'émergence de tout un ensemble
de réseaux adaptés à des problèmes
divers insolubles dans les réseaux anciens. Associés
à l'extension de la puissance informatique, ils ont permis
la multiplication des applications dans de très nombreux
domaines, qu'ils concernent l'industrie, la finance, le marketing,
ou encore l'écologie, le transport, les télécommunications,
la robotique, les jeux vidéos, la synthèse vocale
et la reconnaissance de l'écriture, en passant bien sûr
par le domaine militaire ou médical...
Et c'est à la présentation détaillée
de l'ensemble des grands types de réseaux neuronaux(6)
à laquelle s'attaque ici avec talent Jean-Philippe Rennard,
en en montrant à chaque fois la dynamique, les capacités
et les limites. Richement illustré et accompagné
de nombreux exemples, cet ouvrage est cependant plutôt
à conseiller à l'amateur averti. Il satisfera
tant le lecteur ayant des connaissances de base en informatique
que l'étudiant, le professionnel ou le chercheur qui
y puiseront toutes les bases formelles et références
détaillées.
Et comme à son habitude, Jean-Phillipe Rennard ne se
contente pas d'être "théorique" mais
aussi "pratique" : le dernier chapitre est consacré
à la mise en oeuvre et à la description d'un modèle
objet permettant d'implémenter une très grande
diversité de réseaux étudiés tout
au long de l'ouvrage . Ecrit en langage Java, ce modèle
simple permet à l'utilisateur de construire et de tester
ses propres réseaux. Et comme l'auteur fait toujours
les choses bien, sources et programmes d'illustration sont disponibles
en ligne, à l'adresse http://www.rennard.org/irn.
Une des applications proposées dans le dernier
chapitre de l'ouvrage :
la reconnaissance de chiffres par un Perceptron multicouche
L'applet Java implémente le système apte
à reconnaître la numération hexadécimale
sur un afficheur 7 segments.
La partie inférieure de l'écran présente
la courbe d'erreur.
|
Notes
(1)
"Computing Machinery and Intelligence", Mind (1950),
pages 135 à 175.
(2) Dénommés aussi réseaux
de neurones artificiels. Ce sont des systèmes biomimétiques
inspirés du fonctionnement des neurones biologiques,
dont ils sont une métaphore. Aujourd'hui, le vigoureux
domaine des algorithmes biomimétiques s'étend
bien au-delà des seuls réseaux de neurones formels.
Parmi les plus matures, mais aussi les plus prometteurs du domaine,
il faut citer les algorithmes évolutionnaires qui montrent
avec éclat la fécondité des transpositions
informatiques des mécanismes biologiques.
(3) Si c'est en 1958 qu'apparaît le
premier réseau de neurones artificiels, les premiers
à avoir proposé un modèle sont deux bio-physiciens
de Chicago, McCulloch et Pitts qui,en 1943, inventent le premier
neurone formel qui portera leurs noms (neurone de McCulloch-Pitts
ou automate à seuil). Puis, en 1949, Hebb proposera une
formulation du mécanisme d'apprentissage, sous la forme
d'une règle de modification des connexions synaptiques
(règle de Hebb). Basée sur des données
biologiques, celle-ci modélise le fait que si des neurones
sont activés de façon synchrone et répétée
de part et d'autre d'une synapse, alors la force de la connexion
synaptique va aller croissant.
(4) "The Perceptron : a probalistic
model for information storage ans organization in the brain",
Psychological Review n° 65, pages 386 à 408. Le Perceptron
est inspiré du système visuel et possède
une couche de neurones d'entrée (perceptive) ainsi qu'une
couche de neurones de sortie (décisionelle"). Ce
réseau parvient à apprendre à identifier
des formes simples et à calculer certaines fonctions
logiques. 
(5) Une critique violente du Perceptron sera
formulée en 1969 par Minsky et Papert, montrant toutes
les limites de ce modèle et soulevant particulièrement
l'incapacité de ce système à résoudre
les problèmes non linéairement séparables,
tels que le célèbre problème du XOR. Il
faudra attendre le début des années 80 et le génie
de John Hopfield pour que l'intérêt pour ce domaine
soit de nouveau présent : en 1982, il démontre
tout l'intérêt d'utiliser des réseaux récurrents
(dit "feed-back") pour la compréhension et
la modélisation des processus mnésiques. Les réseaux
récurrents constituent alors la deuxième grande
classe de réseaux de neurones, avec les réseaux
type perceptron (dit "feed-forward"). 
(6) Modèle fondateur (McCulloch-Pitts)
; Perceptron et Adaline ; Réseaux multicouches ; Réseaux
récurrents ; Réseaux auto-organisés ; Réseaux
évolutionnaires.
Retour au sommaire