Retour
au sommaire
 Automates
Intelligents s'enrichit du logiciel
Alexandria.
Double-cliquez sur chaque mot de cette page et s'afficheront
alors définitions, synonymes et expressions constituées
de ce mot. Une fenêtre déroulante permet
aussi d'accéder à la définition du
mot dans une autre langue (22 langues sont disponibles,
dont le Japonais). |
Du côté
des labos
Voir un jour ce qu'on pense en images ?
Par Christophe Jacquemin - 27/12/2008
 Pourra-t-on
voir un jour ce qu'on pense en images ? Exprimer directement
- via images sur écran - une pensée ou perception
difficilement formulable par des mots ?
Va t'on, à plus ou moins long terme, disposer de systèmes
permettant d'enregistrer nos rêves et de nous les restituer
en images ? Voir en images ce que les gens pensent ?
 Bien
sûr, nous en somme très loin, mais les travaux
de l'équipe du Japonais Yukiyasu Kamitani publiés
récemment dans la revue américaine Neuron(1)
viennent tracer ici un premier sillon. Ce scientifique du
laboratoire de neurosciences computationnelles, département
de neuro informatique de l'ATR(2)
affirme en effet avoir réussi "pour la première
fois au monde à recréer tel quel, en image,
le contenu de perceptions cérébrales complexes"....
Un chercheur coutumier des premières mondiales puisqu'il
s'est déjà illustré, il y a un peu plus
de deux ans, avec la mise au point d'une
interface cerveau humain/machine non invasive permettant par
la simple pensée de faire effectuer en temps presque
réel des mouvements simples à une main robotique
[voir
notre article du 26/05/06].
Menés
en collaboration avec les Instituts japonais NICT, NAIST et
NINS(3), les nouveaux travaux
de Y. Kamitani ont consisté à reconstituer sur
écran différentes images vues par une personne,
par "simple" analyse des variations du débit
sanguin au niveau de son cortex.
Via imagerie par résonance magnétique fonctionnelle
(IRMf), les chercheurs ont tout d'abord cartographié
les variations d'activité apparaissant dans la partie
du cortex lié à la vision, lorsque le sujet
regardait différentes images placées devant
ses yeux. 400 images noir et blanc ont ainsi été
présentées au hasard devant les yeux du sujet,
chacune durant 12 secondes.
Pendant que la machine IRMf suivait toutes les deux secondes
l'évolution de l'activité cérébrale,
un ordinateur engrangeait les données, apprenant à
associer les différentes modifications de l'activité
cérébrale avec les différents modèles
d'images. En d'autres termes, pour aboutir à ce dispositif
de conversion de signaux cérébraux en images
(inverse de celui qui s'effectue entre l'oeil et le cerveau),
l'équipe a développé une sorte de décodeur
des variations cérébrales, via l'association
d'un type de signal et d'une forme basique connue. Ils ont
ensuite combiné plusieurs couples signal-forme pour
recréer des images complexes.
Ainsi,
lorsque fut montré au sujet une nouvelle série
d'images, telles que les lettres
N-E-U-R-O-N, le système a été capable
de reconstruire et d'afficher sur l'écran ces lettres,
uniquement en s'appuyant sur l'analyse de l'activité
cérébrale du sujet.
| |
Méthode
utilisée
 Lorsque
l'on regarde un objet, un paysage, une image ou quoi
que ce soit, l'information visuelle est convertie en
signaux électriques par la rétine, traités
ensuite par les neurones cérébraux dans
le cortex visuel, situé à l'arrière
de la tête.
Si le cortex visuel est une structure hiérarchique
composée de régions appelées "cortex
visuel primaire", "cortex visuel secondaire",
etc., la plus
grande précision dans la reconstruction des images
a été obtenue ici lorsque l'activité
du cerveau dans le cortex visuel primaire était
activée (en d'autres termes : plus haut était
l'ordre du cortex mobilisé (secondaire et suivants),
moins bonne a été la précision
obtenue). Les chercheurs ont également constaté
que, dans le cortex visuel primaire, une plus grande
quantité d'informations étaient obtenues
en utilisant les motifs entre les signaux de l'activité
cérébrale, plutôt que l'intensité
des signaux individuels, en comparaison avec les cortex
visuels d'un ordre plus élevé.
Utilisant l'imagerie par résonance magnétique
fonctionnelle (IRMf), la nouvelle technologie mesure
la structure de l'activité cérébrale
dans le cortex cérébral visuel déclenchée
par les informations que l'image a fait entrer par les
yeux.
Le champ de vision est divisé en petites zones,
et le contraste dans chaque zone est estimé à
partir des motifs d'activité du cortex. Les images
sont reconstruites en combinant l'estimation des valeurs
de contraste. L'erreur est ici réduite en combinant
les estimations obtenues, en faisant l'hypothèse
que le champ de vision est divisé en un certain
nombre de résolutions différentes.
Durant l'étude, 440 images ont été
présentées au sujet, pendant que le logiciel
effectuait la corrélation entre chaque image
et l'activité cérébrale correspondante.
L'image a été traitée comme une
combinaison de petits éléments unité.
L'angle de vue, de l'ordre de 1 ° (1.7cm lorsque
vu à 1 m de distance) a été fixé
à un pixel.
La corrélation entre l'image et l'activité
cérébrale a été saisie dans
le programme pour chacun des cas où trois éléments
unité différents étaient utilisées,
c'est-à-dire: 1 pixel (ligne) x 2 pixels (colonne),
2 pixels (ligne) x 1 pixel (colonne) et de 2 pixels
(ligne) x 2 pixels (colonne).
A noter que les images ont été reconstruites
avec précision, même lorsque le sujet observait
des figures ou lettres n'ayant pas été
utilisées dans l'apprentissage des motifs d'activité
cérébrale. Il a également été
possible d'identifier la bonne image parmi plus de 100
millions de candidats possibles*.
Signalons aussi que les modifications de l'image présentée
peuvent être lues comme de la vidéo en
utilisant le signal IRMf, qui est mis à jour
toutes les deux secondes.
*
Si des études précédentes utilisant
l'IRMf ont déjà permis de prédire
un état de perception en classant l'activité
cérébrale en catégories prédéterminées
(par exemple, travaux de Kamitani et Tong - 2005 ; Haynes
et Reed - 2006), la reconstruction d'images visuelles
lançait ici un incomparable défi , sachant
qu'il est impossible de préciser l'activité
cérébrale pour toutes les images possibles.
 Voir
le film de démonstration
NB : le film est projeté à une vitesse
six fois plus rapide que la vitesse d'origine.
Le retard dans la réponse hémodynamique
n'a pas été corrigée : le temps
de correspondance entre les images présentées
et les images reconstruites a donc été
préservé. Le temps initial est affiché
en bas à droite.
Pour une meilleure illustration, chaque parcelle de
l'image est représentée par un carré
homogène, dont l'intensité représente
le contraste du motif en damier.
|
|
Quelles
applications dans le futur ?
 Pour
le moment, le système est encore très limité
car il ne permet pas de reproduire toutes les perceptions.
Par ailleurs, son fonctionnement pour tout un chacun exigerait
de dresser au préalable un tableau de correspondances
entre formes et signaux pour chaque individu. Cependant, les
chercheurs estiment avoir construit là une méthode
d'analyse qui ouvre la voie à des applications qui
relevaient jusqu'à présent du fantasme. Selon
eux, le procédé permettra le développement
de nouveaux modes d'interaction entre l'homme et les machines,
en établissant un ensemble de relations entre une combinaison
de mouvements et un motif de signaux cérébraux.
Par exemple, "si nous arrivons un jour à mettre
en images les signaux qui traversent nos neurones, nous pourrons
peut-être regarder sur un écran nos rêves
et autres pensées comme des films ou émissions
de télévision", indique Yukiyasu Kamitani.
Le chercheur suggère également pour le futur
des applications en direction des architectes, des concepteurs
d'objets ou autres créateurs "en leur permettant
de montrer ce qu'ils ont en tête, même s'ils ne
trouvent pas les mots pour le dire ou ne savent pas le dessiner"(4).
Le
domaine de la psychiatrie est également évoqué
: ce système pourrait fournir aux médecins une
aide dans le traitement des troubles hallucinatoires en offrant
cette fenêtre directe à l'intérieur de
l'esprit des patients...
Ajoutons,
pour notre part, l'intérêt par exemple de cette
approche dans la compréhension future des niveaux de
conscience lors des états de coma.
Lire
les états émotionnels complexes comme dans un
livre d'images ?
SelonYukiyasu
Kamitani "cette
technologie peut également être appliquée
à d'autres sens que la vision.
Dans l'avenir, il devrait être possible de lire les
sentiments, les états
émotionnels complexes et les pensées avec une
certaine précision"...
Même s'il faut se méfier des effets d'annonce,
il n'en reste pas moins que pour l'heure, l'équipe
Kamitani a réussi à faire observer des formes
(lettres de l'alphabet) à un individu et à les
reconstituer sur un écran à partir de l'analyse
de son activité cérébrale. Ceci constitue
une indéniable percée.
Et si pour l'instant le système est uniquement capable
de reproduire les images en noir et blanc, il ne fait nul
doute en revanche qu'avec de le développement de l'amélioration
de la précision des mesures il sera rapidement possible
de reproduire ces images en couleur.
Notes
(1)
Neuron du 10 décembre 2008, Volume 60, Issue 5, pages
915 à 929 :
"Visual Image Reconstruction from Human Brain Activity
using a Combination of Multiscale Local Image Decoders",
par Yoichi Miyawaki, Hajime Uchida, Okito Yamashita, Masa-aki
Sato, Yusuke Morito, Hiroki C. Tanabe, Norihiro Sadato etYukiyasu
Kamitani. (voir
l'abstract).
(2) ATR
: Advanced Telecommunications Resarch - International Institute.
Site de son département de neurologie informatique
: http://www.cns.atr.jp/dni/.
(3) Technologie issue des travaux
conjoints de l'ATR (voir note 2), du National Institute of
Information and Communications Technology (NICT) http://www.nict.go.jp/index.html
; du Nara Institute of Science and Technology (NAIST) http://www.naist.jp/index_e.html
et du: National Institute of Natural Science (NINS) http://www.nins.jp/english/.
(4) Encore faudrait-il notamment pouvoir
ici disposer de capteurs portatifs. Et puis, faut-il rappeler
que, normalement, les architectes, designers ou autres créatifs
se défendent pas trop mal en dessin... à moins
que d'ici quelques années on n'ait finalement plus
besoin de savoir dessiner pour être designer...
Retour au sommaire
|
|
