Sciences
et politique. La
guerre des robots. Stephen Hawking et la fin de l’espèce
Par
Philippe Grasset 02/12/2014
Nous rééditons ici, avec son accord, un
article de Philippe Grasset paru sur son site Dedefensa.
Il rejoint beaucoup des préoccupations des lecteurs
de Automates Intelligents
La mise « en gras » de l'avant-avant
dernier paragraphe est de nous. Il mériterait d'être
particulièrement médité. Automates
Intelligents.
Le britannique Stephen Hawking, professeur, physicien théoricien
et cosmologiste, est universellement connu, aussi bien dans
le champ de la science pure que dans celui de la communication,
à cause de ses travaux et des conditions extraordinaires
de son état de santé où il effectue
ses travaux. L’article du Wikipédia qui lui
est consacré indique sur ce dernier point que «Hawking
souffre d'une dystrophie neuromusculaire qui est attribuée
à une sclérose latérale amyotrophique
(SLA) ; sa maladie a progressé au fil des ans et
l'a laissé presque complètement paralysé».
Nous parlons par conséquent d’un très
grand savant qui présente des caractéristiques
extraordinaires dans sa vie personnelle, suffisamment pour
en faire également un personnage hors du commun pour
l’“image” que véhicule la communication
et qui lui donne une notoriété supplémentaire
considérable hors du champ de la science pure.
Il se trouve que, d’une façon générale,
Hawking a toujours été perçu comme
un optimiste, un croyant plein d’allant dans la puissance
et l’avenir superbe de la science, et par conséquent
de la modernité (et, par conséquent, jugerions-nous,
du Système). Cette perception a toujours été
formidablement amplifiée par son état personnel
catastrophique, et par la ténacité et le courage
avec lesquels il le maîtrisait pour poursuivre son
travail. Mais voilà que cet optimisme du grand savant
paraît brusquement altéré, peut-être
de façon décisive, par le jugement crépusculaire
que Hawking porte sur l’avenir de la cohabitation de
l’espèce humaine avec le développement
de l’IA, en anglais AI (Intelligence Artificielle,
disons également pour simplifier “les robots”).
Cette cohabitation, estime Hawking, pourrait très
rapidement tourner en une confrontation entre l’AI
et l’espèce humaine, aboutissant à l’extinction
de la seconde. D’une façon plus imagée,
nous parlerions de “la révolte des robots”
comme on parlerait après tout de la “révolte
des esclaves”.
Le professeur Hawking parle à BBC.News le 2 décembre
2014 : «“The development
of full artificial intelligence could spell the end of the
human race.” [...] Prof Hawking says the primitive
forms of artificial intelligence developed so far have already
proved very useful, but he fears the consequences of creating
something that can match or surpass humans. “It would
take off on its own, and re-design itself at an ever increasing
rate,” he said. “Humans, who are limited by slow
biological evolution, couldn't compete, and would be superseded.”»
*
Comme c’est sa fonction puisque faisant partie de la
presse-Système dont le rôle essentiel est de
protéger le Système, BBC.News introduit une
note qu’il qualifie de “plus optimiste”,
– quoique cet optimisme, venu de Rollo Carpenter, le
journaliste, reste extrêmement vague et dépendant
d’une vision subjective (optimiste, justement, dans
ce que l’optimisme a désormais de suspect dans
ce domaine) ; bref, il s’agit purement et simplement
d’une affirmation du type “je parie que cela se
passera bien” à propos du développement
de l’AI, évidemment présentée
comme une perspective irrésistible...
“I believe we will remain
in charge of the technology for a decently long time and
the potential of it to solve many of the world problems
will be realised,” said Rollo Carpenter, creator of
Cleverbot. Cleverbot's software learns from its past conversations,
and has gained high scores in the Turing test, fooling a
high proportion of people into believing they are talking
to a human. Mr Carpenter says we are a long way from having
the computing power or developing the algorithms needed
to achieve full artificial intelligence, but believes it
will come in the next few decades. “We cannot quite
know what will happen if a machine exceeds our own intelligence,
so we can't know if we'll be infinitely helped by it, or
ignored by it and sidelined, or conceivably destroyed by
it,” he says. But he is betting that AI is going to
be a positive force.»
•
Par ailleurs, BBC.News convient que Hawking n’est pas
le seul à être pessimiste. L’entrepreneur
et financier en matière de technologies liées
à l’AI, Elon Musk , est cité ... «Prof
Hawking is not alone in fearing for the future. In the short
term, there are concerns that clever machines capable of
undertaking tasks done by humans until now will swiftly
destroy millions of jobs. In the longer term, the technology
entrepreneur Elon Musk has warned that AI is “our biggest
existential threat”.» •
Restons
alors avec Elon Musk. De quoi s’agit-il lorsqu’il
cite “un plus long terme” pour dire que l’IA
est effectivement “la plus grande menace existentielle”
contre notre espèce ? Il en parlait le 24 octobre
2014 (Washington Post) à un symposium du Massachussetts
Institute of Technology (MIT) en insistant sur la gravité
de la menace (“Avec l’IA, nous sommes en train
de réveiller le démon”) tout en restant
assez vague et imprécis sur le délai. Mais
une indiscrétion accidentelle, connue plus tard,
a révélé le fond de la pensée
de Musk sur le délai, qui est précisé
et se révèle pas très loin d’être
court pour une menace de cette ampleur catastrophique, –
dans le terme des cinq ans à venir, 10 ans au plus...
C’est UPI (voir Space Daily Report le 16 novembre 2014)
qui a publié la nouvelle “accidentelle”...
«After saying artificial
intelligence in robots is “our biggest existential
threat” and that we're risking “summoning a demon”
during an interview with MIT, Musk has now accidentally
made public his ideas of when the threat might materialize.
“The risk of something seriously dangerous happening
is in the five year timeframe. 10 years at most,"”Musk
wrote in an email to publisher John Brockman. “Please
note that I am normally super pro technology and have never
raised this issue until recent months. This is not a case
of crying wolf about something I don't understand.”
»The message was supposed to be private, but it was
accidentally posted on Brockman's website when he was featuring
virtual reality expert Jason Lanier on his site. It was
taken down by Brockman, but a visitor took a screenshot
of the statement and posted it to Reddit before it went
away.»
•
L’idée de cette “révolte des robots”/“révolte
des esclaves” est partout présente dans les
milieux spécialisés. Elle avait été
abordée en détails par Patrick Tucker, ancien
rédacteur en chef adjoint de The Futurist, auteur
de What Happens in a World That Anticipates Your Every Move?
et actuellement spécialiste des technologies pour
le site DefenseOne.com (le 17 avril 2014). Tucker citait
notamment Steven Omohundro, dans un rapport pour Journal
of Experimental & Theoretical Artificial Intelligence.
(A noter qu’ Omohundro ne voit de solution pour éviter
la catastrophe que de recourir aux méthodes anciennes
de développer de nouveaux systèmes à
l’intérieur d’un cadre de maîtrise
permettant d'en garder constamment le contrôle, –
le contraire des méthodes actuelles de rejet de tout
contrôle, de dérégulation, du libre-cours
comme du libre-marché laissés au développement
de toutes choses dans ces domaines avancés. Il semble
qu’il soit un peu tard pour changer, à condition
même d'en être convaincu contre tout l'évangile
impératif du Système...)
«In the movie Transcendence,
which opens in theaters on Friday, a sentient computer program
embarks on a relentless quest for power, nearly destroying
humanity in the process. The film is science fiction but
a computer scientist and entrepreneur Steven Omohundro says
that “anti-social” artificial intelligence in
the future is not only possible, but probable, unless we
start designing AI systems very differently today. Omohundro’s
most recent recent paper [...] lays out the case. We think
of artificial intelligence programs as somewhat humanlike.
In fact, computer systems perceive the world through a narrow
lens, the job they were designed to perform... [...]
»[...T]he more logical the robot, the more likely
it is to fight you to the death. The problem of an artificial
intelligence relentlessly pursuing its own goals to the
obvious exclusion of every human consideration is sometimes
called ‘runaway AI’. The best solution, [ Omohundro]
says, is to slow down in our building and designing of AI
systems, take a layered approach, similar to the way that
ancient builders used wood scaffolds to support arches under
construction and only remove the scaffold when the arch
is complete.
»That approach is not characteristic of the one we
are taking today, putting more and more resources and responsibility
under the control of increasingly autonomous systems. That’s
especially true of the U.S. military, which is looking to
deploy larger numbers of lethal autonomous systems, or L.A.Rs
into more contested environments. Without better safeguards
to prevent these sorts of systems from, one day, acting
rationally, we are going to have an increasingly difficult
time turning them off.»
Ce
qui est remarquable dans toutes ces appréciations,
à commencer par celle de l’icône au service
de la science qu’est Hawking, c’est la progression
d’un pessimisme, d’une part à la fois catastrophique
et eschatologique, d’autre part appuyé sur des
faits concrets et entrant dans des perspectives de plus
en plus précisément datées, et de plus
en plus proches sans aucun doute. Sur le fond de cette question
des “robot vs sapiens”, beaucoup a été
dit,toujours dans le même sens d’une sorte d’inéluctabilité
de la montée de la machine (du “robot”)
dans notre univers ; mais il est manifeste que la tendance
exaltante de cette perspective (type-Google), qui y voit
une sorte de triomphe du sapiens trouvant dans l'IA son
adjoint idéal comme un Jésus fermement installé
à la droite de Dieu, le cède de plus en plus
aux tendances crépusculaires dont on a eu ci-dessus
un aperçu.
Ce
pessimisme-catastrophique, s’il est un signe dans le
cas qui nous occupe de la progression de plus en plus incertaine
d’une science qui menace de plus en plus de se retourner
contre son créateur, est également un signe
d’une tendance plus large rassemblant tout un faisceau
de possibilités catastrophiques en voie de devenir
des probabilités, dans nombre d’autres domaines.
Que l’on se tourne vers l’environnement qui accélère
vertigineusement son travail de destruction du monde, vers
une politique qui s’est transformée en désordre
accouchant d’un hyper-désordre et semant les
crises sans le moindre sens sinon celui de la catastrophe,
vers la catastrophe psychologique et sociale qui affecte
des populations entières et les plonge dans la paupérisation,
vers les dérives sociétales qui déstructurent
les sociétés et pulvérisent les identités
à une rapidité vertigineuse, vers le système
du technologisme qui se heurte à des impasses qu’il
a lui-même mises en place, vers la bureaucratisation
et la militarisation des structures d’ordre se retournant
contre le citoyen qu’elles sont censées protéger
et servir, – tout paraît s’agglomérer
en une conjonction de perspectives effectivement catastrophiques
qui ne peuvent se définir que par l’horizon
eschatologique de la phase ultime de l’effondrement
du Système.
Cette
affaire de l’hypothèse de “la révolte
des robots” n’a rien qui doive nous surprendre.
Pourtant, qu’un Hawking, personnage peu commun, présenté
avec bien des raisons comme héroïque par sa
lutte permanente contre la maladie pour continuer son œuvre
de scientifique dans le sens d’une conviction optimiste
de l’avenir de la science par rapport à l’espèce
humaine, en arrive au constat exactement inverse que la
science est peut-être, sinon sans doute sur le point
d’accoucher du monstre qui nous dévorera tous,
– et bien plus vite encore qu’on pourrait croire,
– voilà qui a de quoi nous secouer et nous faire
admettre qu’il s’agit d’un événement
important qui a tout son poids symbolique.
On
comprend que ce qui nous importe ici est moins la vérité
d’une situation à venir que ce basculement de
la perception par la psychologie, conduisant à un
jugement complètement inverse des perspectives, à
une vision brusquement passée au pessimisme catastrophique
et eschatologique. Le constat que nous en tirons est celui
de la diffusion grandissante d’une nouvelle psychologie,
qui s’est développée à une très
grande vitesse depuis l’automne 2008 (la grande crise
financière), qui s’impose en cette année
2014 du centenaire de la Grande Guerre pour devenir une
véritable nouvelle pensée, en même temps
que l’année 2014 s’impose de plus en plus
comme la borne une nouvelle époque.
Nous sommes entrés dans les temps de la Fin des Temps
pour notre civilisation devenue contre-civilisation, et
ainsi devenue autodestructrice d’elle-même. Plus
que jamais, il est temps de se tourner vers la métahistoire,
bien plus que vers les robots et leur révolte, pour
espérer se rapprocher du moment où l’on
pourra percer l’énigme qu’est devenu notre
temps.
Automates
Intelligents s'enrichit du