Comment la civilisation pourrait s'autodétruire et quatre façons de l'éviter

L'humanité est en route pour créer une « boule noire » : une technologie révolutionnaire qui pourrait tous nous détruire, dit le philosophe Nick Bostrom. Dans cette conversation incisive et surprenamment légère avec le dirigeant de TED, Chris Anderson, il décrit les vulnérabilités auxquelles nous pourrions faire face si nos inventions échappaient à notre contrôle. Il explore également comment nous pouvons éviter notre future disparition.

Chris Anderson : Nick Bostrom.

Vous nous avez déjà offert
tant d'idées folles.

Je pense à il y a environ 20 ans,

vous avez avancé que nous pourrions
tous vivre dans une simulation

ou que c'était probablement le cas.

Plus récemment,

vous avez dépeint les exemples
les plus saisissants

quant à comment une intelligence
générale artificielle

pourrait terriblement mal tourner.

Cette année,

vous êtes sur le point de publier

un article qui présente une chose appelée
l'hypothèse du monde vulnérable.

Notre rôle ce soir est d'offrir
un guide illustré à ce sujet.

Allons-y.

Quelle est cette hypothèse ?

Nick Bostrom :
C'est une tentative de réflexion

sur une caractéristique structurelle
de la condition humaine actuelle.

Vous aimez la métaphore de l'urne

alors je vais l'utiliser pour expliquer.

Imaginez une grande urne remplie de boules

représentant des idées, des méthodes,
des technologies possibles.

Vous pouvez voir l'histoire
de la créativité humaine

comme le fait de plonger
la main dans l'urne

et d'en sortir une boule après l'autre,

et le résultat jusqu'ici
a été extrêmement bénéfique.

Nous avons extrait
de nombreuses boules blanches,

quelques grises
dont les bienfaits sont mitigés.

Jusqu'ici, nous n'avons pas
sorti la boule noire --

une technologie qui détruit invariablement
la civilisation qui la découvre.

La publication essaye de réfléchir
à ce qu'une balle noire pourrait être.

CA : Vous définissez cette boule

comme étant celle menant invariablement
à la destruction de la civilisation.

NB : A moins que nous ne sortions

de ce que j'appelle la condition
semi-anarchique par défaut.

Mais par défaut.

CA : Vous présentez
un argumentaire convaincant

en montrant des contre-exemples

où vous croyez que jusqu'ici,
nous avons eu de la chance,

que nous pourrions avoir sorti
la boule de la mort

sans même le savoir.

Il y a cette citation, quelle est-elle ?

NB : Je suppose
qu'elle est censée illustrer

la difficulté liée à la prédiction

de ce à quoi mèneront
des découvertes élémentaires.

Nous n'avons simplement pas
cette capacité.

Car nous sommes devenus bons
dans l'extraction de boules

mais nous n'avons pas la capacité
de remettre la boule dans l'urne.

Nous pouvons inventer
mais nous ne pouvons pas désinventer.

Notre stratégie actuelle

est d'espérer qu'il n'y pas
de boule noire dans l'urne.

CA : Une fois sortie, elle est sortie
et vous ne pouvez pas la remettre,

et vous nous pensez chanceux.

Expliquez-nous quelques-uns
de ces exemples.

Vous parlez de différents types
de vulnérabilités.

NB : Le type le plus simple à comprendre

est une technologie qui rend
la destruction massive très facile.

La biologie synthétique pourrait être
une source féconde d'une telle boule,

mais nombre d'autres choses
que nous pourrions --

pensez à la géo-ingénierie,
c'est génial, non ?

Nous pourrions contrer
le réchauffement climatique

mais nous ne voulons pas
que ce soit trop simple

et qu'un individu quelconque
et sa grand-mère

aient la capacité d'altérer radicalement
le climat terrestre.

Ou peut-être les drones autonomes mortels,

des essaims de robots tueurs

de la taille d'un moustique
et produits en masse.

La nanotechnologie,
l'intelligence générale artificielle.

CA : Vous avancez

que c'est une question de chance
que quand nous avons découvert

que la puissance nucléaire
pouvait créer une bombe,

il aurait pu arriver

que nous puissions créer une bombe

avec des ressources bien plus simples
d'accès pour quiconque.

NB : Repensez aux années 30,

où pour la première fois nous avons fait

des découvertes capitales
en physique nucléaire,

un génie découvre qu'il est possible

d'entraîner une réaction
nucléaire en chaîne

puis réalise que cela pourrait
mener à la bombe.

Nous continuons à y travailler

et il s'avère qu'il vous faut,
pour une bombe nucléaire,

de l'uranium ou du plutonium
hautement enrichi,

qui sont très difficiles à obtenir.

Vous avez besoin d'ultracentrifugeuses,

de réacteurs et de quantités
massives d'énergie.

Mais supposez qu'au lieu de cela,

il y ait eu une façon simple
de libérer l'énergie de l'atome.

Peut-être qu'en cuisant du sable
dans un four micro-ondes

ou quelque chose du genre,

vous auriez pu causer
une détonation nucléaire.

Nous savons que c'est
physiquement impossible.

Mais avant de faire les calculs adéquats,

comment savoir
comment cela allait tourner ?

CA : Ne pourriez-vous pas avancer
que pour que la vie évolue sur Terre,

cela suppose un environnement stable,

que s'il était possible de causer
des réactions nucléaires massives

relativement facilement,

la Terre n'aurait jamais été stable,

nous ne serions pas là.

NB : Oui, à moins qu'il y ait une chose
facile à faire volontairement

mais qui n'arriverait pas par hasard.

Des choses faciles à faire,

comme empiler 10 cubes
les uns sur les autres,

mais dans la nature, vous ne trouverez pas
une pile de 10 cubes.

CA : C'est probablement la chose

qui inquiète le plus
la majorité d'entre nous

et oui, la biologie synthétique
est peut-être le chemin le plus rapide

qui, nous pouvons envisager,
nous y mènera dans un avenir proche.

NB : Réfléchissez
à ce que cela aurait signifié

si, disons, quiconque travaillant
dans sa cuisine pendant un après-midi

pouvait détruire une ville.

Il est difficile de voir comment
la civilisation moderne actuelle

aurait pu survivre à cela.

Car dans toute population
d'un million de personnes,

il y aura toujours quelqu'un
qui, peu importe la raison,

choisira d'utiliser
ce pouvoir destructeur.

Si ce résidu apocalyptique

décidait de détruire une ville, ou pire,

des villes seraient détruites.

CA : Voici un autre type de vulnérabilité.

Parlez-en.

NB : En plus de ces types
de balles noires évidents

qui rendraient possible
de faire exploser plein de choses,

d'autres types agiraient en créant
de mauvaises incitations

pour que les humains
fassent des choses nuisibles.

Le type 2a, nous pouvons l'appeler ainsi,

c'est réfléchir à une technologie
qui invite les grandes puissances

à utiliser leurs forces massives
pour causer de la destruction.

Les armes nucléaires
en étaient très proches.

Nous avons dépensé
plus de 10 billions de dollars

pour fabriquer 70 000 ogives nucléaires

et les placer en état
d'alerte instantanée.

A plusieurs reprises
durant la Guerre froide,

on a failli se faire sauter.

Non pas que beaucoup de gens pensaient
que ce serait une super idée

de dépenser 10 billions de dollars
pour se faire sauter,

mais les incitations étaient telles
que nous nous trouvions --

cela aurait pu être pire.

Imaginez s'il y a avait eu
un premier coup assuré.

Cela aurait pu être très délicat,

dans une situation de crise,

de s'abstenir de lancer
tous les missiles nucléaires.

A défaut d'autre chose,

car vous craindriez
que l'autre camp ne le fasse.

CA : La destruction mutuelle assurée

a maintenu la Guerre froide
relativement stable.

Sans cela, nous pourrions ne pas être là.

NB : Cela aurait pu être
plus instable que cela.

Il pourrait y avoir
d'autres propriétés technologiques.

Il aurait pu être plus dur
d'avoir des traités

si au lieu des armes nucléaires,

cela avait été une chose plus petite
ou moins distinctive.

CA : Avec les mauvaises incitations
pour les acteurs puissants,

vous vous inquiétez de telles incitations
pour nous tous, le type 2b.

NB : Nous pourrions prendre le cas
du réchauffement climatique.

Il y a beaucoup de petits conforts

qui mènent chacun d'entre nous
à faire des choses

qui, individuellement,
n'ont pas d'effet significatif.

Mais si des milliards de gens le font,

cumulativement, cela a
un effet préjudiciable.

Le réchauffement climatique
aurait pu être pire qu'il ne l'est.

Nous avons le paramètre
de sensibilité climatique.

C'est un paramètre
qui indique le réchauffement

si on émet une certaine quantité
de gaz à effet de serre.

Mais supposez que la situation

soit qu'avec les quantités
de gaz à effet de serre émis,

au lieu d'une température augmentant
d'entre 3 et 4,5 degrés d'ici 2100,

imaginez que c'eût été 15 ou 20 degrés.

La situation aurait alors
été très mauvaise.

Imaginez que les énergies renouvelables
aient été bien plus complexes.

Ou qu'il y ait eu
plus de carburants fossiles.

CA : Ne pourriez-vous pas avancer
que dans ce cas de --

si ce que nous faisons aujourd'hui

avait entraîné une différence de 10 degrés
sur une période que nous pourrions voir,

l'humanité se serait bougé le cul
et y aurait fait quelque chose.

Nous sommes stupides,
mais peut-être pas autant.

Ou peut-être que si.

NB : Je ne parierais pas.

(Rires)

Vous pourriez imaginer d'autres options.

Actuellement, c'est un peu difficile
de passer aux énergies renouvelables,

mais c'est possible.

Cela aurait pu être que,
avec une physique légèrement différente,

il aurait été bien plus cher
de faire ces choses-là.

CA : Quelle est votre opinion ?

Pensez-vous, en réunissant
ces possibilités,

cette Terre, l'humanité que nous sommes,

nous sommes un monde vulnérable ?

Qu'il y a une boule de la mort
dans notre futur ?

NB : C'est difficile à dire.

Je pense qu'il pourrait y avoir
diverses boules noires dans l'urne,

c'est ce qu'il semble.

Il pourrait aussi y avoir
des boules dorées

qui nous aideraient
à nous protéger des boules noires.

Je ne sais pas dans quel ordre
elles vont sortir.

CA : Une critique philosophique
possible de cette idée,

c'est que cela implique une vision
de l'avenir qui est globalement établie.

Soit cette boule est là,
soit elle ne l'est pas.

D'une certaine façon,
ce n'est pas une vision de l'avenir

en laquelle je veux croire.

Je veux croire que l'avenir
est indéterminé,

que nos décisions
aujourd'hui détermineront

quel genre de boules
nous sortons de l'urne.

NB : Si nous continuons à inventer,

nous finirons par sortir
toutes les boules.

Je pense qu'il y a une forme
de déterminisme technologique

qui est assez plausible.

Vous avez peu de probabilités
de rencontrer une société

qui utilise des haches en silex
et des avions à réaction.

Vous pouvez presque voir la technologie
comme un ensemble de potentialités.

La technologie est la chose
nous permettant de faire diverses choses

et d'obtenir divers effets sur le monde.

Comment nous allons l'utiliser
dépend des choix humains.

Mais si vous pensez
à ces trois types de vulnérabilités,

elles ne supposent pas tant
de comment nous choisirions de l'utiliser.

Une vulnérabilité de type 1,
cet énorme pouvoir destructeur,

ce n'est pas une hypothèse forte

de penser que dans une population
de millions de gens

il y en aurait qui choisiraient
de l'utiliser pour détruire.

CA : Pour moi, l'argument
qui me perturbe le plus,

c'est que nous pourrions
avoir un aperçu de l'urne

qui rendrait très probable
que nous soyons condamnés.

Si vous croyez au pouvoir accélérateur,

qu'intrinsèquement,
la technologie accélère,

que nous créons les outils
nous rendant plus puissants,

vous finissez par en arriver à un point

où chaque individu peut tous nous éliminer

et il semble alors que nous soyons foutus.

Cet argument n'est-il pas alarmant ?

NB : Oui.

(Rires)

Je pense --

Nous avons de plus en plus de pouvoir

et il est de plus en plus simple
d'utiliser ce pouvoir,

mais nous pouvons aussi
inventer des technologies

qui nous aident à contrôler l'utilisation
que les gens font de ce pouvoir.

CA : Parlons de cela,
parlons de la réponse.

Supposons que réfléchir
à toutes les possibilités

qu'il y a actuellement --

ce n'est pas que la biologie synthétique,
ce sont les cyberguerres,

l'intelligence artificielle
et ainsi de suite --

qu'il y a une condamnation
sérieuse dans notre avenir.

Quelles sont les réponses possibles ?

Vous avez parlé
de quatre réponses possibles.

NB : Restreindre
le développement technologique

ne semble pas prometteur

si nous parlons
d'une interruption générale

des progrès technologiques.

Ce n'est ni faisable ni désirable,

même si nous le pouvions.

Je pense qu'il y a
des domaines très limités

où vous pourriez vouloir
ralentir les progrès technologiques.

Vous ne voulez pas de progrès
plus rapides pour les armes biologiques

ou la séparation d'isotope,

ce qui faciliterait la création
de bombes nucléaires.

CA : Avant, j'étais
complètement d'accord avec cela.

Mais j'aimerais prendre un instant
pour contre-argumenter.

Tout d'abord,

si vous considérez l'histoire
des dernières décennies,

il y a toujours eu une évolution
vers l'avant à pleine vitesse,

ça va, c'est notre seul choix.

Mais si vous considérez la mondialisation
et son accélération rapide,

si vous considérez la stratégie
d' « avancer vite et casser des trucs »

et ce qui est arrivé,

puis que vous considérez le potentiel
de la biologie synthétique,

je ne sais pas si nous devrions
avancer rapidement

ou sans aucune restriction

vers un monde où vous pourriez avoir
une imprimante d'ADN à la maison

et dans les lycées.

Il y a des restrictions, non ?

NB : Il y a la première partie :
l'infaisabilité.

Si vous pensez qu'il serait
désirable d'arrêter,

il y a le problème de faisabilité.

Cela n'aide pas vraiment si une nation --

CA : Cela n'aide pas si une nation arrête,

mais nous avons eu des traités auparavant.

C'est ainsi que nous avons survécu
à la menace nucléaire,

c'est en en passant par le processus
douloureux des négociations.

Je me demande si la logique n'est pas
que nous, en termes de priorité mondiale,

nous ne devrions pas essayer,

commencer à négocier maintenant
des règles très strictes

sur les lieux de conduite
de recherches biologiques.

Ce n'est pas une chose
que vous voulez démocratiser, si ?

NB : Je suis complètement d'accord --

il serait désirable, par exemple,

d'avoir des machines de synthèse d'ADN,

pas en tant que produit pour lequel
chaque labo a son appareil,

mais en tant que service.

Il pourrait y avoir
quatre ou cinq endroits au monde

où vous pourriez envoyer
un modèle numérique

et l'ADN arriverait à vous.

Vous auriez la capacité,

si un jour cela semblait
vraiment nécessaire,

il y aurait un ensemble fini
de goulots d'étranglement.

Je pense que vous voulez considérer
des opportunités particulières

où vous pourriez avoir
un contrôle plus strict.

CA : Vous croyez, au fond,

que nous ne réussirons pas
à contenir les choses.

Quelqu'un, quelque part --
en Corée du Nord --

quelqu'un va y arriver
et découvrir ce savoir,

s'il est à découvrir.

NB : C'est plausible
dans les conditions actuelles.

Ce n'est pas que la biologie synthétique.

N'importe quel genre
de changement profond et nouveau

pourrait être une boule noire.

CA : Considérons
une autre réponse possible.

NB : Ceci, à mon avis,
a un potentiel limité.

Avec la vulnérabilité de type 1,

si vous pouvez réduire le nombre
de personnes qui sont motivées

à détruire le monde,

si elles seules avaient
l'accès et les moyens,

ce serait bien.

CA : Dans cette image,

vous imaginez ces drones
volant à travers le monde

avec une reconnaissance faciale.

Quand ils repèrent quelqu'un
présentant un comportement sociopathe,

ils le couvrent d'amour, le rétablissent.

NB : C'est une image hybride.

Éliminer peut signifier
soit incarcérer ou tuer,

soit les persuader d'avoir
une meilleure vision du monde.

Le principe, c'est :

imaginez être extrêmement performant

et réduire le nombre
de tels individus de moitié.

Si vous voulez le faire via la persuasion,

vous rivalisez contre
toutes les grandes forces

qui essayent de persuader les gens,

les partis, la religion,
le système éducatif.

Supposez pouvoir le réduire de moitié,

le risque ne serait pas réduit de moitié.

Peut-être de 5% ou 10%.

CA : Vous ne recommandez pas
que l'on parie l'avenir de l'humanité

sur la seconde réponse.

NB : C'est bien d'essayer
de dissuader et persuader les gens,

mais pas miser dessus
comme seul dispositif de sécurité.

CA : Et la troisième réponse ?

NB : Il y a deux méthodes générales

que nous pourrions utiliser pour parvenir
à la capacité de stabiliser le monde

face à l'éventail complet
des vulnérabilités possibles.

Nous aurions besoin des deux.

Une est une capacité optimale

de prévention policière.

Afin de pouvoir intercepter.

Si quiconque entamait
cette chose dangereuse,

vous pourriez l'intercepter
en temps réel et l'arrêter.

Cela nécessiterait
une surveillance omniprésente,

tout le monde serait
constamment surveillé.

CA : C'est en gros
une forme de « Minority Report ».

NB : Vous auriez des algorithmes d'IA,

de gros centres de liberté
qui examineraient cela, et ainsi de suite.

CA : La surveillance de masse
n'est pas très populaire en ce moment.

(Rires)

NB : Ce petit dispositif,

imaginez ce genre de collier
que vous devriez porter tout le temps,

avec des caméras multidirectionnelles.

Mais pour que cela passe mieux,

appelez-le la « balise
de la liberté » ou autre.

(Rires)

CA : D'accord.

C'est la conversation --

c'est pour cela que c'est
une conversation si époustouflante.

NB : Il y a toute une conversation
à ce sujet-là en particulier.

Il y a de gros problèmes
et risques avec cela.

Nous y reviendrons peut-être.

L'autre, la dernière,

l'autre capacité de stabilisation générale
comble un autre vide dans la gouvernance.

La surveillance comblerait pour un vide
dans la gouvernance à un niveau micro :

empêcher quiconque de faire
quoi que ce soit de hautement illégal.

Il y un vide équivalent
dans la gouvernance

au niveau macro, au niveau mondial.

Il vous faudrait la capacité fiable

d'empêcher les pires types
d'échecs de coordination mondiale,

d'éviter les guerres
entre les grandes puissances,

les courses à l'armement,

les problèmes communs cataclysmiques,

afin de faire face
aux vulnérabilités de type 2a.

CA : La gouvernance mondiale est un terme

qui n'est plus du tout
à la mode actuellement,

mais vous pourriez avancer
qu'au cours de l'histoire,

de l'histoire de l'humanité,

à chaque moment de montée
du pouvoir technologique,

les gens se sont réorganisés
et ont centralisé le pouvoir.

Par exemple, quand un groupe
de criminels itinérants

pouvait prendre le contrôle d'une société,

la réponse a été d'avoir un État-nation

et une force centralisée,
policière ou militaire,

pour que ce ne soit pas possible.

La logique d'avoir une seule personne
ou un seul groupe

capable d'éradiquer l'humanité

signifie qu'à un moment,
nous devrons emprunter ce chemin,

sous une certaine forme, non ?

NB : Il est vrai que l'échelle
de l'organisation politique a augmenté

au cours de l'histoire humaine.

C'était un groupe de chasseurs-cueilleurs,

puis des chefferies,
des cité-États, des nations,

maintenant il y a des organisations
internationales et ainsi de suite.

Je veux juste m'assurer

d'avoir l'opportunité d'insister

qu'il y a évidemment
d'énormes inconvénients

et d'énormes risques

dans la surveillance de masse
et la gouvernance mondiale.

Je vais faire remarquer
que si nous sommes chanceux,

le monde pourrait être tel
que ce seraient les seules façons

de survivre à une boule noire.

CA : La logique de cette théorie,

me semble-t-il,

c'est que nous devons reconnaître
que nous ne pouvons pas tout avoir.

C'est le genre

de rêve naïf, si je puis dire,
que nombre d'entre nous avaient

que la technologie sera toujours
une force du bien,

qu'il ne faut ne pas s'arrêter,
aller aussi vite que possible

et ne pas prêter attention
à certaines conséquences,

ce n'est même pas une option.

Nous pouvons le faire.

Si nous le faisons,

il faudra accepter

certaines choses très désagréables

et faire la course à l'armement
avec nous-mêmes :

si vous voulez le pouvoir,
vous devriez le confiner,

vous devriez trouver comment le confiner.

NB : Je pense que c'est une option,

une option très tentante,
dans un sens la plus simple

et cela pourrait fonctionner,

mais nous sommes alors vulnérables
à l'extraction d'une boule noire.

Avec un peu de coordination --

en résolvant ce problème
de macro gouvernance

et celui de micro gouvernance --

nous pourrions extraire
toutes les boules de l'urne

et nous en bénéficierons grandement.

CA : Si nous vivons dans une simulation,
cela importe-t-il ?

Nous recommençons.

(Rires)

NB : Alors... je...

(Rires)

Je ne l'ai pas vu arriver.

CA : Quelle est votre opinion ?

En rassemblant toutes les pièces,

quelle est notre probabilité
d'être condamnés ?

(Rires)

J'adore comment les gens rient
à cette question.

NB : A un niveau individuel,

nous semblons condamnés,
juste d'un point de vue de l'échéance,

nous nous décomposons et vieillissons.

(Rires)

C'est délicat.

Si vous voulez y attacher une probabilité,

tout d'abord, qui sommes-nous ?

Si vous êtes vieux,
vous mourrez de causes naturelles.

Si vous êtes jeune,
vous avez 100 ans peut-être,

selon à qui vous demandez.

Le seuil : qu'est-ce qui compte
comme un dévaste civilisationnel ?

Dans l'article, je n'ai pas besoin
d'une catastrophe civilisationnelle

pour que cela compte.

C'est une question de définition.

Je dis un milliard de morts

ou une diminution du PIB mondial de 50%,

mais selon le seuil que vous donnez,

vous aurez une probabilité différente.

Vous pourriez dire que je suis
un optimiste effrayé.

(Rires)

CA : Vous êtes un optimiste effrayé

et vous venez de créer un grand nombre
d'autres personnes effrayées.

(Rires)

NB : Dans la simulation.

CA : Dans une simulation.

Nick Bostrom, votre esprit m'épate.

Merci beaucoup de nous avoir effrayés.

(Applaudissements)