Chris Anderson : Nick Bostrom. Vous nous avez déjà offert tant d'idées folles. Je pense à il y a environ 20 ans, vous avez avancé que nous pourrions tous vivre dans une simulation ou que c'était probablement le cas. Plus récemment, vous avez dépeint les exemples les plus saisissants quant à comment une intelligence générale artificielle pourrait terriblement mal tourner. Cette année, vous êtes sur le point de publier un article qui présente une chose appelée l'hypothèse du monde vulnérable. Notre rôle ce soir est d'offrir un guide illustré à ce sujet. Allons-y. Quelle est cette hypothèse ? Nick Bostrom : C'est une tentative de réflexion sur une caractéristique structurelle de la condition humaine actuelle. Vous aimez la métaphore de l'urne alors je vais l'utiliser pour expliquer. Imaginez une grande urne remplie de boules représentant des idées, des méthodes, des technologies possibles. Vous pouvez voir l'histoire de la créativité humaine comme le fait de plonger la main dans l'urne et d'en sortir une boule après l'autre, et le résultat jusqu'ici a été extrêmement bénéfique. Nous avons extrait de nombreuses boules blanches, quelques grises dont les bienfaits sont mitigés. Jusqu'ici, nous n'avons pas sorti la boule noire -- une technologie qui détruit invariablement la civilisation qui la découvre. La publication essaye de réfléchir à ce qu'une balle noire pourrait être. CA : Vous définissez cette boule comme étant celle menant invariablement à la destruction de la civilisation. NB : A moins que nous ne sortions de ce que j'appelle la condition semi-anarchique par défaut. Mais par défaut. CA : Vous présentez un argumentaire convaincant en montrant des contre-exemples où vous croyez que jusqu'ici, nous avons eu de la chance, que nous pourrions avoir sorti la boule de la mort sans même le savoir. Il y a cette citation, quelle est-elle ? NB : Je suppose qu'elle est censée illustrer la difficulté liée à la prédiction de ce à quoi mèneront des découvertes élémentaires. Nous n'avons simplement pas cette capacité. Car nous sommes devenus bons dans l'extraction de boules mais nous n'avons pas la capacité de remettre la boule dans l'urne. Nous pouvons inventer mais nous ne pouvons pas désinventer. Notre stratégie actuelle est d'espérer qu'il n'y pas de boule noire dans l'urne. CA : Une fois sortie, elle est sortie et vous ne pouvez pas la remettre, et vous nous pensez chanceux. Expliquez-nous quelques-uns de ces exemples. Vous parlez de différents types de vulnérabilités. NB : Le type le plus simple à comprendre est une technologie qui rend la destruction massive très facile. La biologie synthétique pourrait être une source féconde d'une telle boule, mais nombre d'autres choses que nous pourrions -- pensez à la géo-ingénierie, c'est génial, non ? Nous pourrions contrer le réchauffement climatique mais nous ne voulons pas que ce soit trop simple et qu'un individu quelconque et sa grand-mère aient la capacité d'altérer radicalement le climat terrestre. Ou peut-être les drones autonomes mortels, des essaims de robots tueurs de la taille d'un moustique et produits en masse. La nanotechnologie, l'intelligence générale artificielle. CA : Vous avancez que c'est une question de chance que quand nous avons découvert que la puissance nucléaire pouvait créer une bombe, il aurait pu arriver que nous puissions créer une bombe avec des ressources bien plus simples d'accès pour quiconque. NB : Repensez aux années 30, où pour la première fois nous avons fait des découvertes capitales en physique nucléaire, un génie découvre qu'il est possible d'entraîner une réaction nucléaire en chaîne puis réalise que cela pourrait mener à la bombe. Nous continuons à y travailler et il s'avère qu'il vous faut, pour une bombe nucléaire, de l'uranium ou du plutonium hautement enrichi, qui sont très difficiles à obtenir. Vous avez besoin d'ultracentrifugeuses, de réacteurs et de quantités massives d'énergie. Mais supposez qu'au lieu de cela, il y ait eu une façon simple de libérer l'énergie de l'atome. Peut-être qu'en cuisant du sable dans un four micro-ondes ou quelque chose du genre, vous auriez pu causer une détonation nucléaire. Nous savons que c'est physiquement impossible. Mais avant de faire les calculs adéquats, comment savoir comment cela allait tourner ? CA : Ne pourriez-vous pas avancer que pour que la vie évolue sur Terre, cela suppose un environnement stable, que s'il était possible de causer des réactions nucléaires massives relativement facilement, la Terre n'aurait jamais été stable, nous ne serions pas là. NB : Oui, à moins qu'il y ait une chose facile à faire volontairement mais qui n'arriverait pas par hasard. Des choses faciles à faire, comme empiler 10 cubes les uns sur les autres, mais dans la nature, vous ne trouverez pas une pile de 10 cubes. CA : C'est probablement la chose qui inquiète le plus la majorité d'entre nous et oui, la biologie synthétique est peut-être le chemin le plus rapide qui, nous pouvons envisager, nous y mènera dans un avenir proche. NB : Réfléchissez à ce que cela aurait signifié si, disons, quiconque travaillant dans sa cuisine pendant un après-midi pouvait détruire une ville. Il est difficile de voir comment la civilisation moderne actuelle aurait pu survivre à cela. Car dans toute population d'un million de personnes, il y aura toujours quelqu'un qui, peu importe la raison, choisira d'utiliser ce pouvoir destructeur. Si ce résidu apocalyptique décidait de détruire une ville, ou pire, des villes seraient détruites. CA : Voici un autre type de vulnérabilité. Parlez-en. NB : En plus de ces types de balles noires évidents qui rendraient possible de faire exploser plein de choses, d'autres types agiraient en créant de mauvaises incitations pour que les humains fassent des choses nuisibles. Le type 2a, nous pouvons l'appeler ainsi, c'est réfléchir à une technologie qui invite les grandes puissances à utiliser leurs forces massives pour causer de la destruction. Les armes nucléaires en étaient très proches. Nous avons dépensé plus de 10 billions de dollars pour fabriquer 70 000 ogives nucléaires et les placer en état d'alerte instantanée. A plusieurs reprises durant la Guerre froide, on a failli se faire sauter. Non pas que beaucoup de gens pensaient que ce serait une super idée de dépenser 10 billions de dollars pour se faire sauter, mais les incitations étaient telles que nous nous trouvions -- cela aurait pu être pire. Imaginez s'il y a avait eu un premier coup assuré. Cela aurait pu être très délicat, dans une situation de crise, de s'abstenir de lancer tous les missiles nucléaires. A défaut d'autre chose, car vous craindriez que l'autre camp ne le fasse. CA : La destruction mutuelle assurée a maintenu la Guerre froide relativement stable. Sans cela, nous pourrions ne pas être là. NB : Cela aurait pu être plus instable que cela. Il pourrait y avoir d'autres propriétés technologiques. Il aurait pu être plus dur d'avoir des traités si au lieu des armes nucléaires, cela avait été une chose plus petite ou moins distinctive. CA : Avec les mauvaises incitations pour les acteurs puissants, vous vous inquiétez de telles incitations pour nous tous, le type 2b. NB : Nous pourrions prendre le cas du réchauffement climatique. Il y a beaucoup de petits conforts qui mènent chacun d'entre nous à faire des choses qui, individuellement, n'ont pas d'effet significatif. Mais si des milliards de gens le font, cumulativement, cela a un effet préjudiciable. Le réchauffement climatique aurait pu être pire qu'il ne l'est. Nous avons le paramètre de sensibilité climatique. C'est un paramètre qui indique le réchauffement si on émet une certaine quantité de gaz à effet de serre. Mais supposez que la situation soit qu'avec les quantités de gaz à effet de serre émis, au lieu d'une température augmentant d'entre 3 et 4,5 degrés d'ici 2100, imaginez que c'eût été 15 ou 20 degrés. La situation aurait alors été très mauvaise. Imaginez que les énergies renouvelables aient été bien plus complexes. Ou qu'il y ait eu plus de carburants fossiles. CA : Ne pourriez-vous pas avancer que dans ce cas de -- si ce que nous faisons aujourd'hui avait entraîné une différence de 10 degrés sur une période que nous pourrions voir, l'humanité se serait bougé le cul et y aurait fait quelque chose. Nous sommes stupides, mais peut-être pas autant. Ou peut-être que si. NB : Je ne parierais pas. (Rires) Vous pourriez imaginer d'autres options. Actuellement, c'est un peu difficile de passer aux énergies renouvelables, mais c'est possible. Cela aurait pu être que, avec une physique légèrement différente, il aurait été bien plus cher de faire ces choses-là. CA : Quelle est votre opinion ? Pensez-vous, en réunissant ces possibilités, cette Terre, l'humanité que nous sommes, nous sommes un monde vulnérable ? Qu'il y a une boule de la mort dans notre futur ? NB : C'est difficile à dire. Je pense qu'il pourrait y avoir diverses boules noires dans l'urne, c'est ce qu'il semble. Il pourrait aussi y avoir des boules dorées qui nous aideraient à nous protéger des boules noires. Je ne sais pas dans quel ordre elles vont sortir. CA : Une critique philosophique possible de cette idée, c'est que cela implique une vision de l'avenir qui est globalement établie. Soit cette boule est là, soit elle ne l'est pas. D'une certaine façon, ce n'est pas une vision de l'avenir en laquelle je veux croire. Je veux croire que l'avenir est indéterminé, que nos décisions aujourd'hui détermineront quel genre de boules nous sortons de l'urne. NB : Si nous continuons à inventer, nous finirons par sortir toutes les boules. Je pense qu'il y a une forme de déterminisme technologique qui est assez plausible. Vous avez peu de probabilités de rencontrer une société qui utilise des haches en silex et des avions à réaction. Vous pouvez presque voir la technologie comme un ensemble de potentialités. La technologie est la chose nous permettant de faire diverses choses et d'obtenir divers effets sur le monde. Comment nous allons l'utiliser dépend des choix humains. Mais si vous pensez à ces trois types de vulnérabilités, elles ne supposent pas tant de comment nous choisirions de l'utiliser. Une vulnérabilité de type 1, cet énorme pouvoir destructeur, ce n'est pas une hypothèse forte de penser que dans une population de millions de gens il y en aurait qui choisiraient de l'utiliser pour détruire. CA : Pour moi, l'argument qui me perturbe le plus, c'est que nous pourrions avoir un aperçu de l'urne qui rendrait très probable que nous soyons condamnés. Si vous croyez au pouvoir accélérateur, qu'intrinsèquement, la technologie accélère, que nous créons les outils nous rendant plus puissants, vous finissez par en arriver à un point où chaque individu peut tous nous éliminer et il semble alors que nous soyons foutus. Cet argument n'est-il pas alarmant ? NB : Oui. (Rires) Je pense -- Nous avons de plus en plus de pouvoir et il est de plus en plus simple d'utiliser ce pouvoir, mais nous pouvons aussi inventer des technologies qui nous aident à contrôler l'utilisation que les gens font de ce pouvoir. CA : Parlons de cela, parlons de la réponse. Supposons que réfléchir à toutes les possibilités qu'il y a actuellement -- ce n'est pas que la biologie synthétique, ce sont les cyberguerres, l'intelligence artificielle et ainsi de suite -- qu'il y a une condamnation sérieuse dans notre avenir. Quelles sont les réponses possibles ? Vous avez parlé de quatre réponses possibles. NB : Restreindre le développement technologique ne semble pas prometteur si nous parlons d'une interruption générale des progrès technologiques. Ce n'est ni faisable ni désirable, même si nous le pouvions. Je pense qu'il y a des domaines très limités où vous pourriez vouloir ralentir les progrès technologiques. Vous ne voulez pas de progrès plus rapides pour les armes biologiques ou la séparation d'isotope, ce qui faciliterait la création de bombes nucléaires. CA : Avant, j'étais complètement d'accord avec cela. Mais j'aimerais prendre un instant pour contre-argumenter. Tout d'abord, si vous considérez l'histoire des dernières décennies, il y a toujours eu une évolution vers l'avant à pleine vitesse, ça va, c'est notre seul choix. Mais si vous considérez la mondialisation et son accélération rapide, si vous considérez la stratégie d' « avancer vite et casser des trucs » et ce qui est arrivé, puis que vous considérez le potentiel de la biologie synthétique, je ne sais pas si nous devrions avancer rapidement ou sans aucune restriction vers un monde où vous pourriez avoir une imprimante d'ADN à la maison et dans les lycées. Il y a des restrictions, non ? NB : Il y a la première partie : l'infaisabilité. Si vous pensez qu'il serait désirable d'arrêter, il y a le problème de faisabilité. Cela n'aide pas vraiment si une nation -- CA : Cela n'aide pas si une nation arrête, mais nous avons eu des traités auparavant. C'est ainsi que nous avons survécu à la menace nucléaire, c'est en en passant par le processus douloureux des négociations. Je me demande si la logique n'est pas que nous, en termes de priorité mondiale, nous ne devrions pas essayer, commencer à négocier maintenant des règles très strictes sur les lieux de conduite de recherches biologiques. Ce n'est pas une chose que vous voulez démocratiser, si ? NB : Je suis complètement d'accord -- il serait désirable, par exemple, d'avoir des machines de synthèse d'ADN, pas en tant que produit pour lequel chaque labo a son appareil, mais en tant que service. Il pourrait y avoir quatre ou cinq endroits au monde où vous pourriez envoyer un modèle numérique et l'ADN arriverait à vous. Vous auriez la capacité, si un jour cela semblait vraiment nécessaire, il y aurait un ensemble fini de goulots d'étranglement. Je pense que vous voulez considérer des opportunités particulières où vous pourriez avoir un contrôle plus strict. CA : Vous croyez, au fond, que nous ne réussirons pas à contenir les choses. Quelqu'un, quelque part -- en Corée du Nord -- quelqu'un va y arriver et découvrir ce savoir, s'il est à découvrir. NB : C'est plausible dans les conditions actuelles. Ce n'est pas que la biologie synthétique. N'importe quel genre de changement profond et nouveau pourrait être une boule noire. CA : Considérons une autre réponse possible. NB : Ceci, à mon avis, a un potentiel limité. Avec la vulnérabilité de type 1, si vous pouvez réduire le nombre de personnes qui sont motivées à détruire le monde, si elles seules avaient l'accès et les moyens, ce serait bien. CA : Dans cette image, vous imaginez ces drones volant à travers le monde avec une reconnaissance faciale. Quand ils repèrent quelqu'un présentant un comportement sociopathe, ils le couvrent d'amour, le rétablissent. NB : C'est une image hybride. Éliminer peut signifier soit incarcérer ou tuer, soit les persuader d'avoir une meilleure vision du monde. Le principe, c'est : imaginez être extrêmement performant et réduire le nombre de tels individus de moitié. Si vous voulez le faire via la persuasion, vous rivalisez contre toutes les grandes forces qui essayent de persuader les gens, les partis, la religion, le système éducatif. Supposez pouvoir le réduire de moitié, le risque ne serait pas réduit de moitié. Peut-être de 5% ou 10%. CA : Vous ne recommandez pas que l'on parie l'avenir de l'humanité sur la seconde réponse. NB : C'est bien d'essayer de dissuader et persuader les gens, mais pas miser dessus comme seul dispositif de sécurité. CA : Et la troisième réponse ? NB : Il y a deux méthodes générales que nous pourrions utiliser pour parvenir à la capacité de stabiliser le monde face à l'éventail complet des vulnérabilités possibles. Nous aurions besoin des deux. Une est une capacité optimale de prévention policière. Afin de pouvoir intercepter. Si quiconque entamait cette chose dangereuse, vous pourriez l'intercepter en temps réel et l'arrêter. Cela nécessiterait une surveillance omniprésente, tout le monde serait constamment surveillé. CA : C'est en gros une forme de « Minority Report ». NB : Vous auriez des algorithmes d'IA, de gros centres de liberté qui examineraient cela, et ainsi de suite. CA : La surveillance de masse n'est pas très populaire en ce moment. (Rires) NB : Ce petit dispositif, imaginez ce genre de collier que vous devriez porter tout le temps, avec des caméras multidirectionnelles. Mais pour que cela passe mieux, appelez-le la « balise de la liberté » ou autre. (Rires) CA : D'accord. C'est la conversation -- c'est pour cela que c'est une conversation si époustouflante. NB : Il y a toute une conversation à ce sujet-là en particulier. Il y a de gros problèmes et risques avec cela. Nous y reviendrons peut-être. L'autre, la dernière, l'autre capacité de stabilisation générale comble un autre vide dans la gouvernance. La surveillance comblerait pour un vide dans la gouvernance à un niveau micro : empêcher quiconque de faire quoi que ce soit de hautement illégal. Il y un vide équivalent dans la gouvernance au niveau macro, au niveau mondial. Il vous faudrait la capacité fiable d'empêcher les pires types d'échecs de coordination mondiale, d'éviter les guerres entre les grandes puissances, les courses à l'armement, les problèmes communs cataclysmiques, afin de faire face aux vulnérabilités de type 2a. CA : La gouvernance mondiale est un terme qui n'est plus du tout à la mode actuellement, mais vous pourriez avancer qu'au cours de l'histoire, de l'histoire de l'humanité, à chaque moment de montée du pouvoir technologique, les gens se sont réorganisés et ont centralisé le pouvoir. Par exemple, quand un groupe de criminels itinérants pouvait prendre le contrôle d'une société, la réponse a été d'avoir un État-nation et une force centralisée, policière ou militaire, pour que ce ne soit pas possible. La logique d'avoir une seule personne ou un seul groupe capable d'éradiquer l'humanité signifie qu'à un moment, nous devrons emprunter ce chemin, sous une certaine forme, non ? NB : Il est vrai que l'échelle de l'organisation politique a augmenté au cours de l'histoire humaine. C'était un groupe de chasseurs-cueilleurs, puis des chefferies, des cité-États, des nations, maintenant il y a des organisations internationales et ainsi de suite. Je veux juste m'assurer d'avoir l'opportunité d'insister qu'il y a évidemment d'énormes inconvénients et d'énormes risques dans la surveillance de masse et la gouvernance mondiale. Je vais faire remarquer que si nous sommes chanceux, le monde pourrait être tel que ce seraient les seules façons de survivre à une boule noire. CA : La logique de cette théorie, me semble-t-il, c'est que nous devons reconnaître que nous ne pouvons pas tout avoir. C'est le genre de rêve naïf, si je puis dire, que nombre d'entre nous avaient que la technologie sera toujours une force du bien, qu'il ne faut ne pas s'arrêter, aller aussi vite que possible et ne pas prêter attention à certaines conséquences, ce n'est même pas une option. Nous pouvons le faire. Si nous le faisons, il faudra accepter certaines choses très désagréables et faire la course à l'armement avec nous-mêmes : si vous voulez le pouvoir, vous devriez le confiner, vous devriez trouver comment le confiner. NB : Je pense que c'est une option, une option très tentante, dans un sens la plus simple et cela pourrait fonctionner, mais nous sommes alors vulnérables à l'extraction d'une boule noire. Avec un peu de coordination -- en résolvant ce problème de macro gouvernance et celui de micro gouvernance -- nous pourrions extraire toutes les boules de l'urne et nous en bénéficierons grandement. CA : Si nous vivons dans une simulation, cela importe-t-il ? Nous recommençons. (Rires) NB : Alors... je... (Rires) Je ne l'ai pas vu arriver. CA : Quelle est votre opinion ? En rassemblant toutes les pièces, quelle est notre probabilité d'être condamnés ? (Rires) J'adore comment les gens rient à cette question. NB : A un niveau individuel, nous semblons condamnés, juste d'un point de vue de l'échéance, nous nous décomposons et vieillissons. (Rires) C'est délicat. Si vous voulez y attacher une probabilité, tout d'abord, qui sommes-nous ? Si vous êtes vieux, vous mourrez de causes naturelles. Si vous êtes jeune, vous avez 100 ans peut-être, selon à qui vous demandez. Le seuil : qu'est-ce qui compte comme un dévaste civilisationnel ? Dans l'article, je n'ai pas besoin d'une catastrophe civilisationnelle pour que cela compte. C'est une question de définition. Je dis un milliard de morts ou une diminution du PIB mondial de 50%, mais selon le seuil que vous donnez, vous aurez une probabilité différente. Vous pourriez dire que je suis un optimiste effrayé. (Rires) CA : Vous êtes un optimiste effrayé et vous venez de créer un grand nombre d'autres personnes effrayées. (Rires) NB : Dans la simulation. CA : Dans une simulation. Nick Bostrom, votre esprit m'épate. Merci beaucoup de nous avoir effrayés. (Applaudissements)