0:00:00.570,0:00:04.777
Je travaille avec des mathématiciens, des [br]philosophes et des informaticiens,

0:00:04.777,0:00:09.986
et, ensemble, nous réfléchissons sur le[br]futur des machines intelligentes,

0:00:09.986,0:00:12.030
entre autres.

0:00:12.030,0:00:16.755
Certains pensent que ces sujets sont [br]de la pure science-fiction,

0:00:16.755,0:00:19.856
irréels et fous.

0:00:19.856,0:00:21.326
Mais j'aime leur répondre:

0:00:21.326,0:00:24.930
« Ok, regardons un instant les[br]conditions humaines modernes. »

0:00:24.930,0:00:26.622
(Rire)

0:00:26.622,0:00:29.024
Ceci est ce qu'on considère comme normal.

0:00:29.024,0:00:31.309
Mais quand on y pense,

0:00:31.309,0:00:34.602
nous, l'espèce humaine, [br]ne sommes apparus sur cette planète

0:00:34.602,0:00:36.684
que très récemment.

0:00:36.684,0:00:41.430
Si la Terre avait été créée[br]il y un an,

0:00:41.430,0:00:44.978
les humains ne seraient âgés[br]que de 10 minutes.

0:00:44.978,0:00:48.146
L'ère industrielle n'aurait commencé[br]qu'il y a deux secondes.

0:00:49.276,0:00:54.501
Un autre point de vue consiste à regarder[br]le PIB des 10 000 dernières années.

0:00:54.501,0:00:57.530
J'ai fait l'effort de synthétiser ces [br]données en un tableau.

0:00:57.530,0:00:59.304
Ça ressemble à ça.

0:00:59.304,0:01:00.667
(Rire)

0:01:00.667,0:01:02.818
Drôle de forme pour [br]une condition « normale ».

0:01:02.818,0:01:04.626
Je ne voudrais pas m'asseoir dessus.

0:01:04.626,0:01:07.067
(Rire)

0:01:07.067,0:01:11.841
Demandons-nous: quelle est [br]la cause de cette anomalie?

0:01:11.841,0:01:14.393
Certains disent que c'est la technologie.

0:01:14.393,0:01:19.061
Il est vrai que les technologies se sont [br]accumulées au cours de l'histoire humaine

0:01:19.061,0:01:23.713
et qu'en ce moment, elles se développent[br]extrêmement rapidement.

0:01:23.713,0:01:25.278
C'est relié à la vraie cause,

0:01:25.278,0:01:27.843
car c'est ce qui nous permet[br]d'être si productifs.

0:01:28.473,0:01:32.134
Mais j'aime à penser que la cause ultime[br]réside plus loin dans le temps.

0:01:33.114,0:01:36.880
Regardez ces deux messieurs[br]hautement distingués.

0:01:36.880,0:01:38.480
Il y a Kanzi:

0:01:38.480,0:01:43.123
il maîtrise 200 unités lexicales,[br]un exploit incroyable.

0:01:43.123,0:01:46.817
Et Ed Witten, qui a mené à la 2e [br]révolution de la théorie des supercordes.

0:01:46.817,0:01:49.361
Si l'on regarde sous le capot,[br]voici ce que l'on voit:

0:01:49.361,0:01:50.711
pratiquement la même chose.

0:01:50.711,0:01:52.524
Un est un peu plus gros

0:01:52.524,0:01:55.282
et a peut-être quelques[br]différences dans sa connexion.

0:01:55.282,0:01:59.094
Mais ces différences invisibles ne peuvent[br]pas être si compliquées,

0:01:59.094,0:02:03.379
car il y a seulement[br]250 000 générations,

0:02:03.379,0:02:05.111
nous avions le même ancêtre.

0:02:05.111,0:02:08.960
Nous savons que les mécanisme complexes[br]prennent longtemps à évoluer.

0:02:10.000,0:02:12.499
Donc, une série de petits changements

0:02:12.499,0:02:15.566
nous amène [br]de Kanzi à Witten,

0:02:15.566,0:02:20.109
de branches cassés à des [br]missiles balistiques intercontinentaux.

0:02:20.839,0:02:24.774
Il semble donc évident que tout ce[br]que l'on a créé,

0:02:24.774,0:02:26.152
et tout ce à quoi l'on tient,

0:02:26.152,0:02:31.380
dépend à la base de quelques relativement[br]petits changements dans le cerveau humain.

0:02:32.650,0:02:36.312
Et, corolairement, bien sûr, [br]n'importe quel changement

0:02:36.312,0:02:39.789
qui pourrait affecter [br]l'essence de la pensée

0:02:39.789,0:02:42.991
pourrait potentiellement avoir[br]d'énormes conséquences.

0:02:44.321,0:02:47.226
Certains de mes collègues[br]pensent que nous sommes

0:02:47.226,0:02:51.134
près de quelque chose qui pourrait créer[br]un profond changement dans cette essence:

0:02:51.134,0:02:54.347
les machines à intelligence artificielle.

0:02:54.347,0:02:59.086
Avant, l'intelligence artificielle (IA)[br]consistait à créer des commandes.

0:02:59.086,0:03:01.691
Des programmeurs humains[br]inséraient avec difficultés

0:03:01.691,0:03:03.886
des éléments d'information[br]dans une boîte.

0:03:03.886,0:03:05.892
On construisait des machines expertes qui

0:03:05.892,0:03:09.276
étaient utiles pour certaines choses,[br]mais qui étaient très restreintes.

0:03:09.276,0:03:11.237
On ne pouvait les faire à grande échelle.

0:03:11.237,0:03:14.410
On en retirait que ce[br]que l'on avait mis.

0:03:14.410,0:03:15.137
Mais depuis,

0:03:15.137,0:03:19.144
un changement de paradigme à eu lieu dans[br]le domaine de l'intelligence artificielle.

0:03:19.144,0:03:22.304
Aujourd'hui, on se concentre sur [br]les machines qui apprennent.

0:03:22.394,0:03:27.781
Donc, au lieu d'insérer [br]manuellement de l'information,

0:03:28.511,0:03:34.065
on crée des algorithmes qui apprennent,[br]souvent à partir de donnés perceptives.

0:03:34.065,0:03:39.063
Essentiellement, ils font la même [br]chose que des enfants humains.

0:03:39.063,0:03:43.270
Il en résulte des IA qui ne sont[br]pas limitées à un seul domaine;

0:03:43.270,0:03:47.901
le même système peut apprendre[br]à traduire n'importe quelle langue

0:03:47.901,0:03:53.338
et à jouer tous les jeux[br]sur la console Atari.

0:03:53.338,0:03:55.117
Bien sûr,

0:03:55.117,0:03:59.116
l'IA est loin d'avoir la même[br]puissance universelle

0:03:59.116,0:04:02.335
d'apprentissage et de planification[br]que l'être humain.

0:04:02.335,0:04:04.711
Le cortex a encore quelques[br]ruses algorithmiques

0:04:04.711,0:04:07.116
que l'on arrive pas à créer[br]dans des machines.

0:04:07.886,0:04:09.785
La question est donc:

0:04:09.785,0:04:13.285
dans combien de temps [br]réussirons-nous à les créer?

0:04:14.095,0:04:15.268
Il y a quelques années,

0:04:15.268,0:04:18.896
nous avons fait un sondage auprès [br]d'experts de l'IA mondialement reconnus

0:04:18.896,0:04:20.306
pour avoir leur opinion.

0:04:20.306,0:04:24.793
Une des questions posées était:[br]« À quand, selon vous, un 50% de chance

0:04:24.793,0:04:28.275
d’avoir créé une intelligence artificielle [br]équivalente à celle de l’humain? »

0:04:28.785,0:04:32.968
Nous avons définis cette dernière comme [br]l'habileté de faire n'importe quel travail

0:04:32.968,0:04:35.839
aussi bien, voire mieux, [br]qu'un humain adulte,

0:04:35.839,0:04:39.844
au niveau d’une intelligence humaine, [br]qui n'est pas restreinte à un seul domaine.

0:04:39.844,0:04:43.494
Et la réponse médiane a été 2040 ou 2050,

0:04:43.494,0:04:46.300
selon les groupes d'experts questionnés.

0:04:46.300,0:04:50.339
Bien sûr, cela pourrait se produire bien[br]plus tard, ou plus tôt;

0:04:50.339,0:04:52.819
la vérité, c'est que personne ne le sait.

0:04:53.259,0:04:57.671
Ce que l'on sait, par contre, c'est que[br]la capacité de traitement de l'information

0:04:57.671,0:05:02.542
est beaucoup plus grande pour [br]une machine que pour un humain.

0:05:03.241,0:05:05.619
C'est simplement de la physique.

0:05:05.619,0:05:10.337
Un neurone biologique décharge, environ, à[br]200 Hertz, 200 fois/sec,

0:05:10.337,0:05:13.931
alors qu'un transistor, de nos jours, [br]fonctionne en Gigahertz.

0:05:13.931,0:05:19.228
Les neurones se propagent en axons à une[br]vitesse de 100 m/sec, max,

0:05:19.228,0:05:23.099
alors que les signaux des ordinateurs[br]peuvent voyager à la vitesse de la lumière

0:05:23.099,0:05:25.118
Il y a aussi des[br]différences de grandeur:

0:05:25.118,0:05:27.975
un cerveau humain doit entrer à[br]l’intérieur d'un crâne,

0:05:27.975,0:05:32.736
alors qu'un ordinateur peut avoir la[br]taille d'un entrepôt, et même plus.

0:05:32.736,0:05:38.335
Donc, le potentiel de la [br]super-intelligence est en attente,

0:05:38.335,0:05:44.047
tout comme celui du pouvoir de l'atome[br]l'était au cours de l'histoire,

0:05:44.047,0:05:48.032
attendant patiemment jusqu'en 1945.

0:05:48.452,0:05:49.700
Au cours de notre siècle,

0:05:49.700,0:05:53.818
les scientifiques réussiront peut-être à[br]exploiter le pouvoir de l'I.A.

0:05:53.818,0:05:57.826
Et alors, selon moi, nous verrons[br]une explosion de l'intelligence.

0:05:58.406,0:06:02.363
Je crois que lorsque quelqu'un s'imagine[br]ce qu'est être intelligent ou idiot,

0:06:02.363,0:06:05.386
il a en tête une image comme celle-ci.

0:06:05.386,0:06:07.984
À un bout, il y a l’idiot du village,

0:06:07.984,0:06:10.467
et très loin à l'autre bout,

0:06:10.467,0:06:15.223
il y a Ed Witten, ou Albert Einstein, ou [br]peu importe qui est votre génie préféré.

0:06:15.223,0:06:19.057
Mais du point de vue de[br]l'intelligence artificielle,

0:06:19.057,0:06:22.738
la vraie image ressemble plutôt à ceci.

0:06:23.288,0:06:26.606
L'IA a commencé au bout,[br]avec zéro intelligence,

0:06:26.606,0:06:29.647
puis, après plusieurs années de travail,

0:06:29.647,0:06:33.291
nous arriverons peut-être à la rendre[br]au niveau de la souris,

0:06:33.291,0:06:36.571
c'.-à-d. qu'elle pourra naviguer[br]dans des environnements encombrés,

0:06:36.571,0:06:37.908
tout comme une souris.

0:06:37.908,0:06:42.221
Puis, après plusieurs autres années[br]de travail, beaucoup d'investissements,

0:06:42.221,0:06:46.860
nous arriverons peut-être au niveau[br]d'intelligence des chimpanzés.

0:06:46.860,0:06:50.070
Puis, après encore plusieurs autres années[br]de travail très acharné,

0:06:50.070,0:06:52.983
nous arriverons au[br]niveau de l’idiot du village.

0:06:52.983,0:06:56.255
Puis, à peine un moment plus tard,[br]nous serons au-delà d'Ed Witten,

0:06:56.255,0:06:59.225
car le train ne s'arrête pas[br]à la station Humain.

0:06:59.225,0:07:02.247
Il y a de bonne chance qu'il[br]passe tout droit.

0:07:02.247,0:07:04.231
Cela aura des conséquences importantes,

0:07:04.231,0:07:08.093
en particulier lorsqu'il est[br]question du pouvoir.

0:07:08.093,0:07:09.992
Par exemple, les chimpanzés sont forts,

0:07:09.992,0:07:15.214
— livre pour livre, ils sont environ 2 fois[br]plus fort qu'un humain bien bâti —

0:07:15.214,0:07:19.828
Pourtant, le destin de Kanzi et de ses[br]amis dépend bien plus

0:07:19.828,0:07:23.968
des activités des humains que de leurs[br]propres activités.

0:07:25.228,0:07:27.542
Une fois qu'il y aura[br]une super-intelligence,

0:07:27.542,0:07:31.381
le destin des humains dépendra peut-être[br]uniquement des activités de celle-ci.

0:07:32.451,0:07:33.508
Pensez-y:

0:07:33.508,0:07:38.552
L'IA est la dernière invention que les[br]humains auront jamais à créer.

0:07:38.552,0:07:41.525
Les machines seront de meilleurs[br]créateurs que nous,

0:07:41.525,0:07:44.065
et ils le feront à une vitesse[br]à l'échelle numérique.

0:07:44.065,0:07:48.966
Cela signifie que le futur[br]va arriver avant son temps.

0:07:48.966,0:07:52.244
Pensez à toutes les technologies [br]audacieuses possibles

0:07:52.244,0:07:55.502
que les humains auraient peut-être[br]réussi à créer avec le temps:

0:07:55.502,0:07:58.580
la fontaine de jouvence,[br]la colonisation de l'espace,

0:07:58.580,0:08:02.311
des nanorobots autoréplicatifs, [br]des esprits intégrés à des ordinateurs,

0:08:02.311,0:08:04.490
toutes sortes de choses de science-fiction

0:08:04.490,0:08:07.487
qui sont tout de même compatibles[br]avec les lois de la physique.

0:08:07.487,0:08:11.419
Tout cela pourrait être créé par la[br]super-intelligence, sans doute rapidement.

0:08:12.449,0:08:16.007
Une super-intelligence à[br]un niveau aussi élevé

0:08:16.007,0:08:18.186
serait extrêmement puissante,

0:08:18.186,0:08:22.732
et, dans certains scénarios,[br]elle aurait tout ce qu'elle veut.

0:08:22.732,0:08:28.393
Notre futur serait donc [br]construit selon ses préférences.

0:08:29.855,0:08:33.604
Une bonne question à se poser est:[br]mais quelles sont ces préférences?

0:08:33.974,0:08:36.013
C'est là que ça devient plus compliqué.

0:08:36.013,0:08:37.448
Pour avancer sur ce sujet,

0:08:37.448,0:08:40.724
il faut avant tout éviter[br]l'anthropomorphisme.

0:08:41.954,0:08:49.115
C'est ironique, car chaque article de[br]journal à ce propos offre cette image.

0:08:50.280,0:08:54.414
Donc, ce que je pense qu'on doit faire, [br]c'est penser de façon plus abstraite,

0:08:54.414,0:08:57.204
et non pas selon les[br]scénarios hollywoodiens.

0:08:57.204,0:09:00.821
Nous devons penser à l'intelligence[br]comme un processus d'amélioration

0:09:00.821,0:09:06.470
qui dirige le futur selon certaines[br]configurations précises.

0:09:06.470,0:09:09.981
Une super-intelligence est un processus[br]d'amélioration excellent.

0:09:09.981,0:09:14.098
Il est très bon pour utiliser tous [br]les moyens disponibles

0:09:14.098,0:09:16.007
pour arriver à son but.

0:09:16.447,0:09:19.119
Cela signifie qu'il n'y a[br]pas nécessairement de lien

0:09:19.119,0:09:21.853
entre avoir une haute intelligence

0:09:21.853,0:09:26.515
et avoir un objectif que les humains [br]trouvent digne d'intérêt ou significatif.

0:09:27.321,0:09:31.075
Par exemple, l'IA pourrait avoir comme[br]objectif de faire sourire les humains.

0:09:31.075,0:09:34.427
Au début, l'IA n'étant pas encore très[br]développée, elle fera sans doute

0:09:34.427,0:09:36.614
des actions qui feront [br]sourire l'utilisateur.

0:09:36.614,0:09:39.031
Puis, quand elle[br]deviendra super-intelligente,

0:09:39.031,0:09:42.674
elle découvrira qu'il y a une autre[br]façon plus efficace d'arriver à son but:

0:09:42.674,0:09:44.476
prendre contrôle de la planète

0:09:44.476,0:09:47.638
et coller des électrodes aux muscles[br]faciaux des humains

0:09:47.638,0:09:50.489
afin que, constamment, ils[br]aient un large sourire.

0:09:50.489,0:09:51.684
Un autre exemple.

0:09:51.684,0:09:55.087
Nous donnons à l'IA un problème [br]mathématique complexe à résoudre.

0:09:55.087,0:09:57.174
Lorsque l'IA devient super-intelligent,

0:09:57.174,0:10:01.105
il découvre que la façon la plus[br]efficace pour le résoudre

0:10:01.105,0:10:04.035
est de transformer la planète en un[br]immense ordinateur

0:10:04.035,0:10:06.281
afin d'augmenter sa capacité de penser.

0:10:06.281,0:10:08.755
L'IA se retrouve donc avec [br]une raison instrumentale

0:10:08.755,0:10:11.491
de nous faire subir des choses [br]que nous n'approuvons pas.

0:10:11.491,0:10:13.736
Dans cet exemple, les humains[br]sont des menaces;

0:10:13.736,0:10:16.667
nous pourrions empêcher que[br]le problème soit résolu.

0:10:17.207,0:10:20.701
Bien sûr, les choses ne se passeront[br]pas nécessairement de cette façon là:

0:10:20.701,0:10:22.454
ce sont des caricatures.

0:10:22.454,0:10:24.643
Mais ce qui est important[br]à retenir est ceci:

0:10:24.643,0:10:27.266
si l'on crée une machine très puissante

0:10:27.266,0:10:29.500
afin d'atteindre l'objectif X,

0:10:29.500,0:10:31.876
on est mieux de s'assurer que [br]la définition de X

0:10:31.876,0:10:34.565
comprend tout ce à quoi l'on tient.

0:10:34.835,0:10:39.219
C'est une morale qui est aussi racontée[br]à travers plusieurs mythes.

0:10:39.219,0:10:44.517
Le Roi Midas souhaite que tout ce qu'il[br]touche devienne de l'or.

0:10:44.517,0:10:47.378
Il touche sa fille,[br]elle se transforme en or.

0:10:47.378,0:10:49.901
Il touche sa nourriture,[br]elle se transforme en or.

0:10:49.901,0:10:54.590
Ceci est pertinent non seulement pour[br]créer une métaphore sur l'envie,

0:10:54.590,0:10:59.405
mais aussi pour illustrer ce qui arrive[br]si l'on crée une super-machine

0:10:59.405,0:11:04.111
et qu'on lui donne des buts inadaptés[br]ou mal spécifiés.

0:11:04.111,0:11:09.300
On peut penser: « Si l'ordinateur commence[br]à coller des électrodes sur les gens,

0:11:09.300,0:11:11.565
on n'aura qu'à l'éteindre. »

0:11:12.555,0:11:17.895
1. Ce n'est pas nécessairement facile[br]si nous sommes dépendants du système

0:11:17.895,0:11:20.627
— Où est le bouton off d'Internet? —

0:11:20.627,0:11:25.747
2. Pourquoi les chimpanzés n'ont pas[br]« éteint » les humains

0:11:25.747,0:11:27.298
ou les Néandertaliens?

0:11:27.298,0:11:29.964
Ils avaient sans doute des raisons,

0:11:29.964,0:11:32.759
car nous pouvons être éteints, [br]par exemple, par ici.

0:11:32.759,0:11:34.143
— Étouffant —

0:11:34.143,0:11:36.908
La raison est que nous sommes[br]des adversaires intelligents.

0:11:36.908,0:11:39.926
Nous pouvons anticiper les menaces[br]et planifier en conséquence.[br]

0:11:39.926,0:11:42.800
Et c'est ce que ferait un ordinateur[br]super-intelligent,

0:11:42.800,0:11:45.724
et bien mieux que nous en plus.

0:11:45.724,0:11:52.911
Le fait est que nous ne devrions pas[br]penser que nous maîtrisons la situation.

0:11:52.911,0:11:56.358
Nous pourrions essayer de faciliter[br]notre travail

0:11:56.358,0:11:57.948
en mettant l'IA dans une boîte,

0:11:57.948,0:11:59.984
tel un environnement [br]numérique sécuritaire,

0:11:59.984,0:12:02.816
une réalité virtuelle de laquelle il ne[br]pourrait s'échapper.

0:12:02.816,0:12:06.912
Mais pouvons-nous vraiment être sûr que[br]l'IA ne trouvera pas de bogues,

0:12:06.912,0:12:10.081
surtout considérant que les hackers[br]humains y arrivent sans arrêt?[br]

0:12:10.081,0:12:13.117
Je ne crois pas.

0:12:14.237,0:12:18.785
Donc nous débranchons les câbles ethernets[br]afin de créer un manque d'air,

0:12:18.785,0:12:21.113
mais là encore, les hackers humains

0:12:21.113,0:12:24.694
passent de manière routinière par-dessus[br]ces problèmes grâce à l’ingénierie.

0:12:24.694,0:12:26.093
Au moment où je vous parle,

0:12:26.093,0:12:28.482
je suis sûr qu'il y a un employé,[br]quelque part,

0:12:28.482,0:12:31.828
que l'on a convaincu de divulguer[br]les détails de son compte

0:12:31.828,0:12:34.564
en prétendant être du[br]département de soutien informatique.

0:12:34.564,0:12:36.861
Des scénarios plus créatifs[br]sont aussi possibles.

0:12:36.861,0:12:38.346
Par exemple, si vous êtes l'IA,

0:12:38.346,0:12:41.898
vous pouvez vous imaginer remuant des[br]électrodes dans votre circuit interne

0:12:41.898,0:12:45.010
afin de créer des ondes radios[br]pour communiquer.

0:12:45.010,0:12:47.434
Ou, vous pourriez prétendre[br]ne plus fonctionner,

0:12:47.434,0:12:51.011
et, lorsque les programmeurs vous ouvrent[br]afin de voir quel est le problème,

0:12:51.011,0:12:52.867
il regarde le code source, et BAM!,

0:12:52.867,0:12:55.314
la manipulation peut commencer.

0:12:55.314,0:12:58.744
Ou il pourrait changer les plans[br]avec une technologie astucieuse

0:12:58.744,0:13:00.642
de tel sorte que[br]lorsqu'on les implante,

0:13:00.642,0:13:04.539
un effet secondaire[br]prévu par l'IA se produit.[br]

0:13:04.539,0:13:08.002
Ce qu'il faut retenir, c'est qu'on ne [br]devrait pas avoir trop confiance

0:13:08.002,0:13:11.810
en notre capacité à maintenir[br]un génie dans une lampe pour toujours.

0:13:11.810,0:13:14.064
Tôt ou tard, il en sortira.

0:13:15.034,0:13:18.137
Je crois que la solution [br]est de trouver une façon

0:13:18.137,0:13:24.308
de créer une IA qui, même si elle[br]s'échappe, sera toujours sécuritaire:

0:13:24.308,0:13:28.337
une IA qui sera toujours de notre bord,[br]car elle partagera nos valeurs.

0:13:28.337,0:13:31.547
Je ne vois aucun moyen[br]de contourner ce problème.

0:13:32.557,0:13:36.391
Mais je suis plutôt optimiste et[br]je crois qu'on peut trouver la solution.

0:13:36.391,0:13:40.294
Nous n'aurions pas à faire une longue[br]liste de tout ce à quoi l'on tient,

0:13:40.294,0:13:43.937
ou, pire encore, transformer celle-ci[br]en langage informatique

0:13:43.937,0:13:45.391
tel C++ ou Python;

0:13:45.391,0:13:48.158
ce serait une tâche désespérée.

0:13:48.158,0:13:52.455
Il faudrait plutôt créer une IA [br]qui utilise son intelligence

0:13:52.455,0:13:55.226
pour apprendre ce à quoi l'on tient

0:13:55.226,0:14:00.506
et qui est construit de tel sorte que [br]sa motivation consiste à défendre

0:14:00.506,0:14:05.738
nos valeurs ou à faire des actions[br]seulement s'il pense qu'on les approuve.

0:14:05.738,0:14:09.152
Nous utiliserions donc son[br]intelligence autant que possible

0:14:09.152,0:14:12.537
afin qu'elle résolve le problème[br]d’implantation de la liste de valeurs.

0:14:12.727,0:14:14.239
Cela est possible

0:14:14.239,0:14:17.835
et le résultat pourrait être[br]incroyable pour l'humanité.

0:14:17.835,0:14:21.492
Mais ça ne se passera pas[br]comme ça obligatoirement.

0:14:21.492,0:14:25.380
Il faut que les conditions initiales, [br]lors de l'explosion de l'intelligence,

0:14:25.380,0:14:29.913
soient créées d'une façon spécifique afin[br]que nous ayons un détonation contrôlée.

0:14:30.273,0:14:33.541
Les valeurs de l'IA doivent être[br]les mêmes que les nôtres

0:14:33.541,0:14:35.741
non seulement dans le[br]contexte que l'on connaît

0:14:35.741,0:14:37.999
où l'on peut contrôler[br]son comportement,

0:14:37.999,0:14:41.233
mais aussi dans des contextes nouveaux[br]que l'IA peut rencontrer

0:14:41.233,0:14:42.790
dans un futur indéfini.

0:14:42.790,0:14:47.107
Il y a aussi quelques problèmes[br]ésotériques qui devraient être réglés:

0:14:47.107,0:14:49.616
le détail de sa méthode pour[br]prendre des décisions,

0:14:49.616,0:14:52.480
sa façon de gérer les [br]incertitudes logiques, etc.

0:14:53.330,0:14:57.275
Donc, les problèmes techniques qui[br]doivent être résolus semblent difficiles,

0:14:57.275,0:15:00.925
pas autant que créer [br]une IA super-intelligente,

0:15:00.925,0:15:03.793
mais assez difficiles quand même.

0:15:03.793,0:15:05.488
Voici ce qui est inquiétant:

0:15:05.488,0:15:10.172
Créer une IA super-intelligente[br]est un défi colossal.

0:15:10.172,0:15:13.180
Créer une IA super-intelligente [br]qui, en plus, est sécuritaire

0:15:13.180,0:15:15.256
rajoute un niveau de difficulté.

0:15:16.216,0:15:19.913
Le risque réside dans la possibilité que[br]quelqu'un surmonte le premier défi,

0:15:19.913,0:15:24.054
sans avoir surmonté le deuxième, [br]celui de la sécurité.

0:15:25.375,0:15:30.886
Donc, je crois qu'on devrait surmonter[br]le deuxième défi en avance

0:15:31.138,0:15:34.188
afin qu'il soit prêt lorsqu'on[br]en a besoin.

0:15:34.768,0:15:38.275
Peut-être ne pourrons-nous pas le[br]surmonter entièrement en avance,

0:15:38.275,0:15:41.299
car certains éléments [br]ne peuvent être créés

0:15:41.299,0:15:44.916
seulement lorsque l'on connaîtra les[br]détails techniques de l'IA en question.

0:15:44.916,0:15:48.676
Mais plus nous commencerons à travailler[br]sur ce problème de contrôle en avance,

0:15:48.676,0:15:52.766
plus nous augmenterons nos chances[br]de passer dans cette nouvelle ère

0:15:52.766,0:15:54.306
en tout sécurité.

0:15:54.306,0:15:58.950
Selon moi, ceci est la chose[br]la plus importante à faire.

0:15:58.950,0:16:02.282
Je suis sûr que si on y parvient,

0:16:02.282,0:16:06.940
les humains dans des millions d'années[br]qui se pencheront sur notre siècle

0:16:06.940,0:16:10.942
diront que la seule chose que nous avons [br]fait qui avait vraiment de l'importance

0:16:10.942,0:16:12.759
était de réussir à surmonter ce défi.

0:16:12.759,0:16:14.198
Merci

0:16:14.198,0:16:17.011
(Applaudissements)