0:00:00.570,0:00:04.777
Je travaille avec des mathématiciens,[br]philosophes et informaticiens,

0:00:04.777,0:00:09.986
et nous nous réunissons pour imaginer[br]le futur de l'intelligence artificielle,

0:00:09.986,0:00:12.030
entre autres choses.

0:00:12.030,0:00:16.755
Certains pensent que[br]c'est un peu de la science-fiction,

0:00:16.755,0:00:19.856
complètement éloigné du réel.

0:00:19.856,0:00:21.326
Mais j'aime dire,

0:00:21.326,0:00:24.930
d'accord, jetons un coup d'oeil[br]à la condition humaine moderne.

0:00:24.930,0:00:26.622
(Rires)

0:00:26.622,0:00:29.024
C'est la façon normale d'être des choses.

0:00:29.024,0:00:31.309
Mais si on y pense,

0:00:31.309,0:00:34.832
nous ne sommes en fait que des invités[br]récemment arrivés sur cette planète,

0:00:34.832,0:00:36.684
l'espèce humaine.

0:00:36.684,0:00:41.430
Imaginez si la Terre [br]avait été créée il y a un an,

0:00:41.430,0:00:44.978
l'espèce humaine existerait alors[br]depuis dix minutes.

0:00:44.978,0:00:48.146
L'ère industrielle a débuté[br]il y a deux secondes.

0:00:49.276,0:00:51.501
Une autre façon de voir est de calculer

0:00:51.501,0:00:54.501
le PIB mondial[br]des 10 000 dernières années.

0:00:54.501,0:00:57.530
J'ai vraiment pris le temps[br]de faire un graphe pour vous.

0:00:57.530,0:00:59.304
Il ressemble à ça.

0:00:59.304,0:01:00.557
(Rires)

0:01:00.557,0:01:02.698
Drôle de courbe[br]pour une condition normale.

0:01:02.698,0:01:04.516
Je ne voudrais pas lui tourner le dos.

0:01:04.516,0:01:07.067
(Rires)

0:01:07.067,0:01:11.841
Demandons-nous, quelle est la cause[br]de cette anomalie ?

0:01:11.851,0:01:14.393
Certains diront que c'est la technologie.

0:01:14.393,0:01:19.061
C'est vrai, la technologie s'est accumulée[br]au cours de l'histoire humaine,

0:01:19.061,0:01:23.713
et aujourd'hui, la technologie[br]progresse très rapidement --

0:01:23.713,0:01:25.278
c'est la cause la plus proche,

0:01:25.278,0:01:27.843
c'est pourquoi nous sommes[br]si productifs de nos jours.

0:01:28.473,0:01:32.134
Mais je préfère réfléchir en remontant [br]à la cause fondamentale.

0:01:33.114,0:01:36.880
Regardez ces deux messieurs[br]très distingués :

0:01:36.880,0:01:38.480
Nous avons Kanzi --

0:01:38.480,0:01:43.123
il maîtrise 200 symboles lexicaux,[br]un exploit incroyable.

0:01:43.123,0:01:46.557
Et Ed Witten a déclenché[br]la seconde révolution des supercordes.

0:01:46.557,0:01:49.411
Si nous regardons sous la capuche,[br]voici ce que l'on trouve :

0:01:49.411,0:01:50.711
en gros, la même chose.

0:01:50.711,0:01:52.524
L'un est un peu plus grand,

0:01:52.524,0:01:55.282
il y a peut-être aussi quelques[br]subtilités de câblage.

0:01:55.282,0:01:59.094
Ces différences invisibles ne peuvent[br]être trop compliquées quoi qu'il en soit,

0:01:59.094,0:02:03.379
car il n'y a eu que[br]250 000 générations

0:02:03.379,0:02:05.121
depuis notre dernier ancêtre commun.

0:02:05.121,0:02:09.030
Nous savons que les mécanismes compliqués[br]demandent beaucoup de temps pour évoluer.

0:02:10.000,0:02:12.499
Donc des changements relativement mineurs

0:02:12.499,0:02:15.566
nous emmènent de Kanzi à Witten,

0:02:15.566,0:02:20.109
de branches arrachées aux arbres aux[br]missiles balistiques intercontinentaux.

0:02:20.839,0:02:24.774
Il semble alors assez évident[br]que tout ce que nous avons réalisé,

0:02:24.774,0:02:26.152
et ce que nous chérissons,

0:02:26.152,0:02:29.650
dépend principalement de quelques[br]changements mineurs

0:02:29.650,0:02:32.650
qui ont aboutit à l'esprit humain.

0:02:32.650,0:02:36.312
Le corollaire, bien sûr,[br]est que tout changement à venir

0:02:36.312,0:02:39.789
qui pourrait changer significativement[br]le substrat de la pensée

0:02:39.789,0:02:42.991
pourrait avoir potentiellement[br]d'énormes conséquences.

0:02:44.181,0:02:47.226
Certains de mes collègues[br]pensent que nous sommes sur le point

0:02:47.226,0:02:51.134
de développer quelque chose qui pourrait[br]causer un tel changement dans ce substrat,

0:02:51.134,0:02:54.347
et c'est la super[br]intelligence artificielle.

0:02:54.347,0:02:59.086
Avant, l'intelligence artificielle consistait[br]à mettre des commandes dans une boîte.

0:02:59.086,0:03:00.751
Il y avait des programmeurs humains

0:03:00.751,0:03:03.886
qui fabriquaient minutieusement[br]des objets savants.

0:03:03.886,0:03:05.972
On construisait ces systèmes experts,

0:03:05.972,0:03:08.146
et ils étaient utiles[br]pour certains buts,

0:03:08.146,0:03:11.097
mais ils étaient très fragiles,[br]on ne pouvait pas les agrandir.

0:03:11.097,0:03:14.410
En gros, vous n'aviez que[br]ce que vous aviez mis dedans.

0:03:14.410,0:03:15.407
Mais depuis,

0:03:15.407,0:03:18.874
une révolution conceptuelle s'est opérée[br]dans le domaine de l'I.A..

0:03:18.874,0:03:21.744
Aujourd'hui, l'action est centré sur[br]l'apprentissage machine.

0:03:22.394,0:03:27.781
Plutôt que de coder à la main des[br]programmes et leurs caractéristiques,

0:03:28.511,0:03:31.065
on crée des algorithmes qui apprennent,

0:03:31.065,0:03:34.065
souvent à partir [br]des données brutes perçues.

0:03:34.065,0:03:39.063
En gros, la même chose que fait un enfant.

0:03:39.063,0:03:43.270
Le résultat est une I.A.[br]qui n'est pas limitée à un domaine --

0:03:43.270,0:03:47.901
le même système peut apprendre à traduire[br]n'importe quel couple de langues,

0:03:47.901,0:03:53.338
ou apprendre à jouer n'importe quel jeu[br]sur la console Atari.

0:03:53.338,0:03:55.117
Bien sûr,

0:03:55.117,0:03:59.116
l'I.A. est toujours loin d'avoir[br]la capacité puissante et transversale

0:03:59.116,0:04:02.335
à apprendre et planifier[br]d'un être humain.

0:04:02.335,0:04:04.461
Le cortex a encore des[br]secrets algorithmiques

0:04:04.461,0:04:06.816
que nous ne savons pas[br]intégrer dans les machines.

0:04:07.886,0:04:09.785
Donc la question est,

0:04:09.785,0:04:13.285
combien de temps nous faudra-t-il[br]pour réussir à les intégrer ?

0:04:14.125,0:04:15.218
Il y a quelques années,

0:04:15.218,0:04:18.216
nous avons fait un sondage[br]auprès des experts mondiaux des I.A.,

0:04:18.216,0:04:21.440
pour voir ce qu'ils pensaient,[br]et une des questions posées était,

0:04:21.440,0:04:24.793
« En quelle année pensez-vous [br]qu'il y aura 50% de chance

0:04:24.793,0:04:28.275
qu'une I.A. atteigne le niveau[br]d'une intelligence humaine ? »

0:04:28.785,0:04:32.968
Nous définissons ici le seuil à atteindre[br]par la capacité de l'I.A. à réaliser

0:04:32.968,0:04:35.839
presque toutes les tâches[br]au moins aussi bien qu'un adulte,

0:04:35.839,0:04:39.844
donc réellement comme un humain,[br]pas seulement dans un domaine limité.

0:04:39.844,0:04:43.494
La réponse médiane était 2040 ou 2050,

0:04:43.494,0:04:46.300
en fonction du groupe d'experts[br]que nous interrogions.

0:04:46.300,0:04:50.339
Ça pourrait se produire[br]bien plus tard ou bien plus tôt,

0:04:50.339,0:04:52.279
la vérité est que personne ne le sait.

0:04:53.259,0:04:57.671
Ce que nous savons est que la limite[br]de traitement de l'information

0:04:57.671,0:05:02.542
dans une machine est bien supérieure[br]à celle d'un tissu biologique.

0:05:03.241,0:05:05.619
Ça s'explique par la physique.

0:05:05.619,0:05:10.337
Un neurone biologique "décharge" [br]environ à 200 hertz, 200 fois par seconde.

0:05:10.337,0:05:13.931
Mais, même un transistor actuel[br]fonctionne au gigahertz.

0:05:13.931,0:05:19.228
L'information se propage dans les neurones[br]le long d'axones à 100 m/s maximum.

0:05:19.228,0:05:22.839
Mais dans les ordinateurs, le signal[br]peut voyager à la vitesse de la lumière.

0:05:23.079,0:05:24.948
Il y a aussi des limitations de taille,

0:05:24.948,0:05:27.975
car le cerveau humain[br]doit rentrer dans la boîte crânienne,

0:05:27.975,0:05:32.736
mais un ordinateur peut être [br]de la taille d'un entrepôt ou plus grand.

0:05:32.736,0:05:38.335
Donc le potentiel de super intelligence[br]est en sommeil dans la matière,

0:05:38.335,0:05:44.047
tout comme la puissance de l'atome[br]est restée en sommeil

0:05:44.047,0:05:48.452
tout au long de l'histoire humaine,[br]attendant patiemment jusqu'en 1945.

0:05:48.452,0:05:51.620
Au cours de ce siècle, il se peut [br]que les scientifiques apprennent

0:05:51.620,0:05:53.818
à réveiller la puissance de l'I.A..

0:05:53.828,0:05:57.826
Je pense que nous pourrions alors[br]assister à une explosion d'intelligence.

0:05:58.406,0:06:02.363
La plupart des gens, quand ils pensent[br]à ce qui est bête ou intelligent

0:06:02.363,0:06:05.386
ont une image de ce genre en tête.

0:06:05.386,0:06:07.984
À une extrémité on a l'idiot du village,

0:06:07.984,0:06:10.467
et à l'autre bout

0:06:10.467,0:06:15.223
on a Ed Witten, ou Albert Einstein,[br]ou votre gourou, qui qu'il soit.

0:06:15.223,0:06:19.057
Mais je pense que du point de vue[br]de l'intelligence artificielle,

0:06:19.057,0:06:22.738
la véritable image est plus probablement[br]comme ceci, en réalité :

0:06:23.258,0:06:26.636
l'I.A. commence à cet endroit,[br]à zéro intelligence,

0:06:26.636,0:06:29.647
et ensuite, après de nombreuses[br]années de dur labeur,

0:06:29.647,0:06:33.191
peut-être, arrivons-nous au niveau[br]de l'intelligence d'une souris,

0:06:33.191,0:06:36.241
quelque chose qui peut naviguer[br]dans des environnements encombrés

0:06:36.241,0:06:37.908
aussi bien qu'une souris.

0:06:37.908,0:06:42.221
Ensuite, après encore plus d'années de[br]dur labeur et beaucoup d'investissements,

0:06:42.221,0:06:46.800
peut-être, finalement, arrivons-nous[br]au niveau d'intelligence d'un chimpanzé.

0:06:46.800,0:06:50.070
Ensuite, après toujours plus d'années[br]de vraiment très dur labeur,

0:06:50.070,0:06:52.983
nous arrivons au niveau d'intelligence[br]de l'idiot du village.

0:06:52.983,0:06:56.255
Et quelques mois plus tard,[br]nous sommes après Ed Witten.

0:06:56.255,0:06:59.225
Le train ne s'arrête pas[br]à la station Humainville.

0:06:59.225,0:07:02.247
Il va plutôt passer à fond devant.

0:07:02.247,0:07:04.231
Il y a là de profondes implications,

0:07:04.231,0:07:08.023
en particulier quand il est question[br]de pouvoir.

0:07:08.023,0:07:09.992
Par exemple, les chimpanzés sont forts --

0:07:09.992,0:07:15.214
à poids équivalent, un chimpanzé est[br]deux fois plus fort qu'un homme adulte.

0:07:15.214,0:07:19.828
Pourtant, le destin de Kanzi[br]et de ses congénères dépend beaucoup plus

0:07:19.828,0:07:23.968
de ce que font les humains que de ce que[br]les chimpanzés font eux-mêmes.

0:07:25.228,0:07:27.542
Une fois que la super intelligence[br]sera là,

0:07:27.542,0:07:31.431
le destin de l'humanité pourrait dépendre[br]des actions de cette super intelligence.

0:07:32.451,0:07:33.508
Pensez-y :

0:07:33.508,0:07:38.282
l'I.A. est la dernière invention que[br]l'homme aura jamais besoin de faire.

0:07:38.282,0:07:41.545
Les machines seront alors de meilleurs[br]inventeurs que nous le sommes,

0:07:41.545,0:07:44.295
et elles inventeront sur des échelles[br]de temps numériques.

0:07:44.295,0:07:48.966
Ça veut dire un télescopage avec le futur.

0:07:48.966,0:07:52.434
Pensez à toutes les technologies [br]incroyables que vous avez imaginées,

0:07:52.434,0:07:55.432
que les hommes pourraient[br]avoir développées avec le temps :

0:07:55.432,0:07:58.530
plus de vieillissement,[br]colonisation de l'espace,

0:07:58.530,0:07:59.530
nano-robots auto-répliquants,

0:07:59.530,0:08:02.391
téléchargement d'esprits humains[br]dans des ordinateurs,

0:08:02.391,0:08:04.470
plein de technologies de science-fiction

0:08:04.470,0:08:07.247
qui sont néanmoins cohérentes[br]avec les lois de la physique.

0:08:07.247,0:08:11.419
Toute cette super intelligence pourrait[br]se développer assez rapidement.

0:08:12.449,0:08:16.007
Bon, une super intelligence avec[br]une telle maturité technologique

0:08:16.007,0:08:18.186
serait extrêmement puissante,

0:08:18.186,0:08:22.732
et au moins dans certains scénarios,[br]serait capable d'obtenir ce qu'elle veut.

0:08:22.732,0:08:28.393
Nous aurions alors un futur modelé[br]par les préférences de cette I.A.

0:08:29.855,0:08:33.604
Une bonne question est,[br]quelles sont ces préférences ?

0:08:34.244,0:08:36.013
C'est là que ça devient délicat.

0:08:36.013,0:08:37.448
Pour progresser là-dessus,

0:08:37.448,0:08:40.724
nous devons tout d'abord[br]éviter tout anthropomorphisme.

0:08:41.934,0:08:45.235
C'est ironique car dans tous[br]les articles de journaux

0:08:45.235,0:08:49.090
qui parle de l'avenir de l'I.A.[br]comportent une image de ceci.

0:08:50.280,0:08:54.414
Je pense que nous devons concevoir[br]ce problème de manière plus abstraite,

0:08:54.414,0:08:57.204
et non en scénario hollywoodien fertile.

0:08:57.204,0:09:00.821
Nous devons penser à l'intelligence[br]comme un processus d'optimisation,

0:09:00.821,0:09:06.470
un processus qui guide le futur[br]dans un certain jeu de configurations.

0:09:06.470,0:09:09.981
Une super intelligence est un[br]processus d'optimisation très fort.

0:09:09.981,0:09:14.098
Elle est très douée pour utiliser les[br]moyens disponibles pour atteindre un état

0:09:14.098,0:09:16.007
dans lequel son but est réalisé.

0:09:16.307,0:09:19.119
Ça signifie qu'il n'y a pas[br]de nécessaire connexion entre

0:09:19.119,0:09:21.853
le fait d'être très intelligent[br]dans ce sens,

0:09:21.853,0:09:26.515
et avoir un objectif que nous, humains,[br]trouverions utile ou significatif.

0:09:27.321,0:09:30.865
Supposons qu'on donne comme but[br]à une I.A. de faire sourire les humains.

0:09:30.865,0:09:34.097
Quand l'I.A. est faible, elle réalise[br]des actions utiles ou amusantes

0:09:34.097,0:09:36.614
qui provoque le sourire de l'utilisateur.

0:09:36.614,0:09:39.031
Quand l'I.A. devient super intelligente,

0:09:39.031,0:09:42.554
elle réalise qu'il y a un moyen[br]plus efficace d'atteindre son objectif :

0:09:42.554,0:09:44.476
prendre le contrôle du monde

0:09:44.476,0:09:47.638
et implanter des électrodes[br]dans les muscles faciaux des humains

0:09:47.638,0:09:50.579
pour provoquer des sourires[br]rayonnants et constants.

0:09:50.579,0:09:51.454
Un autre exemple,

0:09:51.454,0:09:55.027
supposons qu'on demande à une I.A.[br]de résoudre un problème de math très dur.

0:09:55.027,0:09:56.934
Quand l'I.A. devient super intelligente,

0:09:56.934,0:10:01.105
elle réalise que le moyen le plus efficace[br]pour résoudre ce problème

0:10:01.105,0:10:04.035
est de transformer la planète[br]en un ordinateur géant,

0:10:04.035,0:10:06.281
pour augmenter sa capacité de calcul.

0:10:06.281,0:10:08.945
Remarquez que ça donne aux I.A.s[br]une raison pratique

0:10:08.945,0:10:11.561
de faire des choses[br]que nous pourrions ne pas approuver.

0:10:11.561,0:10:13.606
Les humains sont des menaces[br]dans ce modèle,

0:10:13.606,0:10:16.417
car nous pourrions empêcher[br]la résolution du problème.

0:10:17.207,0:10:20.701
Bien sûr, les choses perceptibles[br]ne tourneront pas mal de ces façons-là ;

0:10:20.701,0:10:22.454
ce sont des exemples caricaturés.

0:10:22.454,0:10:24.393
Mais l'argument général est important :

0:10:24.393,0:10:27.076
si vous créez un processus d'optimisation[br]très puissant

0:10:27.076,0:10:29.500
pour maximiser les chances[br]d'atteindre l'objectif x,

0:10:29.500,0:10:31.796
vous devez vous assurer[br]que votre définition de x

0:10:31.796,0:10:34.245
incorpore tout ce à quoi vous tenez.

0:10:34.835,0:10:39.219
C'est une leçon qui est enseignée[br]dans de nombreux mythes.

0:10:39.219,0:10:44.517
Le roi Midas souhaitait que tout[br]ce qu'il touche se transforme en or.

0:10:44.517,0:10:47.378
Il touche sa fille,[br]elle se transforme en or.

0:10:47.378,0:10:49.931
Il touche sa nourriture,[br]elle se transforme en or.

0:10:49.931,0:10:52.520
Ça pourrait devenir[br]pertinent en pratique,

0:10:52.520,0:10:54.880
ne pas se limiter à une métaphore [br]de la cupidité

0:10:54.880,0:10:56.565
mais illustrer ce qui arrive

0:10:56.565,0:10:59.322
si vous créez un processus[br]d'optimisation puissant

0:10:59.322,0:11:04.111
et lui donnez des objectifs[br]mal conçus ou trop vagues.

0:11:04.111,0:11:09.300
Vous pourriez dire que si un ordinateur[br]commence à nous implanter des électrodes,

0:11:09.300,0:11:11.565
nous le débrancherions.

0:11:12.555,0:11:17.895
A, ce n'est pas forcément si facile[br]à faire si nous sommes devenus dépendants,

0:11:17.895,0:11:20.627
par exemple,[br]comment arrête-t-on internet ?

0:11:20.627,0:11:25.537
B, pourquoi les chimpanzés [br]ou les Neandertals

0:11:25.537,0:11:27.298
n'ont-ils pas[br]empêché l'humanité ?

0:11:27.298,0:11:29.964
Ils avaient de bonnes raisons.

0:11:29.964,0:11:32.759
Nous avons un interrupteur,[br]par exemple, juste ici.

0:11:32.759,0:11:34.313
(Suffocation)

0:11:34.313,0:11:37.108
La raison est que nous sommes[br]un adversaire intelligent ;

0:11:37.108,0:11:40.026
nous pouvons anticiper les menaces[br]et planifier des solutions.

0:11:40.026,0:11:42.530
Mais une super intelligence [br]pourrait le faire aussi,

0:11:42.530,0:11:45.724
et elle le ferait bien mieux que nous.

0:11:45.724,0:11:52.911
L'important est que nous ne devrions pas[br]croire que nous avons tout sous contrôle.

0:11:52.911,0:11:56.358
Nous pourrions tenter [br]de nous faciliter la tâche, disons

0:11:56.358,0:11:57.948
en mettant l'I.A. dans une boîte,

0:11:57.948,0:11:59.744
comme un environnement logiciel sûr,

0:11:59.744,0:12:02.766
une simulation de la réalité[br]d'où elle ne peut s'échapper.

0:12:02.766,0:12:06.912
Mais à quel point sommes-nous sûrs[br]qu'elle ne trouvera pas un bug.

0:12:06.912,0:12:10.231
Étant donné que de simples hackers humains[br]trouvent toujours des bugs,

0:12:10.231,0:12:13.117
je dirais, probablement pas très sûrs.

0:12:14.237,0:12:18.785
Donc on déconnecte le câble Ethernet[br]pour créer une séparation physique,

0:12:18.785,0:12:21.453
mais encore une fois,[br]comme de simples hackers humains

0:12:21.453,0:12:24.734
transgressent les séparations physiques [br]grâce à l'ingéniérie sociale.

0:12:24.734,0:12:26.903
À l'heure où je vous parle,[br]en ce moment-même,

0:12:26.903,0:12:29.052
je suis sûr qu'il y a un employé,[br]quelque part

0:12:29.052,0:12:31.858
à qui quelqu'un prétendant être[br]du département informatique

0:12:31.858,0:12:34.484
a demandé de donner[br]son identifiant et son mot de passe.

0:12:34.484,0:12:36.791
Des scénarios plus créatifs[br]sont aussi possibles,

0:12:36.791,0:12:38.476
par exemple, si vous êtes une I.A.

0:12:38.476,0:12:41.548
vous pouvez déplacer des électrodes[br]dans vos circuits internes

0:12:41.548,0:12:45.010
pour créer des ondes radio que vous[br]utiliserez pour communiquer.

0:12:45.010,0:12:47.434
Ou vous pouvez prétendre[br]dysfonctionner,

0:12:47.434,0:12:50.931
et quand les ingénieurs vous ouvrent[br]pour voir ce qui ne marche pas,

0:12:50.931,0:12:52.867
ils regardent votre code source [br]-- Vlan ! --

0:12:52.867,0:12:55.314
la manipulation peut commencer.

0:12:55.314,0:12:58.744
Ou elle pourrait produire le plan[br]d'une nouvelle technologie géniale,

0:12:58.744,0:13:00.142
et quand nous l'implementons,

0:13:00.142,0:13:04.539
elle a quelques effets secondaires furtifs[br]planifiés par l'I.A.

0:13:04.539,0:13:08.002
Donc nous ne devrions pas[br]faire confiance à notre capacité

0:13:08.002,0:13:11.810
à garder un génie super intelligent[br]prisonnier dans sa lampe éternellement.

0:13:11.810,0:13:14.064
À un moment donné, il va s'échapper.

0:13:15.034,0:13:18.137
Je crois que la réponse à ça[br]est de découvrir

0:13:18.137,0:13:23.101
comment créer une super intelligence[br]telle que même si ou quand elle s'échappe,

0:13:23.101,0:13:26.488
on est toujours en sécurité car[br]elle est fondamentalement de notre côté

0:13:26.488,0:13:28.337
car elle partage nos valeurs.

0:13:28.337,0:13:31.547
Je ne vois aucune solution à ce problème.

0:13:32.557,0:13:36.391
Mais je suis plutôt optimiste quant le fait[br]que ce problème peut être résolu.

0:13:36.391,0:13:40.294
Nous n'aurions pas à écrire une longue[br]liste de tout ce que nous chérissons,

0:13:40.294,0:13:43.937
ou, encore pire, devoir le coder[br]en language informatique

0:13:43.937,0:13:45.391
comme C++ ou Python,

0:13:45.391,0:13:48.158
ce qui serait une tâche sans espoir.

0:13:48.158,0:13:52.455
Au lieu de ça, nous créerions une I.A.[br]qui utilise son intelligence

0:13:52.455,0:13:55.226
pour apprendre nos valeurs,

0:13:55.226,0:14:00.506
et son système de motivation est construit[br]de telle sorte qu'elle est motivée

0:14:00.506,0:14:05.738
par la recherche de valeurs ou d'actions[br]qu'elle prédit que nous approuverions.

0:14:05.738,0:14:09.152
Nous pourrions ainsi influencer[br]son intelligence autant que possible

0:14:09.152,0:14:11.897
à résoudre des problèmes importants.

0:14:12.727,0:14:14.239
Ça peut arriver,

0:14:14.239,0:14:17.835
et le résultat en serait très positif[br]pour l'humanité.

0:14:17.835,0:14:21.792
Mais ça n'arrive pas automatiquement.

0:14:21.792,0:14:24.790
Les conditions initiales[br]de l'explosion de l'intelligence

0:14:24.790,0:14:27.653
devront être programmées[br]de manière précise

0:14:27.653,0:14:31.183
si nous voulons obtenir[br]une détonation contrôlée.

0:14:31.183,0:14:33.701
Les valeurs de l'I.A. devront[br]correspondre aux nôtres,

0:14:33.701,0:14:35.621
pas seulement dans un contexte familier,

0:14:35.621,0:14:38.289
où il est facile de contrôler [br]comment l'I.A. se comporte,

0:14:38.289,0:14:41.473
mais aussi dans de nouveaux contextes[br]que l'I.A. pourrait rencontrer

0:14:41.473,0:14:42.790
dans un futur indéfini.

0:14:42.790,0:14:47.497
Il y a aussi des problèmes ésotériques[br]qui devront être résolus :

0:14:47.497,0:14:49.616
les détails exacts[br]de sa théorie de décision,

0:14:49.616,0:14:52.480
comment gérer l'incertitude logique[br]et ainsi de suite.

0:14:53.150,0:14:56.432
Les problèmes techniques qui doivent[br]être surmontés pour que ça marche

0:14:56.432,0:14:57.545
semblent ardus--

0:14:57.545,0:15:00.925
pas autant que de faire [br]une I.A. super intelligente,

0:15:00.925,0:15:03.793
mais assez ardus.

0:15:03.793,0:15:05.488
Là où c'est inquiétant, c'est que

0:15:05.488,0:15:10.172
faire une I.A. super intelligente[br]est un défi vraiment difficile.

0:15:10.172,0:15:12.720
Faire une I.A. super intelligente[br]qui soit sûre

0:15:12.720,0:15:15.136
implique quelques[br]défis supplémentaires.

0:15:16.166,0:15:19.703
Le risque est que si quelqu'un trouve[br]comment résoudre le premier défi

0:15:19.703,0:15:22.704
sans avoir aussi résolu

0:15:22.704,0:15:24.605
l'autre défi, celui d'assurer[br]une sécurité parfaite.

0:15:25.375,0:15:28.706
Je pense que nous devrions donc[br]commencer à résoudre

0:15:28.706,0:15:31.528
le problème de contrôle d'abord,

0:15:31.528,0:15:34.188
pour qu'il soit disponible[br]quand on en aura besoin.

0:15:34.768,0:15:38.275
On ne pourra peut-être pas résoudre[br]tout le problème du contrôle à l'avance

0:15:38.275,0:15:41.299
car certains éléments ne peuvent[br]être mis en place

0:15:41.299,0:15:45.296
qu'une fois qu'on connait les détails[br]de l'architecture où ce sera implémenté.

0:15:45.296,0:15:48.676
Mais plus nous résolvons ce problème[br]de contrôle à l'avance,

0:15:48.676,0:15:52.766
meilleure sera notre chance [br]que la transition vers l'ère de l'I.A.

0:15:52.766,0:15:54.306
se passera bien.

0:15:54.306,0:15:58.950
Pour moi, ça semble valoir la peine

0:15:58.950,0:16:02.282
et j'imaginer que,[br]si tout se passe bien,

0:16:02.282,0:16:06.940
les gens, dans un million d'années,[br]penseront peut-être

0:16:06.940,0:16:10.942
que la chose qui a vraiment été[br]importante dans notre siècle

0:16:10.942,0:16:12.509
était de faire ça bien.

0:16:12.509,0:16:14.198
Merci.

0:16:14.198,0:16:17.011
(Applaudissements)