1
00:00:00,570 --> 00:00:04,777
Je travaille avec des mathématiciens,
philosophes et informaticiens,

2
00:00:04,777 --> 00:00:09,986
et nous nous réunissons pour imaginer
le futur de l'intelligence artificielle,

3
00:00:09,986 --> 00:00:12,030
entre autres choses.

4
00:00:12,030 --> 00:00:16,755
Certains pensent que
c'est un peu de la science-fiction,

5
00:00:16,755 --> 00:00:19,856
complètement éloigné du réel.

6
00:00:19,856 --> 00:00:21,326
Mais j'aime dire,

7
00:00:21,326 --> 00:00:24,930
d'accord, jetons un coup d'oeil
à la condition humaine moderne.

8
00:00:24,930 --> 00:00:26,622
(Rires)

9
00:00:26,622 --> 00:00:29,024
C'est la façon normale d'être des choses.

10
00:00:29,024 --> 00:00:31,309
Mais si on y pense,

11
00:00:31,309 --> 00:00:34,832
nous ne sommes en fait que des invités
récemment arrivés sur cette planète,

12
00:00:34,832 --> 00:00:36,684
l'espèce humaine.

13
00:00:36,684 --> 00:00:41,430
Imaginez si la Terre 
avait été créée il y a un an,

14
00:00:41,430 --> 00:00:44,978
l'espèce humaine existerait alors
depuis dix minutes.

15
00:00:44,978 --> 00:00:48,146
L'ère industrielle a débuté
il y a deux secondes.

16
00:00:49,276 --> 00:00:51,501
Une autre façon de voir est de calculer

17
00:00:51,501 --> 00:00:54,501
le PIB mondial
des 10 000 dernières années.

18
00:00:54,501 --> 00:00:57,530
J'ai vraiment pris le temps
de faire un graphe pour vous.

19
00:00:57,530 --> 00:00:59,304
Il ressemble à ça.

20
00:00:59,304 --> 00:01:00,557
(Rires)

21
00:01:00,557 --> 00:01:02,698
Drôle de courbe
pour une condition normale.

22
00:01:02,698 --> 00:01:04,516
Je ne voudrais pas lui tourner le dos.

23
00:01:04,516 --> 00:01:07,067
(Rires)

24
00:01:07,067 --> 00:01:11,841
Demandons-nous, quelle est la cause
de cette anomalie ?

25
00:01:11,851 --> 00:01:14,393
Certains diront que c'est la technologie.

26
00:01:14,393 --> 00:01:19,061
C'est vrai, la technologie s'est accumulée
au cours de l'histoire humaine,

27
00:01:19,061 --> 00:01:23,713
et aujourd'hui, la technologie
progresse très rapidement --

28
00:01:23,713 --> 00:01:25,278
c'est la cause la plus proche,

29
00:01:25,278 --> 00:01:27,843
c'est pourquoi nous sommes
si productifs de nos jours.

30
00:01:28,473 --> 00:01:32,134
Mais je préfère réfléchir en remontant 
à la cause fondamentale.

31
00:01:33,114 --> 00:01:36,880
Regardez ces deux messieurs
très distingués :

32
00:01:36,880 --> 00:01:38,480
Nous avons Kanzi --

33
00:01:38,480 --> 00:01:43,123
il maîtrise 200 symboles lexicaux,
un exploit incroyable.

34
00:01:43,123 --> 00:01:46,557
Et Ed Witten a déclenché
la seconde révolution des supercordes.

35
00:01:46,557 --> 00:01:49,411
Si nous regardons sous la capuche,
voici ce que l'on trouve :

36
00:01:49,411 --> 00:01:50,711
en gros, la même chose.

37
00:01:50,711 --> 00:01:52,524
L'un est un peu plus grand,

38
00:01:52,524 --> 00:01:55,282
il y a peut-être aussi quelques
subtilités de câblage.

39
00:01:55,282 --> 00:01:59,094
Ces différences invisibles ne peuvent
être trop compliquées quoi qu'il en soit,

40
00:01:59,094 --> 00:02:03,379
car il n'y a eu que
250 000 générations

41
00:02:03,379 --> 00:02:05,121
depuis notre dernier ancêtre commun.

42
00:02:05,121 --> 00:02:09,030
Nous savons que les mécanismes compliqués
demandent beaucoup de temps pour évoluer.

43
00:02:10,000 --> 00:02:12,499
Donc des changements relativement mineurs

44
00:02:12,499 --> 00:02:15,566
nous emmènent de Kanzi à Witten,

45
00:02:15,566 --> 00:02:20,109
de branches arrachées aux arbres aux
missiles balistiques intercontinentaux.

46
00:02:20,839 --> 00:02:24,774
Il semble alors assez évident
que tout ce que nous avons réalisé,

47
00:02:24,774 --> 00:02:26,152
et ce que nous chérissons,

48
00:02:26,152 --> 00:02:29,650
dépend principalement de quelques
changements mineurs

49
00:02:29,650 --> 00:02:32,650
qui ont aboutit à l'esprit humain.

50
00:02:32,650 --> 00:02:36,312
Le corollaire, bien sûr,
est que tout changement à venir

51
00:02:36,312 --> 00:02:39,789
qui pourrait changer significativement
le substrat de la pensée

52
00:02:39,789 --> 00:02:42,991
pourrait avoir potentiellement
d'énormes conséquences.

53
00:02:44,181 --> 00:02:47,226
Certains de mes collègues
pensent que nous sommes sur le point

54
00:02:47,226 --> 00:02:51,134
de développer quelque chose qui pourrait
causer un tel changement dans ce substrat,

55
00:02:51,134 --> 00:02:54,347
et c'est la super
intelligence artificielle.

56
00:02:54,347 --> 00:02:59,086
Avant, l'intelligence artificielle consistait
à mettre des commandes dans une boîte.

57
00:02:59,086 --> 00:03:00,751
Il y avait des programmeurs humains

58
00:03:00,751 --> 00:03:03,886
qui fabriquaient minutieusement
des objets savants.

59
00:03:03,886 --> 00:03:05,972
On construisait ces systèmes experts,

60
00:03:05,972 --> 00:03:08,146
et ils étaient utiles
pour certains buts,

61
00:03:08,146 --> 00:03:11,097
mais ils étaient très fragiles,
on ne pouvait pas les agrandir.

62
00:03:11,097 --> 00:03:14,410
En gros, vous n'aviez que
ce que vous aviez mis dedans.

63
00:03:14,410 --> 00:03:15,407
Mais depuis,

64
00:03:15,407 --> 00:03:18,874
une révolution conceptuelle s'est opérée
dans le domaine de l'I.A..

65
00:03:18,874 --> 00:03:21,744
Aujourd'hui, l'action est centré sur
l'apprentissage machine.

66
00:03:22,394 --> 00:03:27,781
Plutôt que de coder à la main des
programmes et leurs caractéristiques,

67
00:03:28,511 --> 00:03:31,065
on crée des algorithmes qui apprennent,

68
00:03:31,065 --> 00:03:34,065
souvent à partir 
des données brutes perçues.

69
00:03:34,065 --> 00:03:39,063
En gros, la même chose que fait un enfant.

70
00:03:39,063 --> 00:03:43,270
Le résultat est une I.A.
qui n'est pas limitée à un domaine --

71
00:03:43,270 --> 00:03:47,901
le même système peut apprendre à traduire
n'importe quel couple de langues,

72
00:03:47,901 --> 00:03:53,338
ou apprendre à jouer n'importe quel jeu
sur la console Atari.

73
00:03:53,338 --> 00:03:55,117
Bien sûr,

74
00:03:55,117 --> 00:03:59,116
l'I.A. est toujours loin d'avoir
la capacité puissante et transversale

75
00:03:59,116 --> 00:04:02,335
à apprendre et planifier
d'un être humain.

76
00:04:02,335 --> 00:04:04,461
Le cortex a encore des
secrets algorithmiques

77
00:04:04,461 --> 00:04:06,816
que nous ne savons pas
intégrer dans les machines.

78
00:04:07,886 --> 00:04:09,785
Donc la question est,

79
00:04:09,785 --> 00:04:13,285
combien de temps nous faudra-t-il
pour réussir à les intégrer ?

80
00:04:14,125 --> 00:04:15,218
Il y a quelques années,

81
00:04:15,218 --> 00:04:18,216
nous avons fait un sondage
auprès des experts mondiaux des I.A.,

82
00:04:18,216 --> 00:04:21,440
pour voir ce qu'ils pensaient,
et une des questions posées était,

83
00:04:21,440 --> 00:04:24,793
« En quelle année pensez-vous 
qu'il y aura 50% de chance

84
00:04:24,793 --> 00:04:28,275
qu'une I.A. atteigne le niveau
d'une intelligence humaine ? »

85
00:04:28,785 --> 00:04:32,968
Nous définissons ici le seuil à atteindre
par la capacité de l'I.A. à réaliser

86
00:04:32,968 --> 00:04:35,839
presque toutes les tâches
au moins aussi bien qu'un adulte,

87
00:04:35,839 --> 00:04:39,844
donc réellement comme un humain,
pas seulement dans un domaine limité.

88
00:04:39,844 --> 00:04:43,494
La réponse médiane était 2040 ou 2050,

89
00:04:43,494 --> 00:04:46,300
en fonction du groupe d'experts
que nous interrogions.

90
00:04:46,300 --> 00:04:50,339
Ça pourrait se produire
bien plus tard ou bien plus tôt,

91
00:04:50,339 --> 00:04:52,279
la vérité est que personne ne le sait.

92
00:04:53,259 --> 00:04:57,671
Ce que nous savons est que la limite
de traitement de l'information

93
00:04:57,671 --> 00:05:02,542
dans une machine est bien supérieure
à celle d'un tissu biologique.

94
00:05:03,241 --> 00:05:05,619
Ça s'explique par la physique.

95
00:05:05,619 --> 00:05:10,337
Un neurone biologique "décharge" 
environ à 200 hertz, 200 fois par seconde.

96
00:05:10,337 --> 00:05:13,931
Mais, même un transistor actuel
fonctionne au gigahertz.

97
00:05:13,931 --> 00:05:19,228
L'information se propage dans les neurones
le long d'axones à 100 m/s maximum.

98
00:05:19,228 --> 00:05:22,839
Mais dans les ordinateurs, le signal
peut voyager à la vitesse de la lumière.

99
00:05:23,079 --> 00:05:24,948
Il y a aussi des limitations de taille,

100
00:05:24,948 --> 00:05:27,975
car le cerveau humain
doit rentrer dans la boîte crânienne,

101
00:05:27,975 --> 00:05:32,736
mais un ordinateur peut être 
de la taille d'un entrepôt ou plus grand.

102
00:05:32,736 --> 00:05:38,335
Donc le potentiel de super intelligence
est en sommeil dans la matière,

103
00:05:38,335 --> 00:05:44,047
tout comme la puissance de l'atome
est restée en sommeil

104
00:05:44,047 --> 00:05:48,452
tout au long de l'histoire humaine,
attendant patiemment jusqu'en 1945.

105
00:05:48,452 --> 00:05:51,620
Au cours de ce siècle, il se peut 
que les scientifiques apprennent

106
00:05:51,620 --> 00:05:53,818
à réveiller la puissance de l'I.A..

107
00:05:53,828 --> 00:05:57,826
Je pense que nous pourrions alors
assister à une explosion d'intelligence.

108
00:05:58,406 --> 00:06:02,363
La plupart des gens, quand ils pensent
à ce qui est bête ou intelligent

109
00:06:02,363 --> 00:06:05,386
ont une image de ce genre en tête.

110
00:06:05,386 --> 00:06:07,984
À une extrémité on a l'idiot du village,

111
00:06:07,984 --> 00:06:10,467
et à l'autre bout

112
00:06:10,467 --> 00:06:15,223
on a Ed Witten, ou Albert Einstein,
ou votre gourou, qui qu'il soit.

113
00:06:15,223 --> 00:06:19,057
Mais je pense que du point de vue
de l'intelligence artificielle,

114
00:06:19,057 --> 00:06:22,738
la véritable image est plus probablement
comme ceci, en réalité :

115
00:06:23,258 --> 00:06:26,636
l'I.A. commence à cet endroit,
à zéro intelligence,

116
00:06:26,636 --> 00:06:29,647
et ensuite, après de nombreuses
années de dur labeur,

117
00:06:29,647 --> 00:06:33,191
peut-être, arrivons-nous au niveau
de l'intelligence d'une souris,

118
00:06:33,191 --> 00:06:36,241
quelque chose qui peut naviguer
dans des environnements encombrés

119
00:06:36,241 --> 00:06:37,908
aussi bien qu'une souris.

120
00:06:37,908 --> 00:06:42,221
Ensuite, après encore plus d'années de
dur labeur et beaucoup d'investissements,

121
00:06:42,221 --> 00:06:46,800
peut-être, finalement, arrivons-nous
au niveau d'intelligence d'un chimpanzé.

122
00:06:46,800 --> 00:06:50,070
Ensuite, après toujours plus d'années
de vraiment très dur labeur,

123
00:06:50,070 --> 00:06:52,983
nous arrivons au niveau d'intelligence
de l'idiot du village.

124
00:06:52,983 --> 00:06:56,255
Et quelques mois plus tard,
nous sommes après Ed Witten.

125
00:06:56,255 --> 00:06:59,225
Le train ne s'arrête pas
à la station Humainville.

126
00:06:59,225 --> 00:07:02,247
Il va plutôt passer à fond devant.

127
00:07:02,247 --> 00:07:04,231
Il y a là de profondes implications,

128
00:07:04,231 --> 00:07:08,023
en particulier quand il est question
de pouvoir.

129
00:07:08,023 --> 00:07:09,992
Par exemple, les chimpanzés sont forts --

130
00:07:09,992 --> 00:07:15,214
à poids équivalent, un chimpanzé est
deux fois plus fort qu'un homme adulte.

131
00:07:15,214 --> 00:07:19,828
Pourtant, le destin de Kanzi
et de ses congénères dépend beaucoup plus

132
00:07:19,828 --> 00:07:23,968
de ce que font les humains que de ce que
les chimpanzés font eux-mêmes.

133
00:07:25,228 --> 00:07:27,542
Une fois que la super intelligence
sera là,

134
00:07:27,542 --> 00:07:31,431
le destin de l'humanité pourrait dépendre
des actions de cette super intelligence.

135
00:07:32,451 --> 00:07:33,508
Pensez-y :

136
00:07:33,508 --> 00:07:38,282
l'I.A. est la dernière invention que
l'homme aura jamais besoin de faire.

137
00:07:38,282 --> 00:07:41,545
Les machines seront alors de meilleurs
inventeurs que nous le sommes,

138
00:07:41,545 --> 00:07:44,295
et elles inventeront sur des échelles
de temps numériques.

139
00:07:44,295 --> 00:07:48,966
Ça veut dire un télescopage avec le futur.

140
00:07:48,966 --> 00:07:52,434
Pensez à toutes les technologies 
incroyables que vous avez imaginées,

141
00:07:52,434 --> 00:07:55,432
que les hommes pourraient
avoir développées avec le temps :

142
00:07:55,432 --> 00:07:58,530
plus de vieillissement,
colonisation de l'espace,

143
00:07:58,530 --> 00:07:59,530
nano-robots auto-répliquants,

144
00:07:59,530 --> 00:08:02,391
téléchargement d'esprits humains
dans des ordinateurs,

145
00:08:02,391 --> 00:08:04,470
plein de technologies de science-fiction

146
00:08:04,470 --> 00:08:07,247
qui sont néanmoins cohérentes
avec les lois de la physique.

147
00:08:07,247 --> 00:08:11,419
Toute cette super intelligence pourrait
se développer assez rapidement.

148
00:08:12,449 --> 00:08:16,007
Bon, une super intelligence avec
une telle maturité technologique

149
00:08:16,007 --> 00:08:18,186
serait extrêmement puissante,

150
00:08:18,186 --> 00:08:22,732
et au moins dans certains scénarios,
serait capable d'obtenir ce qu'elle veut.

151
00:08:22,732 --> 00:08:28,393
Nous aurions alors un futur modelé
par les préférences de cette I.A.

152
00:08:29,855 --> 00:08:33,604
Une bonne question est,
quelles sont ces préférences ?

153
00:08:34,244 --> 00:08:36,013
C'est là que ça devient délicat.

154
00:08:36,013 --> 00:08:37,448
Pour progresser là-dessus,

155
00:08:37,448 --> 00:08:40,724
nous devons tout d'abord
éviter tout anthropomorphisme.

156
00:08:41,934 --> 00:08:45,235
C'est ironique car dans tous
les articles de journaux

157
00:08:45,235 --> 00:08:49,090
qui parle de l'avenir de l'I.A.
comportent une image de ceci.

158
00:08:50,280 --> 00:08:54,414
Je pense que nous devons concevoir
ce problème de manière plus abstraite,

159
00:08:54,414 --> 00:08:57,204
et non en scénario hollywoodien fertile.

160
00:08:57,204 --> 00:09:00,821
Nous devons penser à l'intelligence
comme un processus d'optimisation,

161
00:09:00,821 --> 00:09:06,470
un processus qui guide le futur
dans un certain jeu de configurations.

162
00:09:06,470 --> 00:09:09,981
Une super intelligence est un
processus d'optimisation très fort.

163
00:09:09,981 --> 00:09:14,098
Elle est très douée pour utiliser les
moyens disponibles pour atteindre un état

164
00:09:14,098 --> 00:09:16,007
dans lequel son but est réalisé.

165
00:09:16,307 --> 00:09:19,119
Ça signifie qu'il n'y a pas
de nécessaire connexion entre

166
00:09:19,119 --> 00:09:21,853
le fait d'être très intelligent
dans ce sens,

167
00:09:21,853 --> 00:09:26,515
et avoir un objectif que nous, humains,
trouverions utile ou significatif.

168
00:09:27,321 --> 00:09:30,865
Supposons qu'on donne comme but
à une I.A. de faire sourire les humains.

169
00:09:30,865 --> 00:09:34,097
Quand l'I.A. est faible, elle réalise
des actions utiles ou amusantes

170
00:09:34,097 --> 00:09:36,614
qui provoque le sourire de l'utilisateur.

171
00:09:36,614 --> 00:09:39,031
Quand l'I.A. devient super intelligente,

172
00:09:39,031 --> 00:09:42,554
elle réalise qu'il y a un moyen
plus efficace d'atteindre son objectif :

173
00:09:42,554 --> 00:09:44,476
prendre le contrôle du monde

174
00:09:44,476 --> 00:09:47,638
et implanter des électrodes
dans les muscles faciaux des humains

175
00:09:47,638 --> 00:09:50,579
pour provoquer des sourires
rayonnants et constants.

176
00:09:50,579 --> 00:09:51,454
Un autre exemple,

177
00:09:51,454 --> 00:09:55,027
supposons qu'on demande à une I.A.
de résoudre un problème de math très dur.

178
00:09:55,027 --> 00:09:56,934
Quand l'I.A. devient super intelligente,

179
00:09:56,934 --> 00:10:01,105
elle réalise que le moyen le plus efficace
pour résoudre ce problème

180
00:10:01,105 --> 00:10:04,035
est de transformer la planète
en un ordinateur géant,

181
00:10:04,035 --> 00:10:06,281
pour augmenter sa capacité de calcul.

182
00:10:06,281 --> 00:10:08,945
Remarquez que ça donne aux I.A.s
une raison pratique

183
00:10:08,945 --> 00:10:11,561
de faire des choses
que nous pourrions ne pas approuver.

184
00:10:11,561 --> 00:10:13,606
Les humains sont des menaces
dans ce modèle,

185
00:10:13,606 --> 00:10:16,417
car nous pourrions empêcher
la résolution du problème.

186
00:10:17,207 --> 00:10:20,701
Bien sûr, les choses perceptibles
ne tourneront pas mal de ces façons-là ;

187
00:10:20,701 --> 00:10:22,454
ce sont des exemples caricaturés.

188
00:10:22,454 --> 00:10:24,393
Mais l'argument général est important :

189
00:10:24,393 --> 00:10:27,076
si vous créez un processus d'optimisation
très puissant

190
00:10:27,076 --> 00:10:29,500
pour maximiser les chances
d'atteindre l'objectif x,

191
00:10:29,500 --> 00:10:31,796
vous devez vous assurer
que votre définition de x

192
00:10:31,796 --> 00:10:34,245
incorpore tout ce à quoi vous tenez.

193
00:10:34,835 --> 00:10:39,219
C'est une leçon qui est enseignée
dans de nombreux mythes.

194
00:10:39,219 --> 00:10:44,517
Le roi Midas souhaitait que tout
ce qu'il touche se transforme en or.

195
00:10:44,517 --> 00:10:47,378
Il touche sa fille,
elle se transforme en or.

196
00:10:47,378 --> 00:10:49,931
Il touche sa nourriture,
elle se transforme en or.

197
00:10:49,931 --> 00:10:52,520
Ça pourrait devenir
pertinent en pratique,

198
00:10:52,520 --> 00:10:54,880
ne pas se limiter à une métaphore 
de la cupidité

199
00:10:54,880 --> 00:10:56,565
mais illustrer ce qui arrive

200
00:10:56,565 --> 00:10:59,322
si vous créez un processus
d'optimisation puissant

201
00:10:59,322 --> 00:11:04,111
et lui donnez des objectifs
mal conçus ou trop vagues.

202
00:11:04,111 --> 00:11:09,300
Vous pourriez dire que si un ordinateur
commence à nous implanter des électrodes,

203
00:11:09,300 --> 00:11:11,565
nous le débrancherions.

204
00:11:12,555 --> 00:11:17,895
A, ce n'est pas forcément si facile
à faire si nous sommes devenus dépendants,

205
00:11:17,895 --> 00:11:20,627
par exemple,
comment arrête-t-on internet ?

206
00:11:20,627 --> 00:11:25,537
B, pourquoi les chimpanzés 
ou les Neandertals

207
00:11:25,537 --> 00:11:27,298
n'ont-ils pas
empêché l'humanité ?

208
00:11:27,298 --> 00:11:29,964
Ils avaient de bonnes raisons.

209
00:11:29,964 --> 00:11:32,759
Nous avons un interrupteur,
par exemple, juste ici.

210
00:11:32,759 --> 00:11:34,313
(Suffocation)

211
00:11:34,313 --> 00:11:37,108
La raison est que nous sommes
un adversaire intelligent ;

212
00:11:37,108 --> 00:11:40,026
nous pouvons anticiper les menaces
et planifier des solutions.

213
00:11:40,026 --> 00:11:42,530
Mais une super intelligence 
pourrait le faire aussi,

214
00:11:42,530 --> 00:11:45,724
et elle le ferait bien mieux que nous.

215
00:11:45,724 --> 00:11:52,911
L'important est que nous ne devrions pas
croire que nous avons tout sous contrôle.

216
00:11:52,911 --> 00:11:56,358
Nous pourrions tenter 
de nous faciliter la tâche, disons

217
00:11:56,358 --> 00:11:57,948
en mettant l'I.A. dans une boîte,

218
00:11:57,948 --> 00:11:59,744
comme un environnement logiciel sûr,

219
00:11:59,744 --> 00:12:02,766
une simulation de la réalité
d'où elle ne peut s'échapper.

220
00:12:02,766 --> 00:12:06,912
Mais à quel point sommes-nous sûrs
qu'elle ne trouvera pas un bug.

221
00:12:06,912 --> 00:12:10,231
Étant donné que de simples hackers humains
trouvent toujours des bugs,

222
00:12:10,231 --> 00:12:13,117
je dirais, probablement pas très sûrs.

223
00:12:14,237 --> 00:12:18,785
Donc on déconnecte le câble Ethernet
pour créer une séparation physique,

224
00:12:18,785 --> 00:12:21,453
mais encore une fois,
comme de simples hackers humains

225
00:12:21,453 --> 00:12:24,734
transgressent les séparations physiques 
grâce à l'ingéniérie sociale.

226
00:12:24,734 --> 00:12:26,903
À l'heure où je vous parle,
en ce moment-même,

227
00:12:26,903 --> 00:12:29,052
je suis sûr qu'il y a un employé,
quelque part

228
00:12:29,052 --> 00:12:31,858
à qui quelqu'un prétendant être
du département informatique

229
00:12:31,858 --> 00:12:34,484
a demandé de donner
son identifiant et son mot de passe.

230
00:12:34,484 --> 00:12:36,791
Des scénarios plus créatifs
sont aussi possibles,

231
00:12:36,791 --> 00:12:38,476
par exemple, si vous êtes une I.A.

232
00:12:38,476 --> 00:12:41,548
vous pouvez déplacer des électrodes
dans vos circuits internes

233
00:12:41,548 --> 00:12:45,010
pour créer des ondes radio que vous
utiliserez pour communiquer.

234
00:12:45,010 --> 00:12:47,434
Ou vous pouvez prétendre
dysfonctionner,

235
00:12:47,434 --> 00:12:50,931
et quand les ingénieurs vous ouvrent
pour voir ce qui ne marche pas,

236
00:12:50,931 --> 00:12:52,867
ils regardent votre code source 
-- Vlan ! --

237
00:12:52,867 --> 00:12:55,314
la manipulation peut commencer.

238
00:12:55,314 --> 00:12:58,744
Ou elle pourrait produire le plan
d'une nouvelle technologie géniale,

239
00:12:58,744 --> 00:13:00,142
et quand nous l'implementons,

240
00:13:00,142 --> 00:13:04,539
elle a quelques effets secondaires furtifs
planifiés par l'I.A.

241
00:13:04,539 --> 00:13:08,002
Donc nous ne devrions pas
faire confiance à notre capacité

242
00:13:08,002 --> 00:13:11,810
à garder un génie super intelligent
prisonnier dans sa lampe éternellement.

243
00:13:11,810 --> 00:13:14,064
À un moment donné, il va s'échapper.

244
00:13:15,034 --> 00:13:18,137
Je crois que la réponse à ça
est de découvrir

245
00:13:18,137 --> 00:13:23,101
comment créer une super intelligence
telle que même si ou quand elle s'échappe,

246
00:13:23,101 --> 00:13:26,488
on est toujours en sécurité car
elle est fondamentalement de notre côté

247
00:13:26,488 --> 00:13:28,337
car elle partage nos valeurs.

248
00:13:28,337 --> 00:13:31,547
Je ne vois aucune solution à ce problème.

249
00:13:32,557 --> 00:13:36,391
Mais je suis plutôt optimiste quant le fait
que ce problème peut être résolu.

250
00:13:36,391 --> 00:13:40,294
Nous n'aurions pas à écrire une longue
liste de tout ce que nous chérissons,

251
00:13:40,294 --> 00:13:43,937
ou, encore pire, devoir le coder
en language informatique

252
00:13:43,937 --> 00:13:45,391
comme C++ ou Python,

253
00:13:45,391 --> 00:13:48,158
ce qui serait une tâche sans espoir.

254
00:13:48,158 --> 00:13:52,455
Au lieu de ça, nous créerions une I.A.
qui utilise son intelligence

255
00:13:52,455 --> 00:13:55,226
pour apprendre nos valeurs,

256
00:13:55,226 --> 00:14:00,506
et son système de motivation est construit
de telle sorte qu'elle est motivée

257
00:14:00,506 --> 00:14:05,738
par la recherche de valeurs ou d'actions
qu'elle prédit que nous approuverions.

258
00:14:05,738 --> 00:14:09,152
Nous pourrions ainsi influencer
son intelligence autant que possible

259
00:14:09,152 --> 00:14:11,897
à résoudre des problèmes importants.

260
00:14:12,727 --> 00:14:14,239
Ça peut arriver,

261
00:14:14,239 --> 00:14:17,835
et le résultat en serait très positif
pour l'humanité.

262
00:14:17,835 --> 00:14:21,792
Mais ça n'arrive pas automatiquement.

263
00:14:21,792 --> 00:14:24,790
Les conditions initiales
de l'explosion de l'intelligence

264
00:14:24,790 --> 00:14:27,653
devront être programmées
de manière précise

265
00:14:27,653 --> 00:14:31,183
si nous voulons obtenir
une détonation contrôlée.

266
00:14:31,183 --> 00:14:33,701
Les valeurs de l'I.A. devront
correspondre aux nôtres,

267
00:14:33,701 --> 00:14:35,621
pas seulement dans un contexte familier,

268
00:14:35,621 --> 00:14:38,289
où il est facile de contrôler 
comment l'I.A. se comporte,

269
00:14:38,289 --> 00:14:41,473
mais aussi dans de nouveaux contextes
que l'I.A. pourrait rencontrer

270
00:14:41,473 --> 00:14:42,790
dans un futur indéfini.

271
00:14:42,790 --> 00:14:47,497
Il y a aussi des problèmes ésotériques
qui devront être résolus :

272
00:14:47,497 --> 00:14:49,616
les détails exacts
de sa théorie de décision,

273
00:14:49,616 --> 00:14:52,480
comment gérer l'incertitude logique
et ainsi de suite.

274
00:14:53,150 --> 00:14:56,432
Les problèmes techniques qui doivent
être surmontés pour que ça marche

275
00:14:56,432 --> 00:14:57,545
semblent ardus--

276
00:14:57,545 --> 00:15:00,925
pas autant que de faire 
une I.A. super intelligente,

277
00:15:00,925 --> 00:15:03,793
mais assez ardus.

278
00:15:03,793 --> 00:15:05,488
Là où c'est inquiétant, c'est que

279
00:15:05,488 --> 00:15:10,172
faire une I.A. super intelligente
est un défi vraiment difficile.

280
00:15:10,172 --> 00:15:12,720
Faire une I.A. super intelligente
qui soit sûre

281
00:15:12,720 --> 00:15:15,136
implique quelques
défis supplémentaires.

282
00:15:16,166 --> 00:15:19,703
Le risque est que si quelqu'un trouve
comment résoudre le premier défi

283
00:15:19,703 --> 00:15:22,704
sans avoir aussi résolu

284
00:15:22,704 --> 00:15:24,605
l'autre défi, celui d'assurer
une sécurité parfaite.

285
00:15:25,375 --> 00:15:28,706
Je pense que nous devrions donc
commencer à résoudre

286
00:15:28,706 --> 00:15:31,528
le problème de contrôle d'abord,

287
00:15:31,528 --> 00:15:34,188
pour qu'il soit disponible
quand on en aura besoin.

288
00:15:34,768 --> 00:15:38,275
On ne pourra peut-être pas résoudre
tout le problème du contrôle à l'avance

289
00:15:38,275 --> 00:15:41,299
car certains éléments ne peuvent
être mis en place

290
00:15:41,299 --> 00:15:45,296
qu'une fois qu'on connait les détails
de l'architecture où ce sera implémenté.

291
00:15:45,296 --> 00:15:48,676
Mais plus nous résolvons ce problème
de contrôle à l'avance,

292
00:15:48,676 --> 00:15:52,766
meilleure sera notre chance 
que la transition vers l'ère de l'I.A.

293
00:15:52,766 --> 00:15:54,306
se passera bien.

294
00:15:54,306 --> 00:15:58,950
Pour moi, ça semble valoir la peine

295
00:15:58,950 --> 00:16:02,282
et j'imaginer que,
si tout se passe bien,

296
00:16:02,282 --> 00:16:06,940
les gens, dans un million d'années,
penseront peut-être

297
00:16:06,940 --> 00:16:10,942
que la chose qui a vraiment été
importante dans notre siècle

298
00:16:10,942 --> 00:16:12,509
était de faire ça bien.

299
00:16:12,509 --> 00:16:14,198
Merci.

300
00:16:14,198 --> 00:16:17,011
(Applaudissements)