1
00:00:01,000 --> 00:00:03,216
Я хочу поговорить
о неспособности к интуиции,

2
00:00:03,240 --> 00:00:04,880
от которой страдают многие из нас.

3
00:00:05,480 --> 00:00:08,870
Фактически, это неспособность
распознавать определённую опасность.

4
00:00:09,360 --> 00:00:11,096
Я опишу сценарий,

5
00:00:11,120 --> 00:00:14,376
который назвал бы
одновременно пугающим

6
00:00:14,400 --> 00:00:16,160
и вполне вероятным,

7
00:00:16,840 --> 00:00:18,496
и это не хорошее сочетание,

8
00:00:18,520 --> 00:00:19,466
как выясняется.

9
00:00:20,060 --> 00:00:22,686
Всё же вместо того, чтобы пугаться,
многие подумают,

10
00:00:22,710 --> 00:00:24,640
что то, о чём я говорю, здóрово.

11
00:00:25,200 --> 00:00:28,176
Я расскажу, как наши достижения

12
00:00:28,200 --> 00:00:29,976
в развитии искусственного интеллекта

13
00:00:30,000 --> 00:00:31,776
могут в итоге нас уничтожить.

14
00:00:31,800 --> 00:00:35,256
По-моему, вообще трудно понять,
как они могут нас не уничтожить

15
00:00:35,280 --> 00:00:36,960
или не побудить к самоуничтожению.

16
00:00:37,400 --> 00:00:39,256
Всё же, если вы в чём-то схожи со мной,

17
00:00:39,280 --> 00:00:41,936
то вам нравится думать о таких вещах.

18
00:00:41,960 --> 00:00:45,336
И эта реакция — часть проблемы.

19
00:00:45,360 --> 00:00:47,080
Эта реакция должна вас беспокоить.

20
00:00:47,920 --> 00:00:50,576
И если бы мне надо было убедить вас,

21
00:00:50,600 --> 00:00:54,016
что нам грозит всемирный голод

22
00:00:54,040 --> 00:00:57,096
из-за изменения климата
или некой другой катастрофы

23
00:00:57,120 --> 00:01:00,536
и что ваши внуки или их внуки,

24
00:01:00,560 --> 00:01:02,360
вероятно, будут жить вот так,

25
00:01:03,200 --> 00:01:04,400
вы бы не подумали:

26
00:01:05,440 --> 00:01:06,776
«Интересно.

27
00:01:06,800 --> 00:01:08,000
Хорошее выступление».

28
00:01:09,200 --> 00:01:10,720
В голоде нет ничего забавного.

29
00:01:11,800 --> 00:01:15,176
Смерть от научной фантастики,
с другой стороны, — это круто,

30
00:01:15,200 --> 00:01:18,816
и меня очень сильно беспокоит
на данном этапе развития ИИ

31
00:01:18,840 --> 00:01:23,296
наша неспособность к выстраиванию
подобающей эмоциональной реакции

32
00:01:23,320 --> 00:01:25,136
на ожидающие нас опасности.

33
00:01:25,160 --> 00:01:28,360
Я сам не могу выстроить эту реакцию,
потому и говорю об этом.

34
00:01:30,120 --> 00:01:32,816
Как будто мы стои́м перед двумя дверьми.

35
00:01:32,840 --> 00:01:34,096
За первой дверью

36
00:01:34,120 --> 00:01:37,416
у нас останавливается прогресс
в создании интеллектуальных устройств.

37
00:01:37,440 --> 00:01:41,456
Аппаратное и программное обеспечение
почему-то больше не становится лучше.

38
00:01:41,480 --> 00:01:44,480
Теперь на секунду задумайтесь,
почему это может произойти.

39
00:01:45,080 --> 00:01:48,736
Ведь учитывая, насколько ценны
интеллект и автоматизация,

40
00:01:48,760 --> 00:01:52,280
мы продолжим совершенствовать
технологии, пока способны на это.

41
00:01:53,200 --> 00:01:54,867
Что может нас остановить?

42
00:01:55,800 --> 00:01:57,600
Полномасштабная ядерная война?

43
00:01:59,000 --> 00:02:00,560
Глобальная пандемия?

44
00:02:02,320 --> 00:02:03,640
Падение астероида?

45
00:02:05,640 --> 00:02:08,216
Избрание Джастина Бибера президентом США?

46
00:02:08,240 --> 00:02:10,520
(Смех)

47
00:02:12,760 --> 00:02:16,680
Суть в том, что что-то должно будет
уничтожить цивилизацию в нашем понимании.

48
00:02:17,360 --> 00:02:21,656
Только представьте себе,
насколько всё должно быть плохо,

49
00:02:21,680 --> 00:02:25,016
чтобы мы перестали
совершенствовать технологии

50
00:02:25,040 --> 00:02:26,256
навсегда,

51
00:02:26,280 --> 00:02:28,056
на все грядущие поколения.

52
00:02:28,080 --> 00:02:30,136
Практически по определению
это худшее,

53
00:02:30,160 --> 00:02:32,496
что может случиться с человечеством.

54
00:02:32,520 --> 00:02:33,816
Единственная альтернатива,

55
00:02:33,840 --> 00:02:36,176
которая и находится за второй дверью, —

56
00:02:36,200 --> 00:02:39,336
продолжение совершенствования
интеллектуальных устройств

57
00:02:39,360 --> 00:02:40,960
из года в год.

58
00:02:41,720 --> 00:02:45,360
В какой-то момент мы создадим
устройства, которые будут умнее нас,

59
00:02:46,080 --> 00:02:48,606
и когда такие устройства появятся,

60
00:02:48,630 --> 00:02:50,666
они начнут улучшать себя сами.

61
00:02:50,700 --> 00:02:53,456
И тогда появится риск того,
что математик И. Д. Гуд называл

62
00:02:53,480 --> 00:02:55,256
«взрывом интеллекта» —

63
00:02:55,280 --> 00:02:57,280
риск утраты нами контроля над процессом.

64
00:02:58,120 --> 00:03:00,936
Это часто изображают
в виде подобных картинок,

65
00:03:00,960 --> 00:03:04,176
пугающих армиями злых роботов,

66
00:03:04,200 --> 00:03:05,456
которые нападут на нас.

67
00:03:05,480 --> 00:03:08,176
Но это не самый вероятный сценарий.

68
00:03:08,200 --> 00:03:13,056
Не то, чтобы наша техника
внезапно рассвирепеет.

69
00:03:13,080 --> 00:03:15,696
Беспокоит на самом деле то,
что мы создаём устройства,

70
00:03:15,720 --> 00:03:17,776
которые настолько нас превосходят,

71
00:03:17,800 --> 00:03:21,576
что малейшее расхождение
между их целями и нашими

72
00:03:21,600 --> 00:03:22,800
может нас уничтожить.

73
00:03:23,960 --> 00:03:26,060
Подумайте о том, как мы
относимся к муравьям.

74
00:03:26,600 --> 00:03:28,256
Мы не ненавидим их.

75
00:03:28,280 --> 00:03:30,336
Мы не лезем из кожи вон,
чтобы навредить им.

76
00:03:30,360 --> 00:03:32,736
На самом деле, иногда мы
стараемся не навредить им.

77
00:03:32,760 --> 00:03:34,776
Мы перешагиваем их на тротуаре.

78
00:03:34,800 --> 00:03:36,936
Но если вдруг их присутствие

79
00:03:36,960 --> 00:03:39,456
серьёзно мешает нашим целям,

80
00:03:39,480 --> 00:03:41,717
например, если мы
строим здание вроде этого,

81
00:03:41,981 --> 00:03:43,941
мы без колебаний их истребляем.

82
00:03:44,480 --> 00:03:47,416
Беспокоит то, что однажды
мы создадим устройства,

83
00:03:47,440 --> 00:03:50,176
которые независимо
от наличия у них сознания

84
00:03:50,200 --> 00:03:52,200
могут так же пренебречь нами.

85
00:03:53,760 --> 00:03:56,520
Я подозреваю, многим из вас
это кажется надуманным.

86
00:03:57,360 --> 00:04:03,476
Уверен, среди вас есть сомневающиеся
в возможности сверхразумного ИИ,

87
00:04:03,490 --> 00:04:05,376
не говоря уж о его неизбежности.

88
00:04:05,400 --> 00:04:09,020
Значит, вы не согласны
с одним из следующих допущений.

89
00:04:09,044 --> 00:04:10,616
Их всего три.

90
00:04:11,800 --> 00:04:16,519
Интеллект — это результат обработки
информации в физической системе.

91
00:04:17,320 --> 00:04:19,935
На самом деле это немного больше,
чем допущение.

92
00:04:19,959 --> 00:04:23,416
Мы заложили ограниченный интеллект
в свои технологии,

93
00:04:23,440 --> 00:04:25,456
и многие из них уже работают

94
00:04:25,480 --> 00:04:28,120
на уровне сверхчеловеческого интеллекта.

95
00:04:28,840 --> 00:04:30,876
И мы знаем, что из одной лишь материи

96
00:04:30,900 --> 00:04:34,056
возможно развитие так называемого
«общего интеллекта» —

97
00:04:34,080 --> 00:04:37,736
способности к гибкому мышлению
в разных сферах,

98
00:04:37,760 --> 00:04:40,896
потому что на это способен наш мозг.
Так?

99
00:04:40,920 --> 00:04:44,856
Я имею в виду: здесь всего лишь атомы,

100
00:04:44,880 --> 00:04:49,376
и покуда мы продолжаем
создавать системы из атомов,

101
00:04:49,400 --> 00:04:52,096
проявляющие всё более разумное поведение,

102
00:04:52,120 --> 00:04:54,656
в итоге мы — если ничто не помешает —

103
00:04:54,680 --> 00:04:58,056
в итоге мы наделим общим интеллектом

104
00:04:58,080 --> 00:04:59,376
свои устройства.

105
00:04:59,400 --> 00:05:03,056
Очень важно осознавать,
что темп прогресса не важен,

106
00:05:03,080 --> 00:05:06,256
потому что любой прогресс
может привести нас к конечному итогу.

107
00:05:06,280 --> 00:05:10,056
Нам не нужно, чтобы закон Мура работал.
Нам не нужен экспоненциальный прогресс.

108
00:05:10,080 --> 00:05:11,860
Нам просто нужно не останавливаться.

109
00:05:13,480 --> 00:05:16,400
Второе предположение —
что мы не остановимся.

110
00:05:17,000 --> 00:05:19,760
Мы продолжим улучшать
свои интеллектуальные устройства.

111
00:05:21,000 --> 00:05:25,376
И, учитывая ценность интеллекта —

112
00:05:25,400 --> 00:05:28,936
ведь интеллект либо порождает всё,
что мы ценим,

113
00:05:28,960 --> 00:05:31,736
либо нужен нам для защиты всего,
что мы ценим, —

114
00:05:31,760 --> 00:05:34,016
это наш ценнейший ресурс.

115
00:05:34,040 --> 00:05:35,576
Поэтому мы хотим этим заниматься.

116
00:05:35,600 --> 00:05:38,936
У нас есть проблемы,
которые непременно нужно решить.

117
00:05:38,960 --> 00:05:42,160
Мы хотим излечить болезни
вроде Альцгеймера и рака.

118
00:05:42,960 --> 00:05:46,896
Мы хотим понимать экономические системы.
Мы хотим больше знать о климате.

119
00:05:46,920 --> 00:05:49,176
Так что мы это сделаем, если сможем.

120
00:05:49,200 --> 00:05:52,486
Поезд уже тронулся, и тóрмоза нет.

121
00:05:53,880 --> 00:05:59,336
Наконец, мы не на пике интеллекта

122
00:05:59,360 --> 00:06:01,160
и даже не близко к нему, вероятно.

123
00:06:01,640 --> 00:06:03,536
И это действительно важно понимать.

124
00:06:03,560 --> 00:06:05,976
Именно из-за этого
наша система так уязвима,

125
00:06:06,000 --> 00:06:10,040
а наши интуитивные оценки риска
так ненадёжны.

126
00:06:11,020 --> 00:06:14,160
Теперь представьте умнейшего
из когда-либо живших людей.

127
00:06:14,640 --> 00:06:17,996
Почти все среди прочих называют
Джона фон Неймана.

128
00:06:18,020 --> 00:06:21,416
Ведь впечатление, которое фон Нейман
производил на окружающих,

129
00:06:21,440 --> 00:06:25,496
в том числе величайших математиков
и физиков своего времени,

130
00:06:25,520 --> 00:06:27,456
очень хорошо задокументировано.

131
00:06:27,480 --> 00:06:31,256
Если половина историй о нём
хотя бы наполовину правдивы,

132
00:06:31,280 --> 00:06:32,496
сомнений нет:

133
00:06:32,520 --> 00:06:34,976
он один из умнейших людей,
когда-либо живших.

134
00:06:35,000 --> 00:06:37,520
Подумайте о диапазоне
интеллектуальных способностей.

135
00:06:38,320 --> 00:06:39,749
Здесь у нас Джон фон Нейман.

136
00:06:41,560 --> 00:06:42,894
Здесь мы с вами.

137
00:06:44,120 --> 00:06:45,416
А здесь курица.

138
00:06:45,440 --> 00:06:47,376
(Смех)

139
00:06:47,400 --> 00:06:48,616
Прошу прощения.
Курица.

140
00:06:48,640 --> 00:06:49,896
(Смех)

141
00:06:49,920 --> 00:06:53,656
Ни к чему делать эту лекцию
более депрессивной, чем надо.

142
00:06:53,680 --> 00:06:55,280
(Смех)

143
00:06:56,339 --> 00:06:59,816
Однако кажется чрезвычайно вероятным,
что интеллект варьируется

144
00:06:59,840 --> 00:07:02,960
в куда бóльших масштабах,
чем мы себе сейчас представляем,

145
00:07:03,880 --> 00:07:07,096
и если мы создадим устройства,
которые будут умнее нас,

146
00:07:07,120 --> 00:07:09,416
они, очень вероятно,
будут осваивать эти масштабы

147
00:07:09,440 --> 00:07:11,296
невообразимыми для нас способами

148
00:07:11,320 --> 00:07:13,840
и превзойдут нас невообразимыми способами.

149
00:07:15,000 --> 00:07:19,336
И важно признавать, что это верно
в силу одной только скорости.

150
00:07:19,360 --> 00:07:24,416
Так? Представьте, что мы построим
сверхразумный ИИ,

151
00:07:24,440 --> 00:07:27,896
который будет не умнее
среднестатистической группы учёных

152
00:07:27,920 --> 00:07:29,916
из Стэнфорда или МТИ.

153
00:07:29,940 --> 00:07:33,216
Электронные схемы примерно
в миллион раз быстрее

154
00:07:33,240 --> 00:07:34,496
биохимических,

155
00:07:34,520 --> 00:07:37,656
поэтому машина будет думать
в миллион раз быстрее,

156
00:07:37,680 --> 00:07:39,496
чем создавший её разум.

157
00:07:39,520 --> 00:07:41,176
Вы запускаете её на неделю,

158
00:07:41,200 --> 00:07:45,760
и она выполняет 20 000-летнюю
работу интеллекта человеческого уровня

159
00:07:46,400 --> 00:07:48,360
неделю за неделей.

160
00:07:49,640 --> 00:07:52,736
Как мы только можем понять,
не говоря о том, чтобы сдержать,

161
00:07:52,760 --> 00:07:55,040
ум, работающий с подобной скоростью?

162
00:07:56,840 --> 00:07:58,976
Ещё беспокоит, если честно,

163
00:07:59,000 --> 00:08:03,976
вот что: представьте лучший сценарий.

164
00:08:04,000 --> 00:08:07,696
Представьте, что у нас в распоряжении
проект сверхразумного ИИ,

165
00:08:07,720 --> 00:08:09,576
не угрожающего безопасности.

166
00:08:09,600 --> 00:08:12,856
У нас с сáмого начала
получился идеальный проект.

167
00:08:12,880 --> 00:08:15,096
Как будто мы одарены им свыше,

168
00:08:15,120 --> 00:08:17,136
и он работает точно так, как задумано.

169
00:08:17,160 --> 00:08:21,020
Это устройство было бы идеально
для снижения трудозатрат.

170
00:08:21,510 --> 00:08:24,039
Оно может придумать машину,
которая построит машину,

171
00:08:24,073 --> 00:08:25,976
которая сможет делать физическую работу,

172
00:08:26,010 --> 00:08:27,376
питаясь энергией солнца

173
00:08:27,400 --> 00:08:30,096
приблизительно по цене сырья.

174
00:08:30,120 --> 00:08:33,376
Это означает конец
изматывающей работы для людей.

175
00:08:33,400 --> 00:08:36,260
Это также означает конец
большей части умственной работы.

176
00:08:37,200 --> 00:08:40,256
А что такие приматы, как мы,
делают в такой ситуации?

177
00:08:40,280 --> 00:08:44,360
Ну, мы сможем играть во фрисби
и делать друг другу массаж.

178
00:08:45,840 --> 00:08:48,696
Добавьте немного ЛСД
и немного смелых нарядов,

179
00:08:48,720 --> 00:08:50,896
и мир будет похож
на фестиваль «Burning Man».

180
00:08:50,920 --> 00:08:52,560
(Смех)

181
00:08:54,320 --> 00:08:56,320
Возможно, звучит неплохо,

182
00:08:57,280 --> 00:08:59,656
но спроси́те себя, что бы случилось

183
00:08:59,680 --> 00:09:02,416
при нынешнем
экономико-политическом устройстве?

184
00:09:02,440 --> 00:09:04,856
Кажется вероятным,
что мы станем свидетелями

185
00:09:04,880 --> 00:09:09,016
такого уровня имущественного неравенства
и безработицы,

186
00:09:09,040 --> 00:09:10,536
какого не наблюдали раньше.

187
00:09:10,560 --> 00:09:13,176
В отсутствие желания
сразу поставить новые блага

188
00:09:13,200 --> 00:09:14,680
на службу человечеству

189
00:09:15,640 --> 00:09:19,256
несколько магнатов смогут
украшать обложки деловых журналов,

190
00:09:19,280 --> 00:09:21,720
пока остальные будут голодать.

191
00:09:22,320 --> 00:09:24,436
Что бы сделали русские или китайцы,

192
00:09:24,460 --> 00:09:27,256
узнав, что некая компания
в Силиконовой долине

193
00:09:27,280 --> 00:09:30,016
на грани внедрения сверхразумного ИИ?

194
00:09:30,040 --> 00:09:32,896
Такое устройство могло бы
спровоцировать войну,

195
00:09:32,920 --> 00:09:35,136
наземную или кибер-войну

196
00:09:35,160 --> 00:09:36,840
беспрецедентного размаха.

197
00:09:37,870 --> 00:09:40,126
Это сценарий, в котором
победитель получает всё.

198
00:09:40,140 --> 00:09:43,136
Полугодовое преимущество
в такой конкуренции —

199
00:09:43,160 --> 00:09:45,936
всё равно что преимущество в 500 000 лет

200
00:09:45,960 --> 00:09:47,456
как минимум.

201
00:09:47,480 --> 00:09:52,216
Поэтому представляется,
что даже слухи о такого рода прорыве

202
00:09:52,240 --> 00:09:54,616
могут привести человечество в неистовство.

203
00:09:54,640 --> 00:09:57,536
Одна из самых пугающих вещей,

204
00:09:57,560 --> 00:10:00,336
как мне кажется, на данный момент —

205
00:10:00,360 --> 00:10:04,516
это те слова, которые твердят
все исследователи ИИ,

206
00:10:04,540 --> 00:10:06,240
когда хотят звучать обнадёживающе.

207
00:10:07,000 --> 00:10:10,476
И чаще всего нас просят
не беспокоиться по причине времени.

208
00:10:10,500 --> 00:10:12,536
До этого ещё далеко, если вы не знали.

209
00:10:12,560 --> 00:10:15,000
До этого, вероятно, ещё лет 50 или 100.

210
00:10:15,720 --> 00:10:16,976
Один исследователь сказал:

211
00:10:17,000 --> 00:10:18,576
«Волноваться о безопасности ИИ —

212
00:10:18,600 --> 00:10:20,900
всё равно что волноваться
о перенаселении Марса».

213
00:10:22,116 --> 00:10:23,736
В Силиконовой долине это означает:

214
00:10:23,760 --> 00:10:26,136
«не морочь этим свою милую головку».

215
00:10:26,160 --> 00:10:27,496
(Смех)

216
00:10:27,520 --> 00:10:29,416
Кажется, что никто не замечает,

217
00:10:29,440 --> 00:10:32,056
что ссылаться на удалённость во времени —

218
00:10:32,080 --> 00:10:34,656
нарушение всякой логики.

219
00:10:34,680 --> 00:10:37,936
Если интеллект — лишь результат
обработки информации

220
00:10:37,960 --> 00:10:40,616
и мы продолжим совершенствовать технику,

221
00:10:40,640 --> 00:10:43,520
мы создадим некую форму сверхинтеллекта.

222
00:10:44,320 --> 00:10:47,976
И мы не имеем понятия,
сколько времени займёт

223
00:10:48,000 --> 00:10:50,400
создание для этого безопасных условий.

224
00:10:52,200 --> 00:10:53,496
Позвольте повторить.

225
00:10:53,520 --> 00:10:57,336
Мы не имеем понятия,
сколько времени займёт

226
00:10:57,360 --> 00:10:59,600
создание для этого безопасных условий.

227
00:11:00,920 --> 00:11:04,376
И если вы не заметили,
50 лет — не те 50 лет, что раньше.

228
00:11:04,400 --> 00:11:06,856
Вот 50 лет по месяцам.

229
00:11:06,880 --> 00:11:08,720
Вот так давно у нас есть iPhone.

230
00:11:09,440 --> 00:11:12,040
Так долго «Симпсонов» показывают по ТВ.

231
00:11:12,680 --> 00:11:15,056
Пятьдесят лет — не так много

232
00:11:15,080 --> 00:11:18,240
для решения одной из важнейших
для нашего вида задач.

233
00:11:19,640 --> 00:11:23,656
Опять же, нам не удаётся выстроить
подобающую эмоциональную реакцию

234
00:11:23,680 --> 00:11:26,376
на то, что по всем признакам
нам предстоит.

235
00:11:26,400 --> 00:11:30,376
Специалист в области информатики
Стюарт Рассел провёл хорошую аналогию.

236
00:11:30,400 --> 00:11:35,296
Он сказал: «Представьте, что мы получили
послание от внеземной цивилизации,

237
00:11:35,320 --> 00:11:37,016
в котором говорится:

238
00:11:37,040 --> 00:11:38,576
"Земляне,

239
00:11:38,600 --> 00:11:40,960
мы прибудем на вашу планету через 50 лет.

240
00:11:41,800 --> 00:11:43,376
Готовьтесь".

241
00:11:43,400 --> 00:11:47,656
И теперь мы просто считаем месяцы
до посадки их корабля-носителя?

242
00:11:47,680 --> 00:11:50,680
Мы бы немножко больше суетились.

243
00:11:52,680 --> 00:11:54,656
Ещё мы якобы не должны
волноваться потому,

244
00:11:54,680 --> 00:11:57,576
что эти машины
не могут не разделять наши ценности,

245
00:11:57,600 --> 00:12:00,216
так как будут буквально
дополнениями к нам самим.

246
00:12:00,240 --> 00:12:02,056
Они будут присоединены к нашему мозгу,

247
00:12:02,080 --> 00:12:04,440
и мы по сути станем
их лимбической системой.

248
00:12:05,120 --> 00:12:06,536
Теперь на миг задумайтесь,

249
00:12:06,560 --> 00:12:09,736
что самый безопасный и единственно
благоразумный путь,

250
00:12:09,760 --> 00:12:11,096
по рекомендациям, —

251
00:12:11,120 --> 00:12:13,920
имплантация этой технологии прямо в мозг.

252
00:12:14,600 --> 00:12:17,976
Это действительно может быть самым
безопасным и благоразумным путём,

253
00:12:18,000 --> 00:12:21,056
но обычно озабоченность
безопасностью технологии

254
00:12:21,080 --> 00:12:24,736
нужно развеивать до того,
как запихивать её себе в голову.

255
00:12:24,760 --> 00:12:26,776
(Смех)

256
00:12:26,800 --> 00:12:32,136
Более глубокая проблема в том, что
создание сверхразумного ИИ как такового

257
00:12:32,160 --> 00:12:33,896
кажется намного легче,

258
00:12:33,920 --> 00:12:35,776
чем создание сверхразумного ИИ

259
00:12:35,800 --> 00:12:37,576
и всех нейротехнологий,

260
00:12:37,600 --> 00:12:40,320
необходимых для их бесшовной
интеграции с нашим разумом.

261
00:12:40,800 --> 00:12:43,976
Учитывая, что компании и правительства,
ведущие эту работу,

262
00:12:44,000 --> 00:12:47,656
могут представлять себя участниками
гонки против всех остальных

263
00:12:47,680 --> 00:12:50,936
и для них выиграть гонку
значит выиграть весь мир,

264
00:12:50,960 --> 00:12:53,336
учитывая, что вы не уничтожите его
через секунду,

265
00:12:53,360 --> 00:12:56,046
тогда вероятным кажется,
что самое простое

266
00:12:56,070 --> 00:12:57,550
будет сделано в первую очередь.

267
00:12:58,560 --> 00:13:01,326
К сожалению, у меня нет решения
этой проблемы,

268
00:13:01,340 --> 00:13:04,056
кроме рекомендации, чтобы больше людей
задумывались о ней.

269
00:13:04,080 --> 00:13:06,456
Я думаю, нам нужно что-то вроде
проекта «Манхэттен»

270
00:13:06,480 --> 00:13:08,496
в области искусственного интеллекта.

271
00:13:08,520 --> 00:13:11,256
Не чтобы его создать —
я думаю, это неизбежно случится, —

272
00:13:11,280 --> 00:13:14,616
а чтобы понять, как избежать
гонки вооружений

273
00:13:14,640 --> 00:13:18,136
и создать его так,
чтобы это совпало с нашими интересами.

274
00:13:18,160 --> 00:13:20,296
Когда говоришь о сверхразумном ИИ,

275
00:13:20,320 --> 00:13:22,576
который может менять себя сам,

276
00:13:22,600 --> 00:13:27,216
кажется, что есть только одна попытка
для создания правильных начальных условий,

277
00:13:27,240 --> 00:13:29,296
и даже тогда нам нужно совладать

278
00:13:29,320 --> 00:13:32,410
с экономико-политическими 
последствиями их правильного создания.

279
00:13:33,760 --> 00:13:35,816
Но как только мы признаем,

280
00:13:35,840 --> 00:13:39,840
что источник интеллекта —
обработка информации,

281
00:13:40,720 --> 00:13:45,520
что интеллект основан на некой
подходящей вычислительной системе,

282
00:13:46,360 --> 00:13:50,120
и признаем, что будем совершенствовать
эти системы непрерывно

283
00:13:51,280 --> 00:13:55,736
и что предел сознания, весьма вероятно,
намного дальше,

284
00:13:55,760 --> 00:13:57,140
чем мы сейчас представляем,

285
00:13:58,120 --> 00:13:59,336
тогда мы должны признать,

286
00:13:59,360 --> 00:14:02,000
что мы в процессе создания
своего рода бога.

287
00:14:03,400 --> 00:14:04,976
Теперь самое время

288
00:14:05,000 --> 00:14:07,073
убедиться, что мы сможем с ним ужиться.

289
00:14:08,120 --> 00:14:09,656
Большое спасибо.

290
00:14:09,680 --> 00:14:14,773
(Аплодисменты)