1
00:00:01,765 --> 00:00:04,765
Итак, искусственный интеллект

2
00:00:04,789 --> 00:00:08,318
известен тем, что вмешивается
во все виды промышленности.

3
00:00:08,961 --> 00:00:11,004
А как насчёт мороженого?

4
00:00:11,879 --> 00:00:15,518
Какие новые умопомрачительные вкусы
мы можем создать

5
00:00:15,542 --> 00:00:18,518
с помощью продвинутого
искусственного интеллекта?

6
00:00:19,011 --> 00:00:23,172
Чтобы это выяснить,
я объединилась с группой программистов

7
00:00:23,196 --> 00:00:25,437
из средней школы Килинга.

8
00:00:25,461 --> 00:00:30,542
Они собрали более 1 600
уже существующих вкусов мороженого,

9
00:00:30,566 --> 00:00:36,088
и мы загрузили их в алгоритм,
чтобы посмотреть, что он сгенерирует.

10
00:00:36,112 --> 00:00:39,330
И вот некоторые из вкусов,
которые придумал ИИ.

11
00:00:39,335 --> 00:00:41,405
[Тыквенная мусорная куча]

12
00:00:41,405 --> 00:00:42,683
(Смех)

13
00:00:42,823 --> 00:00:46,309
[Слизь арахисового масла]

14
00:00:46,504 --> 00:00:48,616
[Клубничное заболевание]

15
00:00:48,616 --> 00:00:49,903
(Смех)

16
00:00:50,339 --> 00:00:54,704
Эти вкусы не такие приятные,
как мы надеялись.

17
00:00:54,960 --> 00:00:56,824
Так что же произошло?

18
00:00:56,848 --> 00:00:58,242
Что пошло не так?

19
00:00:58,266 --> 00:01:00,225
ИИ пытается убить нас?

20
00:01:01,027 --> 00:01:05,337
Или он пытается сделать именно то,
о чём мы его просили, и в этом проблема?

21
00:01:06,567 --> 00:01:09,031
В фильмах, когда с ИИ что-то не в порядке,

22
00:01:09,055 --> 00:01:11,767
обычно это потому, что ИИ решил,

23
00:01:11,791 --> 00:01:14,063
что больше не хочет подчиняться людям

24
00:01:14,087 --> 00:01:16,710
и имеет свои цели, спасибо большое.

25
00:01:17,266 --> 00:01:20,482
Однако в реальной жизни современный ИИ

26
00:01:20,506 --> 00:01:22,369
недостаточно умён для этого.

27
00:01:22,781 --> 00:01:25,763
Его вычислительная мощность
приблизительно совпадает

28
00:01:25,787 --> 00:01:27,063
с дождевым червём

29
00:01:27,087 --> 00:01:30,490
или максимум с одной пчелой.

30
00:01:30,514 --> 00:01:32,883
Хотя на самом деле она,
скорее всего, даже меньше.

31
00:01:32,903 --> 00:01:35,347
Мы постоянно узнаём
что-то новое о нашем мозге,

32
00:01:35,395 --> 00:01:39,755
что показывает, как сильно
ИИ отстаёт от нашего разума.

33
00:01:39,755 --> 00:01:45,418
Например, современный ИИ может
распознавать пешеходов на изображении,

34
00:01:45,442 --> 00:01:48,425
но он не понимает, что такое пешеход,

35
00:01:48,449 --> 00:01:53,273
кроме набора линий, текстур и объектов.

36
00:01:53,792 --> 00:01:56,313
Он не знает, что такое
человек на самом деле.

37
00:01:56,822 --> 00:02:00,104
Так что сделает ли современный ИИ
то, о чём мы его попросим?

38
00:02:00,104 --> 00:02:01,342
Да, если сможет,

39
00:02:01,342 --> 00:02:04,456
но в итоге может получиться не то,
чего мы хотели на самом деле.

40
00:02:04,456 --> 00:02:06,911
Допустим, вы хотите, чтобы ИИ

41
00:02:06,935 --> 00:02:10,028
взял эти детали и собрал из них робота,

42
00:02:10,028 --> 00:02:13,775
который сможет добраться 
из точки А в точку Б.

43
00:02:13,823 --> 00:02:16,304
Если бы вы пытались решить эту задачу

44
00:02:16,304 --> 00:02:18,655
с помощью обычной компьютерной программы,

45
00:02:18,679 --> 00:02:22,096
вы бы запрограммировали
пошаговые инструкции о том,

46
00:02:22,120 --> 00:02:23,449
как взять эти детали,

47
00:02:23,473 --> 00:02:25,880
как собрать из них робота с ногами

48
00:02:25,904 --> 00:02:28,621
и как потом использовать эти ноги,
чтобы дойти до точки Б.

49
00:02:29,441 --> 00:02:31,353
Но при использовании ИИ

50
00:02:31,373 --> 00:02:32,983
всё происходит по-другому.

51
00:02:33,003 --> 00:02:35,385
Вы не говорите ему, как решить эту задачу,

52
00:02:35,409 --> 00:02:36,888
вы просто указываете цель,

53
00:02:36,912 --> 00:02:40,174
и ИИ должен сам
методом проб и ошибок решить,

54
00:02:40,174 --> 00:02:41,658
как достичь этой цели.

55
00:02:42,254 --> 00:02:45,627
И оказывается, что ИИ пытается решить

56
00:02:45,627 --> 00:02:47,864
эту конкретную задачу так:

57
00:02:47,888 --> 00:02:51,279
он собирается в башню и падает,

58
00:02:51,279 --> 00:02:53,106
приземляясь в точке Б.

59
00:02:53,106 --> 00:02:55,983
И технически это решает
поставленную задачу.

60
00:02:55,983 --> 00:02:57,622
Технически он попадает в точку Б.

61
00:02:57,646 --> 00:03:01,911
Опасность ИИ заключается не в том,
что он восстанет против нас,

62
00:03:01,935 --> 00:03:06,209
а в том, что он будет делать именно то,
о чём мы его попросим.

63
00:03:06,876 --> 00:03:09,398
Так что основная сложность при работе с ИИ

64
00:03:09,398 --> 00:03:13,226
в том, как поставить задачу,
чтобы он сделал именно то, что мы хотим.

65
00:03:14,726 --> 00:03:18,032
Этот маленький робот управляется ИИ.

66
00:03:18,056 --> 00:03:20,870
ИИ разработал конструкцию ног робота

67
00:03:20,894 --> 00:03:24,972
и придумал, как их использовать
для преодоления всех этих препятствий.

68
00:03:24,996 --> 00:03:27,761
Но когда Дэвид Ха
проводил этот эксперимент,

69
00:03:27,761 --> 00:03:30,617
ему пришлось установить
очень жёсткие ограничения

70
00:03:30,641 --> 00:03:33,933
длинны ног, которые мог сделать ИИ,

71
00:03:33,957 --> 00:03:35,507
потому что иначе...

72
00:03:42,521 --> 00:03:48,139
(Смех)

73
00:03:48,563 --> 00:03:52,308
И технически он преодолел
эту полосу препятствий.

74
00:03:52,332 --> 00:03:57,274
Так что вы видите, как сложно заставить ИИ
сделать что-то такое простое, как ходьба.

75
00:03:57,298 --> 00:04:01,118
Конечно, можно попробовать сказать:
«Нет, так не честно,

76
00:04:01,142 --> 00:04:03,722
ты не можешь просто стать башней и упасть,

77
00:04:03,746 --> 00:04:07,181
ты должен использовать ноги,
чтобы ходить».

78
00:04:07,205 --> 00:04:09,964
И оказывается,
что даже это не всегда работает.

79
00:04:09,988 --> 00:04:12,747
Задачей этого ИИ
было научиться быстро двигаться.

80
00:04:13,115 --> 00:04:16,708
Но ему не сказали,
что нужно бежать лицом вперёд

81
00:04:16,732 --> 00:04:18,990
или что нельзя использовать руки.

82
00:04:19,487 --> 00:04:24,860
Так что часто, если вы пытаетесь
научить ИИ быстро передвигаться,

83
00:04:24,116 --> 00:04:27,667
у него получаются такие сальто
и глупые движения.

84
00:04:27,687 --> 00:04:29,637
Это происходит очень часто.

85
00:04:29,667 --> 00:04:32,846
Или он просто ползает кучкой по полу.

86
00:04:32,870 --> 00:04:34,020
(Смех)

87
00:04:35,241 --> 00:04:38,495
Так что я считаю, что
Терминаторы должны были быть

88
00:04:38,519 --> 00:04:39,915
гораздо более странными.

89
00:04:40,256 --> 00:04:44,011
А ещё ИИ постоянно пытается
взломать «Матрицу».

90
00:04:44,035 --> 00:04:46,552
Если вы обучаете ИИ в симуляции,

91
00:04:46,576 --> 00:04:50,689
он научится использовать
её математические ошибки

92
00:04:50,713 --> 00:04:52,920
для получения энергии.

93
00:04:52,944 --> 00:04:58,419
Или он научится двигаясь быстрее,
постоянно врезаясь в пол.

94
00:04:58,443 --> 00:04:59,818
Когда вы работаете с ИИ,

95
00:04:59,818 --> 00:05:02,585
это совсем не похоже
на взаимодействие с другим человеком,

96
00:05:02,585 --> 00:05:06,094
это больше похоже
на какую-то странную силу природы.

97
00:05:06,562 --> 00:05:11,185
И на самом деле очень легко случайно
поставить перед ИИ неправильную цель,

98
00:05:11,209 --> 00:05:15,747
даже того не осознавая,
пока что-то не пойдёт не так.

99
00:05:16,242 --> 00:05:18,322
Вот эксперимент, который я провела:

100
00:05:18,346 --> 00:05:21,528
я хотела, чтобы ИИ
использовал существующие цвета,

101
00:05:21,552 --> 00:05:23,298
чтобы придумывать новые

102
00:05:23,322 --> 00:05:26,309
из подобных списков.

103
00:05:26,798 --> 00:05:29,802
И вот что из этого получилось.

104
00:05:29,826 --> 00:05:32,969
[Какашки Синди, Дурацкий,
Страдание, Серый лобковый]

105
00:05:32,993 --> 00:05:37,223
(Смех)

106
00:05:39,177 --> 00:05:41,063
Технически

107
00:05:41,087 --> 00:05:42,951
он сделал то, о чём я просила.

108
00:05:42,975 --> 00:05:46,283
Я думала, что прошу его придумать
красивые названия цветов,

109
00:05:46,307 --> 00:05:48,614
но на самом деле я попросила его

110
00:05:48,638 --> 00:05:51,724
просто подражать комбинациям букв,

111
00:05:51,748 --> 00:05:53,653
которые он видел в оригинале.

112
00:05:53,677 --> 00:05:56,775
И я ничего не сказала ему о значении слов

113
00:05:56,799 --> 00:05:59,359
или о том, что некоторые слова

114
00:05:59,383 --> 00:06:02,272
лучше не использовать в названиях цветов.

115
00:06:03,141 --> 00:06:06,635
Всё, что он знает о мире, —
это данные, которые я ему предоставила.

116
00:06:06,659 --> 00:06:10,687
Так же как со вкусами мороженого,
он не знает ничего другого.

117
00:06:12,491 --> 00:06:14,129
Так что именно посредством данных

118
00:06:14,153 --> 00:06:18,197
мы случайно можем поручить ИИ
сделать что-то неправильное.

119
00:06:18,694 --> 00:06:21,726
Эта рыба называется линь.

120
00:06:21,750 --> 00:06:23,565
Одна группа исследователей

121
00:06:23,589 --> 00:06:27,463
обучила ИИ распознавать
линя на фотографиях.

122
00:06:27,487 --> 00:06:28,783
Но когда они спросили,

123
00:06:28,807 --> 00:06:32,233
какие части изображений ИИ использовал,
чтобы распознать эту рыбу,

124
00:06:32,257 --> 00:06:33,635
вот что они получили в ответ.

125
00:06:35,203 --> 00:06:37,392
Да, это человеческие пальцы.

126
00:06:37,416 --> 00:06:39,679
Но с какой стати ИИ ищет
на изображении пальцы,

127
00:06:39,679 --> 00:06:41,420
пытаясь распознать рыбу?

128
00:06:42,126 --> 00:06:45,290
Оказывается, линь — трофейная рыба,

129
00:06:45,314 --> 00:06:49,125
и на множестве фотографий,
которые видел ИИ

130
00:06:49,149 --> 00:06:50,300
в ходе обучения,

131
00:06:50,324 --> 00:06:51,814
рыба выглядела вот так.

132
00:06:51,838 --> 00:06:53,473
(Смех)

133
00:06:53,497 --> 00:06:56,827
И ИИ не знал, что пальцы
не относятся к рыбе.

134
00:06:58,808 --> 00:07:02,928
Так что теперь вы понимаете,
почему так сложно разработать ИИ,

135
00:07:02,952 --> 00:07:06,271
который сможет понять, что он видит.

136
00:07:06,295 --> 00:07:09,157
И поэтому распознавание изображений
в беспилотных автомобилях

137
00:07:09,181 --> 00:07:11,168
так сложно спроектировать.

138
00:07:11,168 --> 00:07:13,981
И так много сбоев в них
происходит из-за того,

139
00:07:13,981 --> 00:07:16,386
что ИИ неправильно распознал объекты.

140
00:07:16,410 --> 00:07:19,754
Например, автомобильная катастрофа,

141
00:07:19,754 --> 00:07:23,127
которая произошла в 2016 году из-за того,

142
00:07:23,127 --> 00:07:26,979
что водитель использовал 
автопилот Теслы в городе,

143
00:07:26,979 --> 00:07:30,564
хотя он был разработан
для передвижения по трассе.

144
00:07:31,239 --> 00:07:32,414
Вот, что произошло:

145
00:07:32,438 --> 00:07:35,834
перед машиной выехал грузовик,
но машина не затормозила.

146
00:07:36,507 --> 00:07:41,269
Конечно, ИИ был обучен распознавать
грузовики на изображениях.

147
00:07:41,293 --> 00:07:43,438
Но, судя по всему,

148
00:07:43,462 --> 00:07:46,393
ИИ был обучен распознавать их
при движении по шоссе,

149
00:07:46,417 --> 00:07:49,316
где грузовики можно увидеть только сзади.

150
00:07:49,340 --> 00:07:52,760
Вид на грузовики сбоку
обычно не встречается на шоссе.

151
00:07:52,784 --> 00:07:56,239
Так что когда ИИ увидел этот грузовик,

152
00:07:56,263 --> 00:08:01,090
судя по всему, он распознал его
как дорожный знак

153
00:08:01,114 --> 00:08:03,677
и поэтому решил, что под ним
можно безопасно проехать.

154
00:08:04,114 --> 00:08:06,694
Вот ещё одна ошибка ИИ из другой области.

155
00:08:06,694 --> 00:08:10,538
Недавно Amazon отказался
от использования алгоритма отбора резюме,

156
00:08:10,538 --> 00:08:11,776
который они разрабатывали,

157
00:08:11,776 --> 00:08:14,784
когда они выяснили,
что алгоритм дискриминирует женщин.

158
00:08:14,835 --> 00:08:18,094
Из-за того, что алгоритм
обучался на выборке резюме

159
00:08:18,118 --> 00:08:20,360
кандидатов, которых нанимали в прошлом,

160
00:08:20,384 --> 00:08:24,407
ИИ научился избегать резюме кандидатов,

161
00:08:24,431 --> 00:08:26,457
которые учились в женских колледжах

162
00:08:26,457 --> 00:08:29,521
или у которых встречались
слова «женщина» или «женский» в резюме.

163
00:08:29,521 --> 00:08:33,887
Например, «женская футбольная команда»
или «Общество женщин-инженеров».

164
00:08:33,911 --> 00:08:39,895
ИИ не знал, что не нужно было повторять
это конкретное поведение людей.

165
00:08:39,911 --> 00:08:43,088
И технически он сделал
то, о чём его просили.

166
00:08:43,112 --> 00:08:45,909
Просто перед ним неправильно
поставили задачу.

167
00:08:46,653 --> 00:08:49,548
И подобные вещи происходят с ИИ постоянно.

168
00:08:50,120 --> 00:08:53,711
ИИ может оказывать разрушительный
эффект, не осознавая этого.

169
00:08:53,735 --> 00:08:58,813
Например, алгоритмы ИИ, которые предлагают
новый контент на Facebook и YouTube,

170
00:08:58,837 --> 00:09:02,376
оптимизированы для увеличения
количества кликов и просмотров.

171
00:09:02,400 --> 00:09:05,836
И к сожалению,
один из способов этого добиться —

172
00:09:05,860 --> 00:09:10,363
рекомендовать контент
с теориями заговора и фанатизмом.

173
00:09:10,902 --> 00:09:16,204
Сами ИИ понятия не имеют
о содержании контента,

174
00:09:16,228 --> 00:09:19,623
так же как и о последствиях

175
00:09:19,647 --> 00:09:21,756
рекомендации такого контента.

176
00:09:22,296 --> 00:09:24,307
Так что при использовании ИИ

177
00:09:24,331 --> 00:09:28,513
заботиться об избежании проблем
должны именно мы.

178
00:09:28,537 --> 00:09:30,860
И попытки избежать проблем

179
00:09:30,884 --> 00:09:35,410
можно свести к извечной
проблеме коммуникации,

180
00:09:35,434 --> 00:09:39,179
при которой нам, людям,
нужно научиться общаться с ИИ.

181
00:09:39,203 --> 00:09:43,242
Мы должны изучить, но что ИИ способен,
а что ему недоступно.

182
00:09:43,266 --> 00:09:46,352
И мы должны понять, что ИИ 
с его крошечным разумом червяка

183
00:09:46,376 --> 00:09:50,389
на самом деле не понимает,
чего мы от него хотим.

184
00:09:51,148 --> 00:09:54,459
Другими словами, нужно смириться с тем,
что нам придётся работать

185
00:09:54,489 --> 00:09:59,690
не с суперумным всезнающим ИИ
из научной фантастики.

186
00:09:59,720 --> 00:10:02,637
Мы должны быть готовы к работе

187
00:10:02,637 --> 00:10:05,623
а с тем, что у нас есть сейчас.

188
00:10:05,623 --> 00:10:09,828
И современный ИИ достаточно странный.

189
00:10:09,852 --> 00:10:11,042
Спасибо.

190
00:10:11,066 --> 00:10:16,291
(Аплодисменты)