WEBVTT

00:00:01.765 --> 00:00:04.765
Итак, искусственный интеллект

00:00:04.789 --> 00:00:08.318
известен тем, что вмешивается
во все виды промышленности.

00:00:08.961 --> 00:00:11.004
А как насчёт мороженого?

00:00:11.879 --> 00:00:15.518
Какие новые умопомрачительные вкусы
мы можем создать

00:00:15.542 --> 00:00:18.518
с помощью продвинутого
искусственного интеллекта?

00:00:19.011 --> 00:00:23.172
Чтобы это выяснить,
я объединилась с группой программистов

00:00:23.196 --> 00:00:25.437
из средней школы Килинга.

00:00:25.461 --> 00:00:30.542
Они собрали более 1 600
уже существующих вкусов мороженого,

00:00:30.566 --> 00:00:36.088
и мы загрузили их в алгоритм,
чтобы посмотреть, что он сгенерирует.

00:00:36.112 --> 00:00:39.330
И вот некоторые из вкусов,
которые придумал ИИ.

NOTE Paragraph

00:00:39.335 --> 00:00:41.405
[Тыквенная мусорная куча]

NOTE Paragraph

00:00:41.405 --> 00:00:42.683
(Смех)

NOTE Paragraph

00:00:42.823 --> 00:00:46.309
[Слизь арахисового масла]

NOTE Paragraph

00:00:46.504 --> 00:00:48.616
[Клубничное заболевание]

00:00:48.616 --> 00:00:49.903
(Смех)

NOTE Paragraph

00:00:50.339 --> 00:00:54.704
Эти вкусы не такие приятные,
как мы надеялись.

00:00:54.960 --> 00:00:56.824
Так что же произошло?

00:00:56.848 --> 00:00:58.242
Что пошло не так?

00:00:58.266 --> 00:01:00.225
ИИ пытается убить нас?

00:01:01.027 --> 00:01:05.337
Или он пытается сделать именно то,
о чём мы его просили, и в этом проблема?

NOTE Paragraph

00:01:06.567 --> 00:01:09.031
В фильмах, когда с ИИ что-то не в порядке,

00:01:09.055 --> 00:01:11.767
обычно это потому, что ИИ решил,

00:01:11.791 --> 00:01:14.063
что больше не хочет подчиняться людям

00:01:14.087 --> 00:01:16.710
и имеет свои цели, спасибо большое.

00:01:17.266 --> 00:01:20.482
Однако в реальной жизни современный ИИ

00:01:20.506 --> 00:01:22.369
недостаточно умён для этого.

00:01:22.781 --> 00:01:25.763
Его вычислительная мощность
приблизительно совпадает

00:01:25.787 --> 00:01:27.063
с дождевым червём

00:01:27.087 --> 00:01:30.490
или максимум с одной пчелой.

00:01:30.514 --> 00:01:32.883
Хотя на самом деле она,
скорее всего, даже меньше.

00:01:32.903 --> 00:01:35.347
Мы постоянно узнаём
что-то новое о нашем мозге,

00:01:35.395 --> 00:01:39.755
что показывает, как сильно
ИИ отстаёт от нашего разума.

00:01:39.755 --> 00:01:45.418
Например, современный ИИ может
распознавать пешеходов на изображении,

00:01:45.442 --> 00:01:48.425
но он не понимает, что такое пешеход,

00:01:48.449 --> 00:01:53.273
кроме набора линий, текстур и объектов.

00:01:53.792 --> 00:01:56.313
Он не знает, что такое
человек на самом деле.

00:01:56.822 --> 00:02:00.104
Так что сделает ли современный ИИ
то, о чём мы его попросим?

00:02:00.104 --> 00:02:01.342
Да, если сможет,

00:02:01.342 --> 00:02:04.456
но в итоге может получиться не то,
чего мы хотели на самом деле.

NOTE Paragraph

00:02:04.456 --> 00:02:06.911
Допустим, вы хотите, чтобы ИИ

00:02:06.935 --> 00:02:10.028
взял эти детали и собрал из них робота,

00:02:10.028 --> 00:02:13.775
который сможет добраться 
из точки А в точку Б.

00:02:13.823 --> 00:02:16.304
Если бы вы пытались решить эту задачу

00:02:16.304 --> 00:02:18.655
с помощью обычной компьютерной программы,

00:02:18.679 --> 00:02:22.096
вы бы запрограммировали
пошаговые инструкции о том,

00:02:22.120 --> 00:02:23.449
как взять эти детали,

00:02:23.473 --> 00:02:25.880
как собрать из них робота с ногами

00:02:25.904 --> 00:02:28.621
и как потом использовать эти ноги,
чтобы дойти до точки Б.

00:02:29.441 --> 00:02:31.353
Но при использовании ИИ

00:02:31.373 --> 00:02:32.983
всё происходит по-другому.

00:02:33.003 --> 00:02:35.385
Вы не говорите ему, как решить эту задачу,

00:02:35.409 --> 00:02:36.888
вы просто указываете цель,

00:02:36.912 --> 00:02:40.174
и ИИ должен сам
методом проб и ошибок решить,

00:02:40.174 --> 00:02:41.658
как достичь этой цели.

00:02:42.254 --> 00:02:45.627
И оказывается, что ИИ пытается решить

00:02:45.627 --> 00:02:47.864
эту конкретную задачу так:

00:02:47.888 --> 00:02:51.279
он собирается в башню и падает,

00:02:51.279 --> 00:02:53.106
приземляясь в точке Б.

00:02:53.106 --> 00:02:55.983
И технически это решает
поставленную задачу.

00:02:55.983 --> 00:02:57.622
Технически он попадает в точку Б.

00:02:57.646 --> 00:03:01.911
Опасность ИИ заключается не в том,
что он восстанет против нас,

00:03:01.935 --> 00:03:06.209
а в том, что он будет делать именно то,
о чём мы его попросим.

00:03:06.876 --> 00:03:09.398
Так что основная сложность при работе с ИИ

00:03:09.398 --> 00:03:13.226
в том, как поставить задачу,
чтобы он сделал именно то, что мы хотим.

NOTE Paragraph

00:03:14.726 --> 00:03:18.032
Этот маленький робот управляется ИИ.

00:03:18.056 --> 00:03:20.870
ИИ разработал конструкцию ног робота

00:03:20.894 --> 00:03:24.972
и придумал, как их использовать
для преодоления всех этих препятствий.

00:03:24.996 --> 00:03:27.761
Но когда Дэвид Ха
проводил этот эксперимент,

00:03:27.761 --> 00:03:30.617
ему пришлось установить
очень жёсткие ограничения

00:03:30.641 --> 00:03:33.933
длинны ног, которые мог сделать ИИ,

00:03:33.957 --> 00:03:35.507
потому что иначе...

NOTE Paragraph

00:03:42.521 --> 00:03:48.139
(Смех)

NOTE Paragraph

00:03:48.563 --> 00:03:52.308
И технически он преодолел
эту полосу препятствий.

00:03:52.332 --> 00:03:57.274
Так что вы видите, как сложно заставить ИИ
сделать что-то такое простое, как ходьба.

NOTE Paragraph

00:03:57.298 --> 00:04:01.118
Конечно, можно попробовать сказать:
«Нет, так не честно,

00:04:01.142 --> 00:04:03.722
ты не можешь просто стать башней и упасть,

00:04:03.746 --> 00:04:07.181
ты должен использовать ноги,
чтобы ходить».

00:04:07.205 --> 00:04:09.964
И оказывается,
что даже это не всегда работает.

00:04:09.988 --> 00:04:12.747
Задачей этого ИИ
было научиться быстро двигаться.

00:04:13.115 --> 00:04:16.708
Но ему не сказали,
что нужно бежать лицом вперёд

00:04:16.732 --> 00:04:18.990
или что нельзя использовать руки.

00:04:19.487 --> 00:04:24.860
Так что часто, если вы пытаетесь
научить ИИ быстро передвигаться,

00:04:24.116 --> 00:04:27.667
у него получаются такие сальто
и глупые движения.

00:04:27.687 --> 00:04:29.637
Это происходит очень часто.

00:04:29.667 --> 00:04:32.846
Или он просто ползает кучкой по полу.

NOTE Paragraph

00:04:32.870 --> 00:04:34.020
(Смех)

NOTE Paragraph

00:04:35.241 --> 00:04:38.495
Так что я считаю, что
Терминаторы должны были быть

00:04:38.519 --> 00:04:39.915
гораздо более странными.

00:04:40.256 --> 00:04:44.011
А ещё ИИ постоянно пытается
взломать «Матрицу».

00:04:44.035 --> 00:04:46.552
Если вы обучаете ИИ в симуляции,

00:04:46.576 --> 00:04:50.689
он научится использовать
её математические ошибки

00:04:50.713 --> 00:04:52.920
для получения энергии.

00:04:52.944 --> 00:04:58.419
Или он научится двигаясь быстрее,
постоянно врезаясь в пол.

00:04:58.443 --> 00:04:59.818
Когда вы работаете с ИИ,

00:04:59.818 --> 00:05:02.585
это совсем не похоже
на взаимодействие с другим человеком,

00:05:02.585 --> 00:05:06.094
это больше похоже
на какую-то странную силу природы.

00:05:06.562 --> 00:05:11.185
И на самом деле очень легко случайно
поставить перед ИИ неправильную цель,

00:05:11.209 --> 00:05:15.747
даже того не осознавая,
пока что-то не пойдёт не так.

NOTE Paragraph

00:05:16.242 --> 00:05:18.322
Вот эксперимент, который я провела:

00:05:18.346 --> 00:05:21.528
я хотела, чтобы ИИ
использовал существующие цвета,

00:05:21.552 --> 00:05:23.298
чтобы придумывать новые

00:05:23.322 --> 00:05:26.309
из подобных списков.

00:05:26.798 --> 00:05:29.802
И вот что из этого получилось.

NOTE Paragraph

00:05:29.826 --> 00:05:32.969
[Какашки Синди, Дурацкий,
Страдание, Серый лобковый]

NOTE Paragraph

00:05:32.993 --> 00:05:37.223
(Смех)

NOTE Paragraph

00:05:39.177 --> 00:05:41.063
Технически

00:05:41.087 --> 00:05:42.951
он сделал то, о чём я просила.

00:05:42.975 --> 00:05:46.283
Я думала, что прошу его придумать
красивые названия цветов,

00:05:46.307 --> 00:05:48.614
но на самом деле я попросила его

00:05:48.638 --> 00:05:51.724
просто подражать комбинациям букв,

00:05:51.748 --> 00:05:53.653
которые он видел в оригинале.

00:05:53.677 --> 00:05:56.775
И я ничего не сказала ему о значении слов

00:05:56.799 --> 00:05:59.359
или о том, что некоторые слова

00:05:59.383 --> 00:06:02.272
лучше не использовать в названиях цветов.

00:06:03.141 --> 00:06:06.635
Всё, что он знает о мире, —
это данные, которые я ему предоставила.

00:06:06.659 --> 00:06:10.687
Так же как со вкусами мороженого,
он не знает ничего другого.

NOTE Paragraph

00:06:12.491 --> 00:06:14.129
Так что именно посредством данных

00:06:14.153 --> 00:06:18.197
мы случайно можем поручить ИИ
сделать что-то неправильное.

00:06:18.694 --> 00:06:21.726
Эта рыба называется линь.

00:06:21.750 --> 00:06:23.565
Одна группа исследователей

00:06:23.589 --> 00:06:27.463
обучила ИИ распознавать
линя на фотографиях.

00:06:27.487 --> 00:06:28.783
Но когда они спросили,

00:06:28.807 --> 00:06:32.233
какие части изображений ИИ использовал,
чтобы распознать эту рыбу,

00:06:32.257 --> 00:06:33.635
вот что они получили в ответ.

00:06:35.203 --> 00:06:37.392
Да, это человеческие пальцы.

00:06:37.416 --> 00:06:39.679
Но с какой стати ИИ ищет
на изображении пальцы,

00:06:39.679 --> 00:06:41.420
пытаясь распознать рыбу?

00:06:42.126 --> 00:06:45.290
Оказывается, линь — трофейная рыба,

00:06:45.314 --> 00:06:49.125
и на множестве фотографий,
которые видел ИИ

00:06:49.149 --> 00:06:50.300
в ходе обучения,

00:06:50.324 --> 00:06:51.814
рыба выглядела вот так.

NOTE Paragraph

00:06:51.838 --> 00:06:53.473
(Смех)

NOTE Paragraph

00:06:53.497 --> 00:06:56.827
И ИИ не знал, что пальцы
не относятся к рыбе.

NOTE Paragraph

00:06:58.808 --> 00:07:02.928
Так что теперь вы понимаете,
почему так сложно разработать ИИ,

00:07:02.952 --> 00:07:06.271
который сможет понять, что он видит.

00:07:06.295 --> 00:07:09.157
И поэтому распознавание изображений
в беспилотных автомобилях

00:07:09.181 --> 00:07:11.168
так сложно спроектировать.

00:07:11.168 --> 00:07:13.981
И так много сбоев в них
происходит из-за того,

00:07:13.981 --> 00:07:16.386
что ИИ неправильно распознал объекты.

00:07:16.410 --> 00:07:19.754
Например, автомобильная катастрофа,

00:07:19.754 --> 00:07:23.127
которая произошла в 2016 году из-за того,

00:07:23.127 --> 00:07:26.979
что водитель использовал 
автопилот Теслы в городе,

00:07:26.979 --> 00:07:30.564
хотя он был разработан
для передвижения по трассе.

00:07:31.239 --> 00:07:32.414
Вот, что произошло:

00:07:32.438 --> 00:07:35.834
перед машиной выехал грузовик,
но машина не затормозила.

00:07:36.507 --> 00:07:41.269
Конечно, ИИ был обучен распознавать
грузовики на изображениях.

00:07:41.293 --> 00:07:43.438
Но, судя по всему,

00:07:43.462 --> 00:07:46.393
ИИ был обучен распознавать их
при движении по шоссе,

00:07:46.417 --> 00:07:49.316
где грузовики можно увидеть только сзади.

00:07:49.340 --> 00:07:52.760
Вид на грузовики сбоку
обычно не встречается на шоссе.

00:07:52.784 --> 00:07:56.239
Так что когда ИИ увидел этот грузовик,

00:07:56.263 --> 00:08:01.090
судя по всему, он распознал его
как дорожный знак

00:08:01.114 --> 00:08:03.677
и поэтому решил, что под ним
можно безопасно проехать.

NOTE Paragraph

00:08:04.114 --> 00:08:06.694
Вот ещё одна ошибка ИИ из другой области.

00:08:06.694 --> 00:08:10.538
Недавно Amazon отказался
от использования алгоритма отбора резюме,

00:08:10.538 --> 00:08:11.776
который они разрабатывали,

00:08:11.776 --> 00:08:14.784
когда они выяснили,
что алгоритм дискриминирует женщин.

00:08:14.835 --> 00:08:18.094
Из-за того, что алгоритм
обучался на выборке резюме

00:08:18.118 --> 00:08:20.360
кандидатов, которых нанимали в прошлом,

00:08:20.384 --> 00:08:24.407
ИИ научился избегать резюме кандидатов,

00:08:24.431 --> 00:08:26.457
которые учились в женских колледжах

00:08:26.457 --> 00:08:29.521
или у которых встречались
слова «женщина» или «женский» в резюме.

00:08:29.521 --> 00:08:33.887
Например, «женская футбольная команда»
или «Общество женщин-инженеров».

00:08:33.911 --> 00:08:39.895
ИИ не знал, что не нужно было повторять
это конкретное поведение людей.

00:08:39.911 --> 00:08:43.088
И технически он сделал
то, о чём его просили.

00:08:43.112 --> 00:08:45.909
Просто перед ним неправильно
поставили задачу.

NOTE Paragraph

00:08:46.653 --> 00:08:49.548
И подобные вещи происходят с ИИ постоянно.

00:08:50.120 --> 00:08:53.711
ИИ может оказывать разрушительный
эффект, не осознавая этого.

00:08:53.735 --> 00:08:58.813
Например, алгоритмы ИИ, которые предлагают
новый контент на Facebook и YouTube,

00:08:58.837 --> 00:09:02.376
оптимизированы для увеличения
количества кликов и просмотров.

00:09:02.400 --> 00:09:05.836
И к сожалению,
один из способов этого добиться —

00:09:05.860 --> 00:09:10.363
рекомендовать контент
с теориями заговора и фанатизмом.

00:09:10.902 --> 00:09:16.204
Сами ИИ понятия не имеют
о содержании контента,

00:09:16.228 --> 00:09:19.623
так же как и о последствиях

00:09:19.647 --> 00:09:21.756
рекомендации такого контента.

NOTE Paragraph

00:09:22.296 --> 00:09:24.307
Так что при использовании ИИ

00:09:24.331 --> 00:09:28.513
заботиться об избежании проблем
должны именно мы.

00:09:28.537 --> 00:09:30.860
И попытки избежать проблем

00:09:30.884 --> 00:09:35.410
можно свести к извечной
проблеме коммуникации,

00:09:35.434 --> 00:09:39.179
при которой нам, людям,
нужно научиться общаться с ИИ.

00:09:39.203 --> 00:09:43.242
Мы должны изучить, но что ИИ способен,
а что ему недоступно.

00:09:43.266 --> 00:09:46.352
И мы должны понять, что ИИ 
с его крошечным разумом червяка

00:09:46.376 --> 00:09:50.389
на самом деле не понимает,
чего мы от него хотим.

00:09:51.148 --> 00:09:54.459
Другими словами, нужно смириться с тем,
что нам придётся работать

00:09:54.489 --> 00:09:59.690
не с суперумным всезнающим ИИ
из научной фантастики.

00:09:59.720 --> 00:10:02.637
Мы должны быть готовы к работе

00:10:02.637 --> 00:10:05.623
а с тем, что у нас есть сейчас.

00:10:05.623 --> 00:10:09.828
И современный ИИ достаточно странный.

NOTE Paragraph

00:10:09.852 --> 00:10:11.042
Спасибо.

NOTE Paragraph

00:10:11.066 --> 00:10:16.291
(Аплодисменты)