0:00:01.765,0:00:04.765 Итак, искусственный интеллект 0:00:04.789,0:00:08.318 известен тем, что вмешивается[br]во все виды промышленности. 0:00:08.961,0:00:11.004 А как насчёт мороженого? 0:00:11.879,0:00:15.518 Какие новые умопомрачительные вкусы[br]мы можем создать 0:00:15.542,0:00:18.518 с помощью продвинутого[br]искусственного интеллекта? 0:00:19.011,0:00:23.172 Чтобы это выяснить,[br]я объединилась с группой программистов 0:00:23.196,0:00:25.437 из средней школы Килинга. 0:00:25.461,0:00:30.542 Они собрали более 1 600[br]уже существующих вкусов мороженого, 0:00:30.566,0:00:36.088 и мы загрузили их в алгоритм,[br]чтобы посмотреть, что он сгенерирует. 0:00:36.112,0:00:39.330 И вот некоторые из вкусов,[br]которые придумал ИИ. 0:00:39.335,0:00:41.405 [Тыквенная мусорная куча] 0:00:41.405,0:00:42.683 (Смех) 0:00:42.823,0:00:46.309 [Слизь арахисового масла] 0:00:46.504,0:00:48.616 [Клубничное заболевание] 0:00:48.616,0:00:49.903 (Смех) 0:00:50.339,0:00:54.704 Эти вкусы не такие приятные,[br]как мы надеялись. 0:00:54.960,0:00:56.824 Так что же произошло? 0:00:56.848,0:00:58.242 Что пошло не так? 0:00:58.266,0:01:00.225 ИИ пытается убить нас? 0:01:01.027,0:01:05.337 Или он пытается сделать именно то,[br]о чём мы его просили, и в этом проблема? 0:01:06.567,0:01:09.031 В фильмах, когда с ИИ что-то не в порядке, 0:01:09.055,0:01:11.767 обычно это потому, что ИИ решил, 0:01:11.791,0:01:14.063 что больше не хочет подчиняться людям 0:01:14.087,0:01:16.710 и имеет свои цели, спасибо большое. 0:01:17.266,0:01:20.482 Однако в реальной жизни современный ИИ 0:01:20.506,0:01:22.369 недостаточно умён для этого. 0:01:22.781,0:01:25.763 Его вычислительная мощность[br]приблизительно совпадает 0:01:25.787,0:01:27.063 с дождевым червём 0:01:27.087,0:01:30.490 или максимум с одной пчелой. 0:01:30.514,0:01:32.883 Хотя на самом деле она,[br]скорее всего, даже меньше. 0:01:32.903,0:01:35.347 Мы постоянно узнаём[br]что-то новое о нашем мозге, 0:01:35.395,0:01:39.755 что показывает, как сильно[br]ИИ отстаёт от нашего разума. 0:01:39.755,0:01:45.418 Например, современный ИИ может[br]распознавать пешеходов на изображении, 0:01:45.442,0:01:48.425 но он не понимает, что такое пешеход, 0:01:48.449,0:01:53.273 кроме набора линий, текстур и объектов. 0:01:53.792,0:01:56.313 Он не знает, что такое[br]человек на самом деле. 0:01:56.822,0:02:00.104 Так что сделает ли современный ИИ[br]то, о чём мы его попросим? 0:02:00.104,0:02:01.342 Да, если сможет, 0:02:01.342,0:02:04.456 но в итоге может получиться не то,[br]чего мы хотели на самом деле. 0:02:04.456,0:02:06.911 Допустим, вы хотите, чтобы ИИ 0:02:06.935,0:02:10.028 взял эти детали и собрал из них робота, 0:02:10.028,0:02:13.775 который сможет добраться [br]из точки А в точку Б. 0:02:13.823,0:02:16.304 Если бы вы пытались решить эту задачу 0:02:16.304,0:02:18.655 с помощью обычной компьютерной программы, 0:02:18.679,0:02:22.096 вы бы запрограммировали[br]пошаговые инструкции о том, 0:02:22.120,0:02:23.449 как взять эти детали, 0:02:23.473,0:02:25.880 как собрать из них робота с ногами 0:02:25.904,0:02:28.621 и как потом использовать эти ноги,[br]чтобы дойти до точки Б. 0:02:29.441,0:02:31.353 Но при использовании ИИ 0:02:31.373,0:02:32.983 всё происходит по-другому. 0:02:33.003,0:02:35.385 Вы не говорите ему, как решить эту задачу, 0:02:35.409,0:02:36.888 вы просто указываете цель, 0:02:36.912,0:02:40.174 и ИИ должен сам[br]методом проб и ошибок решить, 0:02:40.174,0:02:41.658 как достичь этой цели. 0:02:42.254,0:02:45.627 И оказывается, что ИИ пытается решить 0:02:45.627,0:02:47.864 эту конкретную задачу так: 0:02:47.888,0:02:51.279 он собирается в башню и падает, 0:02:51.279,0:02:53.106 приземляясь в точке Б. 0:02:53.106,0:02:55.983 И технически это решает[br]поставленную задачу. 0:02:55.983,0:02:57.622 Технически он попадает в точку Б. 0:02:57.646,0:03:01.911 Опасность ИИ заключается не в том,[br]что он восстанет против нас, 0:03:01.935,0:03:06.209 а в том, что он будет делать именно то,[br]о чём мы его попросим. 0:03:06.876,0:03:09.398 Так что основная сложность при работе с ИИ 0:03:09.398,0:03:13.226 в том, как поставить задачу,[br]чтобы он сделал именно то, что мы хотим. 0:03:14.726,0:03:18.032 Этот маленький робот управляется ИИ. 0:03:18.056,0:03:20.870 ИИ разработал конструкцию ног робота 0:03:20.894,0:03:24.972 и придумал, как их использовать[br]для преодоления всех этих препятствий. 0:03:24.996,0:03:27.761 Но когда Дэвид Ха[br]проводил этот эксперимент, 0:03:27.761,0:03:30.617 ему пришлось установить[br]очень жёсткие ограничения 0:03:30.641,0:03:33.933 длинны ног, которые мог сделать ИИ, 0:03:33.957,0:03:35.507 потому что иначе... 0:03:42.521,0:03:48.139 (Смех) 0:03:48.563,0:03:52.308 И технически он преодолел[br]эту полосу препятствий. 0:03:52.332,0:03:57.274 Так что вы видите, как сложно заставить ИИ[br]сделать что-то такое простое, как ходьба. 0:03:57.298,0:04:01.118 Конечно, можно попробовать сказать:[br]«Нет, так не честно, 0:04:01.142,0:04:03.722 ты не можешь просто стать башней и упасть, 0:04:03.746,0:04:07.181 ты должен использовать ноги,[br]чтобы ходить». 0:04:07.205,0:04:09.964 И оказывается,[br]что даже это не всегда работает. 0:04:09.988,0:04:12.747 Задачей этого ИИ[br]было научиться быстро двигаться. 0:04:13.115,0:04:16.708 Но ему не сказали,[br]что нужно бежать лицом вперёд 0:04:16.732,0:04:18.990 или что нельзя использовать руки. 0:04:19.487,0:04:24.860 Так что часто, если вы пытаетесь[br]научить ИИ быстро передвигаться, 0:04:24.116,0:04:27.667 у него получаются такие сальто[br]и глупые движения. 0:04:27.687,0:04:29.637 Это происходит очень часто. 0:04:29.667,0:04:32.846 Или он просто ползает кучкой по полу. 0:04:32.870,0:04:34.020 (Смех) 0:04:35.241,0:04:38.495 Так что я считаю, что[br]Терминаторы должны были быть 0:04:38.519,0:04:39.915 гораздо более странными. 0:04:40.256,0:04:44.011 А ещё ИИ постоянно пытается[br]взломать «Матрицу». 0:04:44.035,0:04:46.552 Если вы обучаете ИИ в симуляции, 0:04:46.576,0:04:50.689 он научится использовать[br]её математические ошибки 0:04:50.713,0:04:52.920 для получения энергии. 0:04:52.944,0:04:58.419 Или он научится двигаясь быстрее,[br]постоянно врезаясь в пол. 0:04:58.443,0:04:59.818 Когда вы работаете с ИИ, 0:04:59.818,0:05:02.585 это совсем не похоже[br]на взаимодействие с другим человеком, 0:05:02.585,0:05:06.094 это больше похоже[br]на какую-то странную силу природы. 0:05:06.562,0:05:11.185 И на самом деле очень легко случайно[br]поставить перед ИИ неправильную цель, 0:05:11.209,0:05:15.747 даже того не осознавая,[br]пока что-то не пойдёт не так. 0:05:16.242,0:05:18.322 Вот эксперимент, который я провела: 0:05:18.346,0:05:21.528 я хотела, чтобы ИИ[br]использовал существующие цвета, 0:05:21.552,0:05:23.298 чтобы придумывать новые 0:05:23.322,0:05:26.309 из подобных списков. 0:05:26.798,0:05:29.802 И вот что из этого получилось. 0:05:29.826,0:05:32.969 [Какашки Синди, Дурацкий,[br]Страдание, Серый лобковый] 0:05:32.993,0:05:37.223 (Смех) 0:05:39.177,0:05:41.063 Технически 0:05:41.087,0:05:42.951 он сделал то, о чём я просила. 0:05:42.975,0:05:46.283 Я думала, что прошу его придумать[br]красивые названия цветов, 0:05:46.307,0:05:48.614 но на самом деле я попросила его 0:05:48.638,0:05:51.724 просто подражать комбинациям букв, 0:05:51.748,0:05:53.653 которые он видел в оригинале. 0:05:53.677,0:05:56.775 И я ничего не сказала ему о значении слов 0:05:56.799,0:05:59.359 или о том, что некоторые слова 0:05:59.383,0:06:02.272 лучше не использовать в названиях цветов. 0:06:03.141,0:06:06.635 Всё, что он знает о мире, —[br]это данные, которые я ему предоставила. 0:06:06.659,0:06:10.687 Так же как со вкусами мороженого,[br]он не знает ничего другого. 0:06:12.491,0:06:14.129 Так что именно посредством данных 0:06:14.153,0:06:18.197 мы случайно можем поручить ИИ[br]сделать что-то неправильное. 0:06:18.694,0:06:21.726 Эта рыба называется линь. 0:06:21.750,0:06:23.565 Одна группа исследователей 0:06:23.589,0:06:27.463 обучила ИИ распознавать[br]линя на фотографиях. 0:06:27.487,0:06:28.783 Но когда они спросили, 0:06:28.807,0:06:32.233 какие части изображений ИИ использовал,[br]чтобы распознать эту рыбу, 0:06:32.257,0:06:33.635 вот что они получили в ответ. 0:06:35.203,0:06:37.392 Да, это человеческие пальцы. 0:06:37.416,0:06:39.679 Но с какой стати ИИ ищет[br]на изображении пальцы, 0:06:39.679,0:06:41.420 пытаясь распознать рыбу? 0:06:42.126,0:06:45.290 Оказывается, линь — трофейная рыба, 0:06:45.314,0:06:49.125 и на множестве фотографий,[br]которые видел ИИ 0:06:49.149,0:06:50.300 в ходе обучения, 0:06:50.324,0:06:51.814 рыба выглядела вот так. 0:06:51.838,0:06:53.473 (Смех) 0:06:53.497,0:06:56.827 И ИИ не знал, что пальцы[br]не относятся к рыбе. 0:06:58.808,0:07:02.928 Так что теперь вы понимаете,[br]почему так сложно разработать ИИ, 0:07:02.952,0:07:06.271 который сможет понять, что он видит. 0:07:06.295,0:07:09.157 И поэтому распознавание изображений[br]в беспилотных автомобилях 0:07:09.181,0:07:11.168 так сложно спроектировать. 0:07:11.168,0:07:13.981 И так много сбоев в них[br]происходит из-за того, 0:07:13.981,0:07:16.386 что ИИ неправильно распознал объекты. 0:07:16.410,0:07:19.754 Например, автомобильная катастрофа, 0:07:19.754,0:07:23.127 которая произошла в 2016 году из-за того, 0:07:23.127,0:07:26.979 что водитель использовал [br]автопилот Теслы в городе, 0:07:26.979,0:07:30.564 хотя он был разработан[br]для передвижения по трассе. 0:07:31.239,0:07:32.414 Вот, что произошло: 0:07:32.438,0:07:35.834 перед машиной выехал грузовик,[br]но машина не затормозила. 0:07:36.507,0:07:41.269 Конечно, ИИ был обучен распознавать[br]грузовики на изображениях. 0:07:41.293,0:07:43.438 Но, судя по всему, 0:07:43.462,0:07:46.393 ИИ был обучен распознавать их[br]при движении по шоссе, 0:07:46.417,0:07:49.316 где грузовики можно увидеть только сзади. 0:07:49.340,0:07:52.760 Вид на грузовики сбоку[br]обычно не встречается на шоссе. 0:07:52.784,0:07:56.239 Так что когда ИИ увидел этот грузовик, 0:07:56.263,0:08:01.090 судя по всему, он распознал его[br]как дорожный знак 0:08:01.114,0:08:03.677 и поэтому решил, что под ним[br]можно безопасно проехать. 0:08:04.114,0:08:06.694 Вот ещё одна ошибка ИИ из другой области. 0:08:06.694,0:08:10.538 Недавно Amazon отказался[br]от использования алгоритма отбора резюме, 0:08:10.538,0:08:11.776 который они разрабатывали, 0:08:11.776,0:08:14.784 когда они выяснили,[br]что алгоритм дискриминирует женщин. 0:08:14.835,0:08:18.094 Из-за того, что алгоритм[br]обучался на выборке резюме 0:08:18.118,0:08:20.360 кандидатов, которых нанимали в прошлом, 0:08:20.384,0:08:24.407 ИИ научился избегать резюме кандидатов, 0:08:24.431,0:08:26.457 которые учились в женских колледжах 0:08:26.457,0:08:29.521 или у которых встречались[br]слова «женщина» или «женский» в резюме. 0:08:29.521,0:08:33.887 Например, «женская футбольная команда»[br]или «Общество женщин-инженеров». 0:08:33.911,0:08:39.895 ИИ не знал, что не нужно было повторять[br]это конкретное поведение людей. 0:08:39.911,0:08:43.088 И технически он сделал[br]то, о чём его просили. 0:08:43.112,0:08:45.909 Просто перед ним неправильно[br]поставили задачу. 0:08:46.653,0:08:49.548 И подобные вещи происходят с ИИ постоянно. 0:08:50.120,0:08:53.711 ИИ может оказывать разрушительный[br]эффект, не осознавая этого. 0:08:53.735,0:08:58.813 Например, алгоритмы ИИ, которые предлагают[br]новый контент на Facebook и YouTube, 0:08:58.837,0:09:02.376 оптимизированы для увеличения[br]количества кликов и просмотров. 0:09:02.400,0:09:05.836 И к сожалению,[br]один из способов этого добиться — 0:09:05.860,0:09:10.363 рекомендовать контент[br]с теориями заговора и фанатизмом. 0:09:10.902,0:09:16.204 Сами ИИ понятия не имеют[br]о содержании контента, 0:09:16.228,0:09:19.623 так же как и о последствиях 0:09:19.647,0:09:21.756 рекомендации такого контента. 0:09:22.296,0:09:24.307 Так что при использовании ИИ 0:09:24.331,0:09:28.513 заботиться об избежании проблем[br]должны именно мы. 0:09:28.537,0:09:30.860 И попытки избежать проблем 0:09:30.884,0:09:35.410 можно свести к извечной[br]проблеме коммуникации, 0:09:35.434,0:09:39.179 при которой нам, людям,[br]нужно научиться общаться с ИИ. 0:09:39.203,0:09:43.242 Мы должны изучить, но что ИИ способен,[br]а что ему недоступно. 0:09:43.266,0:09:46.352 И мы должны понять, что ИИ [br]с его крошечным разумом червяка 0:09:46.376,0:09:50.389 на самом деле не понимает,[br]чего мы от него хотим. 0:09:51.148,0:09:54.459 Другими словами, нужно смириться с тем,[br]что нам придётся работать 0:09:54.489,0:09:59.690 не с суперумным всезнающим ИИ[br]из научной фантастики. 0:09:59.720,0:10:02.637 Мы должны быть готовы к работе 0:10:02.637,0:10:05.623 а с тем, что у нас есть сейчас. 0:10:05.623,0:10:09.828 И современный ИИ достаточно странный. 0:10:09.852,0:10:11.042 Спасибо. 0:10:11.066,0:10:16.291 (Аплодисменты)