Опасность ИИ более странная, чем вы думаете

Опасность искусственного интеллекта заключается не в том, что он восстанет против нас, а в том, что он будет делать именно то, о чём мы его попросим, говорит исследователь ИИ Джанель Шейн.
Рассказывая о странных, порой даже пугающих результатах работы алгоритмов ИИ, когда они пытаются выполнить такие человеческие задачи, как, например, создание новых вкусов мороженого или распознавание машин на дороге, Шейн показывает, почему ИИ пока что далёк от человеческого разума.

Итак, искусственный интеллект

известен тем, что вмешивается
во все виды промышленности.

А как насчёт мороженого?

Какие новые умопомрачительные вкусы
мы можем создать

с помощью продвинутого
искусственного интеллекта?

Чтобы это выяснить,
я объединилась с группой программистов

из средней школы Килинга.

Они собрали более 1 600
уже существующих вкусов мороженого,

и мы загрузили их в алгоритм,
чтобы посмотреть, что он сгенерирует.

И вот некоторые из вкусов,
которые придумал ИИ.

[Тыквенная мусорная куча]

(Смех)

[Слизь арахисового масла]

[Клубничное заболевание]

(Смех)

Эти вкусы не такие приятные,
как мы надеялись.

Так что же произошло?

Что пошло не так?

ИИ пытается убить нас?

Или он пытается сделать именно то,
о чём мы его просили, и в этом проблема?

В фильмах, когда с ИИ что-то не в порядке,

обычно это потому, что ИИ решил,

что больше не хочет подчиняться людям

и имеет свои цели, спасибо большое.

Однако в реальной жизни современный ИИ

недостаточно умён для этого.

Его вычислительная мощность
приблизительно совпадает

с дождевым червём

или максимум с одной пчелой.

Хотя на самом деле она,
скорее всего, даже меньше.

Мы постоянно узнаём
что-то новое о нашем мозге,

что показывает, как сильно
ИИ отстаёт от нашего разума.

Например, современный ИИ может
распознавать пешеходов на изображении,

но он не понимает, что такое пешеход,

кроме набора линий, текстур и объектов.

Он не знает, что такое
человек на самом деле.

Так что сделает ли современный ИИ
то, о чём мы его попросим?

Да, если сможет,

но в итоге может получиться не то,
чего мы хотели на самом деле.

Допустим, вы хотите, чтобы ИИ

взял эти детали и собрал из них робота,

который сможет добраться
из точки А в точку Б.

Если бы вы пытались решить эту задачу

с помощью обычной компьютерной программы,

вы бы запрограммировали
пошаговые инструкции о том,

как взять эти детали,

как собрать из них робота с ногами

и как потом использовать эти ноги,
чтобы дойти до точки Б.

Но при использовании ИИ

всё происходит по-другому.

Вы не говорите ему, как решить эту задачу,

вы просто указываете цель,

и ИИ должен сам
методом проб и ошибок решить,

как достичь этой цели.

И оказывается, что ИИ пытается решить

эту конкретную задачу так:

он собирается в башню и падает,

приземляясь в точке Б.

И технически это решает
поставленную задачу.

Технически он попадает в точку Б.

Опасность ИИ заключается не в том,
что он восстанет против нас,

а в том, что он будет делать именно то,
о чём мы его попросим.

Так что основная сложность при работе с ИИ

в том, как поставить задачу,
чтобы он сделал именно то, что мы хотим.

Этот маленький робот управляется ИИ.

ИИ разработал конструкцию ног робота

и придумал, как их использовать
для преодоления всех этих препятствий.

Но когда Дэвид Ха
проводил этот эксперимент,

ему пришлось установить
очень жёсткие ограничения

длинны ног, которые мог сделать ИИ,

потому что иначе...

(Смех)

И технически он преодолел
эту полосу препятствий.

Так что вы видите, как сложно заставить ИИ
сделать что-то такое простое, как ходьба.

Конечно, можно попробовать сказать:
«Нет, так не честно,

ты не можешь просто стать башней и упасть,

ты должен использовать ноги,
чтобы ходить».

И оказывается,
что даже это не всегда работает.

Задачей этого ИИ
было научиться быстро двигаться.

Но ему не сказали,
что нужно бежать лицом вперёд

или что нельзя использовать руки.

Так что часто, если вы пытаетесь
научить ИИ быстро передвигаться,

у него получаются такие сальто
и глупые движения.

Это происходит очень часто.

Или он просто ползает кучкой по полу.

(Смех)

Так что я считаю, что
Терминаторы должны были быть

гораздо более странными.

А ещё ИИ постоянно пытается
взломать «Матрицу».

Если вы обучаете ИИ в симуляции,

он научится использовать
её математические ошибки

для получения энергии.

Или он научится двигаясь быстрее,
постоянно врезаясь в пол.

Когда вы работаете с ИИ,

это совсем не похоже
на взаимодействие с другим человеком,

это больше похоже
на какую-то странную силу природы.

И на самом деле очень легко случайно
поставить перед ИИ неправильную цель,

даже того не осознавая,
пока что-то не пойдёт не так.

Вот эксперимент, который я провела:

я хотела, чтобы ИИ
использовал существующие цвета,

чтобы придумывать новые

из подобных списков.

И вот что из этого получилось.

[Какашки Синди, Дурацкий,
Страдание, Серый лобковый]

(Смех)

Технически

он сделал то, о чём я просила.

Я думала, что прошу его придумать
красивые названия цветов,

но на самом деле я попросила его

просто подражать комбинациям букв,

которые он видел в оригинале.

И я ничего не сказала ему о значении слов

или о том, что некоторые слова

лучше не использовать в названиях цветов.

Всё, что он знает о мире, —
это данные, которые я ему предоставила.

Так же как со вкусами мороженого,
он не знает ничего другого.

Так что именно посредством данных

мы случайно можем поручить ИИ
сделать что-то неправильное.

Эта рыба называется линь.

Одна группа исследователей

обучила ИИ распознавать
линя на фотографиях.

Но когда они спросили,

какие части изображений ИИ использовал,
чтобы распознать эту рыбу,

вот что они получили в ответ.

Да, это человеческие пальцы.

Но с какой стати ИИ ищет
на изображении пальцы,

пытаясь распознать рыбу?

Оказывается, линь — трофейная рыба,

и на множестве фотографий,
которые видел ИИ

в ходе обучения,

рыба выглядела вот так.

(Смех)

И ИИ не знал, что пальцы
не относятся к рыбе.

Так что теперь вы понимаете,
почему так сложно разработать ИИ,

который сможет понять, что он видит.

И поэтому распознавание изображений
в беспилотных автомобилях

так сложно спроектировать.

И так много сбоев в них
происходит из-за того,

что ИИ неправильно распознал объекты.

Например, автомобильная катастрофа,

которая произошла в 2016 году из-за того,

что водитель использовал
автопилот Теслы в городе,

хотя он был разработан
для передвижения по трассе.

Вот, что произошло:

перед машиной выехал грузовик,
но машина не затормозила.

Конечно, ИИ был обучен распознавать
грузовики на изображениях.

Но, судя по всему,

ИИ был обучен распознавать их
при движении по шоссе,

где грузовики можно увидеть только сзади.

Вид на грузовики сбоку
обычно не встречается на шоссе.

Так что когда ИИ увидел этот грузовик,

судя по всему, он распознал его
как дорожный знак

и поэтому решил, что под ним
можно безопасно проехать.

Вот ещё одна ошибка ИИ из другой области.

Недавно Amazon отказался
от использования алгоритма отбора резюме,

который они разрабатывали,

когда они выяснили,
что алгоритм дискриминирует женщин.

Из-за того, что алгоритм
обучался на выборке резюме

кандидатов, которых нанимали в прошлом,

ИИ научился избегать резюме кандидатов,

которые учились в женских колледжах

или у которых встречались
слова «женщина» или «женский» в резюме.

Например, «женская футбольная команда»
или «Общество женщин-инженеров».

ИИ не знал, что не нужно было повторять
это конкретное поведение людей.

И технически он сделал
то, о чём его просили.

Просто перед ним неправильно
поставили задачу.

И подобные вещи происходят с ИИ постоянно.

ИИ может оказывать разрушительный
эффект, не осознавая этого.

Например, алгоритмы ИИ, которые предлагают
новый контент на Facebook и YouTube,

оптимизированы для увеличения
количества кликов и просмотров.

И к сожалению,
один из способов этого добиться —

рекомендовать контент
с теориями заговора и фанатизмом.

Сами ИИ понятия не имеют
о содержании контента,

так же как и о последствиях

рекомендации такого контента.

Так что при использовании ИИ

заботиться об избежании проблем
должны именно мы.

И попытки избежать проблем

можно свести к извечной
проблеме коммуникации,

при которой нам, людям,
нужно научиться общаться с ИИ.

Мы должны изучить, но что ИИ способен,
а что ему недоступно.

И мы должны понять, что ИИ
с его крошечным разумом червяка

на самом деле не понимает,
чего мы от него хотим.

Другими словами, нужно смириться с тем,
что нам придётся работать

не с суперумным всезнающим ИИ
из научной фантастики.

Мы должны быть готовы к работе

а с тем, что у нас есть сейчас.

И современный ИИ достаточно странный.

Спасибо.

(Аплодисменты)