0:00:01.000,0:00:03.216
Я хочу поговорить[br]о неспособности к интуиции,

0:00:03.240,0:00:04.880
от которой страдают многие из нас.

0:00:05.480,0:00:08.870
Фактически, это неспособность[br]распознавать определённую опасность.

0:00:09.360,0:00:11.096
Я опишу сценарий,

0:00:11.120,0:00:14.376
который назвал бы[br]одновременно пугающим

0:00:14.400,0:00:16.160
и вполне вероятным,

0:00:16.840,0:00:18.496
и это не хорошее сочетание,

0:00:18.520,0:00:19.466
как выясняется.

0:00:20.060,0:00:22.686
Всё же вместо того, чтобы пугаться,[br]многие подумают,

0:00:22.710,0:00:24.640
что то, о чём я говорю, здóрово.

0:00:25.200,0:00:28.176
Я расскажу, как наши достижения

0:00:28.200,0:00:29.976
в развитии искусственного интеллекта

0:00:30.000,0:00:31.776
могут в итоге нас уничтожить.

0:00:31.800,0:00:35.256
По-моему, вообще трудно понять,[br]как они могут нас не уничтожить

0:00:35.280,0:00:36.960
или не побудить к самоуничтожению.

0:00:37.400,0:00:39.256
Всё же, если вы в чём-то схожи со мной,

0:00:39.280,0:00:41.936
то вам нравится думать о таких вещах.

0:00:41.960,0:00:45.336
И эта реакция — часть проблемы.

0:00:45.360,0:00:47.080
Эта реакция должна вас беспокоить.

0:00:47.920,0:00:50.576
И если бы мне надо было убедить вас,

0:00:50.600,0:00:54.016
что нам грозит всемирный голод

0:00:54.040,0:00:57.096
из-за изменения климата[br]или некой другой катастрофы

0:00:57.120,0:01:00.536
и что ваши внуки или их внуки,

0:01:00.560,0:01:02.360
вероятно, будут жить вот так,

0:01:03.200,0:01:04.400
вы бы не подумали:

0:01:05.440,0:01:06.776
«Интересно.

0:01:06.800,0:01:08.000
Хорошее выступление».

0:01:09.200,0:01:10.720
В голоде нет ничего забавного.

0:01:11.800,0:01:15.176
Смерть от научной фантастики,[br]с другой стороны, — это круто,

0:01:15.200,0:01:18.816
и меня очень сильно беспокоит[br]на данном этапе развития ИИ

0:01:18.840,0:01:23.296
наша неспособность к выстраиванию[br]подобающей эмоциональной реакции

0:01:23.320,0:01:25.136
на ожидающие нас опасности.

0:01:25.160,0:01:28.360
Я сам не могу выстроить эту реакцию,[br]потому и говорю об этом.

0:01:30.120,0:01:32.816
Как будто мы стои́м перед двумя дверьми.

0:01:32.840,0:01:34.096
За первой дверью

0:01:34.120,0:01:37.416
у нас останавливается прогресс[br]в создании интеллектуальных устройств.

0:01:37.440,0:01:41.456
Аппаратное и программное обеспечение[br]почему-то больше не становится лучше.

0:01:41.480,0:01:44.480
Теперь на секунду задумайтесь,[br]почему это может произойти.

0:01:45.080,0:01:48.736
Ведь учитывая, насколько ценны[br]интеллект и автоматизация,

0:01:48.760,0:01:52.280
мы продолжим совершенствовать[br]технологии, пока способны на это.

0:01:53.200,0:01:54.867
Что может нас остановить?

0:01:55.800,0:01:57.600
Полномасштабная ядерная война?

0:01:59.000,0:02:00.560
Глобальная пандемия?

0:02:02.320,0:02:03.640
Падение астероида?

0:02:05.640,0:02:08.216
Избрание Джастина Бибера президентом США?

0:02:08.240,0:02:10.520
(Смех)

0:02:12.760,0:02:16.680
Суть в том, что что-то должно будет[br]уничтожить цивилизацию в нашем понимании.

0:02:17.360,0:02:21.656
Только представьте себе,[br]насколько всё должно быть плохо,

0:02:21.680,0:02:25.016
чтобы мы перестали[br]совершенствовать технологии

0:02:25.040,0:02:26.256
навсегда,

0:02:26.280,0:02:28.056
на все грядущие поколения.

0:02:28.080,0:02:30.136
Практически по определению[br]это худшее,

0:02:30.160,0:02:32.496
что может случиться с человечеством.

0:02:32.520,0:02:33.816
Единственная альтернатива,

0:02:33.840,0:02:36.176
которая и находится за второй дверью, —

0:02:36.200,0:02:39.336
продолжение совершенствования[br]интеллектуальных устройств

0:02:39.360,0:02:40.960
из года в год.

0:02:41.720,0:02:45.360
В какой-то момент мы создадим[br]устройства, которые будут умнее нас,

0:02:46.080,0:02:48.606
и когда такие устройства появятся,

0:02:48.630,0:02:50.666
они начнут улучшать себя сами.

0:02:50.700,0:02:53.456
И тогда появится риск того,[br]что математик И. Д. Гуд называл

0:02:53.480,0:02:55.256
«взрывом интеллекта» —

0:02:55.280,0:02:57.280
риск утраты нами контроля над процессом.

0:02:58.120,0:03:00.936
Это часто изображают[br]в виде подобных картинок,

0:03:00.960,0:03:04.176
пугающих армиями злых роботов,

0:03:04.200,0:03:05.456
которые нападут на нас.

0:03:05.480,0:03:08.176
Но это не самый вероятный сценарий.

0:03:08.200,0:03:13.056
Не то, чтобы наша техника[br]внезапно рассвирепеет.

0:03:13.080,0:03:15.696
Беспокоит на самом деле то,[br]что мы создаём устройства,

0:03:15.720,0:03:17.776
которые настолько нас превосходят,

0:03:17.800,0:03:21.576
что малейшее расхождение[br]между их целями и нашими

0:03:21.600,0:03:22.800
может нас уничтожить.

0:03:23.960,0:03:26.060
Подумайте о том, как мы[br]относимся к муравьям.

0:03:26.600,0:03:28.256
Мы не ненавидим их.

0:03:28.280,0:03:30.336
Мы не лезем из кожи вон,[br]чтобы навредить им.

0:03:30.360,0:03:32.736
На самом деле, иногда мы[br]стараемся не навредить им.

0:03:32.760,0:03:34.776
Мы перешагиваем их на тротуаре.

0:03:34.800,0:03:36.936
Но если вдруг их присутствие

0:03:36.960,0:03:39.456
серьёзно мешает нашим целям,

0:03:39.480,0:03:41.717
например, если мы[br]строим здание вроде этого,

0:03:41.981,0:03:43.941
мы без колебаний их истребляем.

0:03:44.480,0:03:47.416
Беспокоит то, что однажды[br]мы создадим устройства,

0:03:47.440,0:03:50.176
которые независимо[br]от наличия у них сознания

0:03:50.200,0:03:52.200
могут так же пренебречь нами.

0:03:53.760,0:03:56.520
Я подозреваю, многим из вас[br]это кажется надуманным.

0:03:57.360,0:04:03.476
Уверен, среди вас есть сомневающиеся[br]в возможности сверхразумного ИИ,

0:04:03.490,0:04:05.376
не говоря уж о его неизбежности.

0:04:05.400,0:04:09.020
Значит, вы не согласны[br]с одним из следующих допущений.

0:04:09.044,0:04:10.616
Их всего три.

0:04:11.800,0:04:16.519
Интеллект — это результат обработки[br]информации в физической системе.

0:04:17.320,0:04:19.935
На самом деле это немного больше,[br]чем допущение.

0:04:19.959,0:04:23.416
Мы заложили ограниченный интеллект[br]в свои технологии,

0:04:23.440,0:04:25.456
и многие из них уже работают

0:04:25.480,0:04:28.120
на уровне сверхчеловеческого интеллекта.

0:04:28.840,0:04:30.876
И мы знаем, что из одной лишь материи

0:04:30.900,0:04:34.056
возможно развитие так называемого[br]«общего интеллекта» —

0:04:34.080,0:04:37.736
способности к гибкому мышлению[br]в разных сферах,

0:04:37.760,0:04:40.896
потому что на это способен наш мозг.[br]Так?

0:04:40.920,0:04:44.856
Я имею в виду: здесь всего лишь атомы,

0:04:44.880,0:04:49.376
и покуда мы продолжаем[br]создавать системы из атомов,

0:04:49.400,0:04:52.096
проявляющие всё более разумное поведение,

0:04:52.120,0:04:54.656
в итоге мы — если ничто не помешает —

0:04:54.680,0:04:58.056
в итоге мы наделим общим интеллектом

0:04:58.080,0:04:59.376
свои устройства.

0:04:59.400,0:05:03.056
Очень важно осознавать,[br]что темп прогресса не важен,

0:05:03.080,0:05:06.256
потому что любой прогресс[br]может привести нас к конечному итогу.

0:05:06.280,0:05:10.056
Нам не нужно, чтобы закон Мура работал.[br]Нам не нужен экспоненциальный прогресс.

0:05:10.080,0:05:11.860
Нам просто нужно не останавливаться.

0:05:13.480,0:05:16.400
Второе предположение —[br]что мы не остановимся.

0:05:17.000,0:05:19.760
Мы продолжим улучшать[br]свои интеллектуальные устройства.

0:05:21.000,0:05:25.376
И, учитывая ценность интеллекта —

0:05:25.400,0:05:28.936
ведь интеллект либо порождает всё,[br]что мы ценим,

0:05:28.960,0:05:31.736
либо нужен нам для защиты всего,[br]что мы ценим, —

0:05:31.760,0:05:34.016
это наш ценнейший ресурс.

0:05:34.040,0:05:35.576
Поэтому мы хотим этим заниматься.

0:05:35.600,0:05:38.936
У нас есть проблемы,[br]которые непременно нужно решить.

0:05:38.960,0:05:42.160
Мы хотим излечить болезни[br]вроде Альцгеймера и рака.

0:05:42.960,0:05:46.896
Мы хотим понимать экономические системы.[br]Мы хотим больше знать о климате.

0:05:46.920,0:05:49.176
Так что мы это сделаем, если сможем.

0:05:49.200,0:05:52.486
Поезд уже тронулся, и тóрмоза нет.

0:05:53.880,0:05:59.336
Наконец, мы не на пике интеллекта

0:05:59.360,0:06:01.160
и даже не близко к нему, вероятно.

0:06:01.640,0:06:03.536
И это действительно важно понимать.

0:06:03.560,0:06:05.976
Именно из-за этого[br]наша система так уязвима,

0:06:06.000,0:06:10.040
а наши интуитивные оценки риска[br]так ненадёжны.

0:06:11.020,0:06:14.160
Теперь представьте умнейшего[br]из когда-либо живших людей.

0:06:14.640,0:06:17.996
Почти все среди прочих называют[br]Джона фон Неймана.

0:06:18.020,0:06:21.416
Ведь впечатление, которое фон Нейман[br]производил на окружающих,

0:06:21.440,0:06:25.496
в том числе величайших математиков[br]и физиков своего времени,

0:06:25.520,0:06:27.456
очень хорошо задокументировано.

0:06:27.480,0:06:31.256
Если половина историй о нём[br]хотя бы наполовину правдивы,

0:06:31.280,0:06:32.496
сомнений нет:

0:06:32.520,0:06:34.976
он один из умнейших людей,[br]когда-либо живших.

0:06:35.000,0:06:37.520
Подумайте о диапазоне[br]интеллектуальных способностей.

0:06:38.320,0:06:39.749
Здесь у нас Джон фон Нейман.

0:06:41.560,0:06:42.894
Здесь мы с вами.

0:06:44.120,0:06:45.416
А здесь курица.

0:06:45.440,0:06:47.376
(Смех)

0:06:47.400,0:06:48.616
Прошу прощения.[br]Курица.

0:06:48.640,0:06:49.896
(Смех)

0:06:49.920,0:06:53.656
Ни к чему делать эту лекцию[br]более депрессивной, чем надо.

0:06:53.680,0:06:55.280
(Смех)

0:06:56.339,0:06:59.816
Однако кажется чрезвычайно вероятным,[br]что интеллект варьируется

0:06:59.840,0:07:02.960
в куда бóльших масштабах,[br]чем мы себе сейчас представляем,

0:07:03.880,0:07:07.096
и если мы создадим устройства,[br]которые будут умнее нас,

0:07:07.120,0:07:09.416
они, очень вероятно,[br]будут осваивать эти масштабы

0:07:09.440,0:07:11.296
невообразимыми для нас способами

0:07:11.320,0:07:13.840
и превзойдут нас невообразимыми способами.

0:07:15.000,0:07:19.336
И важно признавать, что это верно[br]в силу одной только скорости.

0:07:19.360,0:07:24.416
Так? Представьте, что мы построим[br]сверхразумный ИИ,

0:07:24.440,0:07:27.896
который будет не умнее[br]среднестатистической группы учёных

0:07:27.920,0:07:29.916
из Стэнфорда или МТИ.

0:07:29.940,0:07:33.216
Электронные схемы примерно[br]в миллион раз быстрее

0:07:33.240,0:07:34.496
биохимических,

0:07:34.520,0:07:37.656
поэтому машина будет думать[br]в миллион раз быстрее,

0:07:37.680,0:07:39.496
чем создавший её разум.

0:07:39.520,0:07:41.176
Вы запускаете её на неделю,

0:07:41.200,0:07:45.760
и она выполняет 20 000-летнюю[br]работу интеллекта человеческого уровня

0:07:46.400,0:07:48.360
неделю за неделей.

0:07:49.640,0:07:52.736
Как мы только можем понять,[br]не говоря о том, чтобы сдержать,

0:07:52.760,0:07:55.040
ум, работающий с подобной скоростью?

0:07:56.840,0:07:58.976
Ещё беспокоит, если честно,

0:07:59.000,0:08:03.976
вот что: представьте лучший сценарий.

0:08:04.000,0:08:07.696
Представьте, что у нас в распоряжении[br]проект сверхразумного ИИ,

0:08:07.720,0:08:09.576
не угрожающего безопасности.

0:08:09.600,0:08:12.856
У нас с сáмого начала[br]получился идеальный проект.

0:08:12.880,0:08:15.096
Как будто мы одарены им свыше,

0:08:15.120,0:08:17.136
и он работает точно так, как задумано.

0:08:17.160,0:08:21.020
Это устройство было бы идеально[br]для снижения трудозатрат.

0:08:21.510,0:08:24.039
Оно может придумать машину,[br]которая построит машину,

0:08:24.073,0:08:25.976
которая сможет делать физическую работу,

0:08:26.010,0:08:27.376
питаясь энергией солнца

0:08:27.400,0:08:30.096
приблизительно по цене сырья.

0:08:30.120,0:08:33.376
Это означает конец[br]изматывающей работы для людей.

0:08:33.400,0:08:36.260
Это также означает конец[br]большей части умственной работы.

0:08:37.200,0:08:40.256
А что такие приматы, как мы,[br]делают в такой ситуации?

0:08:40.280,0:08:44.360
Ну, мы сможем играть во фрисби[br]и делать друг другу массаж.

0:08:45.840,0:08:48.696
Добавьте немного ЛСД[br]и немного смелых нарядов,

0:08:48.720,0:08:50.896
и мир будет похож[br]на фестиваль «Burning Man».

0:08:50.920,0:08:52.560
(Смех)

0:08:54.320,0:08:56.320
Возможно, звучит неплохо,

0:08:57.280,0:08:59.656
но спроси́те себя, что бы случилось

0:08:59.680,0:09:02.416
при нынешнем[br]экономико-политическом устройстве?

0:09:02.440,0:09:04.856
Кажется вероятным,[br]что мы станем свидетелями

0:09:04.880,0:09:09.016
такого уровня имущественного неравенства[br]и безработицы,

0:09:09.040,0:09:10.536
какого не наблюдали раньше.

0:09:10.560,0:09:13.176
В отсутствие желания[br]сразу поставить новые блага

0:09:13.200,0:09:14.680
на службу человечеству

0:09:15.640,0:09:19.256
несколько магнатов смогут[br]украшать обложки деловых журналов,

0:09:19.280,0:09:21.720
пока остальные будут голодать.

0:09:22.320,0:09:24.436
Что бы сделали русские или китайцы,

0:09:24.460,0:09:27.256
узнав, что некая компания[br]в Силиконовой долине

0:09:27.280,0:09:30.016
на грани внедрения сверхразумного ИИ?

0:09:30.040,0:09:32.896
Такое устройство могло бы[br]спровоцировать войну,

0:09:32.920,0:09:35.136
наземную или кибер-войну

0:09:35.160,0:09:36.840
беспрецедентого размаха.

0:09:37.870,0:09:40.126
Это сценарий, в котором[br]победитель получает всё.

0:09:40.140,0:09:43.136
Полугодовое преимущество[br]в такой конкуренции —

0:09:43.160,0:09:45.936
всё равно что преимущество в 500 000 лет

0:09:45.960,0:09:47.456
как минимум.

0:09:47.480,0:09:52.216
Поэтому представляется,[br]что даже слухи о такого рода прорыве

0:09:52.240,0:09:54.616
могут привести человечество в неистовство.

0:09:54.640,0:09:57.536
Одна из самых пугающих вещей,

0:09:57.560,0:10:00.336
как мне кажется, на данный момент —

0:10:00.360,0:10:04.516
это те слова, которые твердят[br]все исследователи ИИ,

0:10:04.540,0:10:06.240
когда хотят звучать обнадёживающе.

0:10:07.000,0:10:10.476
И чаще всего нас просят[br]не беспокоиться по причине времени.

0:10:10.500,0:10:12.536
До этого ещё далеко, если вы не знали.

0:10:12.560,0:10:15.000
До этого, вероятно, ещё лет 50 или 100.

0:10:15.720,0:10:16.976
Один исследователь сказал:

0:10:17.000,0:10:18.576
«Волноваться о безопасности ИИ —

0:10:18.600,0:10:20.900
всё равно что волноваться[br]о перенаселении Марса».

0:10:22.116,0:10:23.736
В Силиконовой долине это означает:

0:10:23.760,0:10:26.136
«не морочь этим свою милую головку».

0:10:26.160,0:10:27.496
(Смех)

0:10:27.520,0:10:29.416
Кажется, что никто не замечает,

0:10:29.440,0:10:32.056
что ссылаться на удалённость во времени —

0:10:32.080,0:10:34.656
нарушение всякой логики.

0:10:34.680,0:10:37.936
Если интеллект — лишь результат[br]обработки информации

0:10:37.960,0:10:40.616
и мы продолжим совершенствовать технику,

0:10:40.640,0:10:43.520
мы создадим некую форму сверхинтеллекта.

0:10:44.320,0:10:47.976
И мы не имеем понятия,[br]сколько времени займёт

0:10:48.000,0:10:50.400
создание для этого безопасных условий.

0:10:52.200,0:10:53.496
Позвольте повторить.

0:10:53.520,0:10:57.336
Мы не имеем понятия,[br]сколько времени займёт

0:10:57.360,0:10:59.600
создание для этого безопасных условий.

0:11:00.920,0:11:04.376
И если вы не заметили,[br]50 лет — не те 50 лет, что раньше.

0:11:04.400,0:11:06.856
Вот 50 лет по месяцам.

0:11:06.880,0:11:08.720
Вот так давно у нас есть iPhone.

0:11:09.440,0:11:12.040
Так долго «Симпсонов» показывают по ТВ.

0:11:12.680,0:11:15.056
Пятьдесят лет — не так много

0:11:15.080,0:11:18.240
для решения одной из важнейших[br]для нашего вида задач.

0:11:19.640,0:11:23.656
Опять же, нам не удаётся выстроить[br]подобающую эмоциональную реакцию

0:11:23.680,0:11:26.376
на то, что по всем признакам[br]нам предстоит.

0:11:26.400,0:11:30.376
Специалист в области информатики[br]Стюарт Рассел провёл хорошую аналогию.

0:11:30.400,0:11:35.296
Он сказал: «Представьте, что мы получили[br]послание от внеземной цивилизации,

0:11:35.320,0:11:37.016
в котором говорится:

0:11:37.040,0:11:38.576
"Земляне,

0:11:38.600,0:11:40.960
мы прибудем на вашу планету через 50 лет.

0:11:41.800,0:11:43.376
Готовьтесь".

0:11:43.400,0:11:47.656
И теперь мы просто считаем месяцы[br]до посадки их корабля-носителя?

0:11:47.680,0:11:50.680
Мы бы немножко больше суетились.

0:11:52.680,0:11:54.656
Ещё мы якобы не должны[br]волноваться потому,

0:11:54.680,0:11:57.576
что эти машины[br]не могут не разделять наши ценности,

0:11:57.600,0:12:00.216
так как будут буквально[br]дополнениями к нам самим.

0:12:00.240,0:12:02.056
Они будут присоединены к нашему мозгу,

0:12:02.080,0:12:04.440
и мы по сути станем[br]их лимбической системой.

0:12:05.120,0:12:06.536
Теперь на миг задумайтесь,

0:12:06.560,0:12:09.736
что самый безопасный и единственно[br]благоразумный путь,

0:12:09.760,0:12:11.096
по рекомендациям, —

0:12:11.120,0:12:13.920
имплантация этой технологии прямо в мозг.

0:12:14.600,0:12:17.976
Это действительно может быть самым[br]безопасным и благоразумным путём,

0:12:18.000,0:12:21.056
но обычно озабоченность[br]безопасностью технологии

0:12:21.080,0:12:24.736
нужно развеивать до того,[br]как запихивать её себе в голову.

0:12:24.760,0:12:26.776
(Смех)

0:12:26.800,0:12:32.136
Более глубокая проблема в том, что[br]создание сверхразумного ИИ как такового

0:12:32.160,0:12:33.896
кажется намного легче,

0:12:33.920,0:12:35.776
чем создание сверхразумного ИИ

0:12:35.800,0:12:37.576
и всех нейротехнологий,

0:12:37.600,0:12:40.320
необходимых для их бесшовной[br]интеграции с нашим разумом.

0:12:40.800,0:12:43.976
Учитывая, что компании и правительства,[br]ведущие эту работу,

0:12:44.000,0:12:47.656
могут представлять себя участниками[br]гонки против всех остальных

0:12:47.680,0:12:50.936
и для них выиграть гонку[br]значит выиграть весь мир,

0:12:50.960,0:12:53.336
учитывая, что вы не уничтожите его[br]через секунду,

0:12:53.360,0:12:56.046
тогда вероятным кажется,[br]что самое простое

0:12:56.070,0:12:57.550
будет сделано в первую очередь.

0:12:58.560,0:13:01.326
К сожалению, у меня нет решения[br]этой проблемы,

0:13:01.340,0:13:04.056
кроме рекомендации, чтобы больше людей[br]задумывались о ней.

0:13:04.080,0:13:06.456
Я думаю, нам нужно что-то вроде[br]проекта «Манхэттен»

0:13:06.480,0:13:08.496
в области искусственного интеллекта.

0:13:08.520,0:13:11.256
Не чтобы его создать —[br]я думаю, это неизбежно случится, —

0:13:11.280,0:13:14.616
а чтобы понять, как избежать[br]гонки вооружений

0:13:14.640,0:13:18.136
и создать его так,[br]чтобы это совпало с нашими интересами.

0:13:18.160,0:13:20.296
Когда говоришь о сверхразумном ИИ,

0:13:20.320,0:13:22.576
который может менять себя сам,

0:13:22.600,0:13:27.216
кажется, что есть только одна попытка[br]для создания правильных начальных условий,

0:13:27.240,0:13:29.296
и даже тогда нам нужно совладать

0:13:29.320,0:13:32.410
с экономико-политическими [br]последствиями их правильного создания.

0:13:33.760,0:13:35.816
Но как только мы признаем,

0:13:35.840,0:13:39.840
что источник интеллекта —[br]обработка информации,

0:13:40.720,0:13:45.520
что интеллект основан на некой[br]подходящей вычислительной системе,

0:13:46.360,0:13:50.120
и признаем, что будем совершенствовать[br]эти системы непрерывно

0:13:51.280,0:13:55.736
и что предел сознания, весьма вероятно,[br]намного дальше,

0:13:55.760,0:13:57.140
чем мы сейчас представляем,

0:13:58.120,0:13:59.336
тогда мы должны признать,

0:13:59.360,0:14:02.000
что мы в процессе создания[br]своего рода бога.

0:14:03.400,0:14:04.976
Теперь самое время

0:14:05.000,0:14:07.073
убедиться, что мы сможем с ним ужиться.

0:14:08.120,0:14:09.656
Большое спасибо.

0:14:09.680,0:14:14.773
(Аплодисменты)