WEBVTT

00:00:01.000 --> 00:00:03.216
Я хочу поговорить
о неспособности к интуиции,

00:00:03.240 --> 00:00:04.880
от которой страдают многие из нас.

00:00:05.480 --> 00:00:08.870
Фактически, это неспособность
распознавать определённую опасность.

00:00:09.360 --> 00:00:11.096
Я опишу сценарий,

00:00:11.120 --> 00:00:14.376
который назвал бы
одновременно пугающим

00:00:14.400 --> 00:00:16.160
и вполне вероятным,

00:00:16.840 --> 00:00:18.496
и это не хорошее сочетание,

00:00:18.520 --> 00:00:19.466
как выясняется.

00:00:20.060 --> 00:00:22.686
Всё же вместо того, чтобы пугаться,
многие подумают,

00:00:22.710 --> 00:00:24.640
что то, о чём я говорю, здóрово.

NOTE Paragraph

00:00:25.200 --> 00:00:28.176
Я расскажу, как наши достижения

00:00:28.200 --> 00:00:29.976
в развитии искусственного интеллекта

00:00:30.000 --> 00:00:31.776
могут в итоге нас уничтожить.

00:00:31.800 --> 00:00:35.256
По-моему, вообще трудно понять,
как они могут нас не уничтожить

00:00:35.280 --> 00:00:36.960
или не побудить к самоуничтожению.

00:00:37.400 --> 00:00:39.256
Всё же, если вы в чём-то схожи со мной,

00:00:39.280 --> 00:00:41.936
то вам нравится думать о таких вещах.

00:00:41.960 --> 00:00:45.336
И эта реакция — часть проблемы.

00:00:45.360 --> 00:00:47.080
Эта реакция должна вас беспокоить.

00:00:47.920 --> 00:00:50.576
И если бы мне надо было убедить вас,

00:00:50.600 --> 00:00:54.016
что нам грозит всемирный голод

00:00:54.040 --> 00:00:57.096
из-за изменения климата
или некой другой катастрофы

00:00:57.120 --> 00:01:00.536
и что ваши внуки или их внуки,

00:01:00.560 --> 00:01:02.360
вероятно, будут жить вот так,

00:01:03.200 --> 00:01:04.400
вы бы не подумали:

00:01:05.440 --> 00:01:06.776
«Интересно.

00:01:06.800 --> 00:01:08.000
Хорошее выступление».

NOTE Paragraph

00:01:09.200 --> 00:01:10.720
В голоде нет ничего забавного.

00:01:11.800 --> 00:01:15.176
Смерть от научной фантастики,
с другой стороны, — это круто,

00:01:15.200 --> 00:01:18.816
и меня очень сильно беспокоит
на данном этапе развития ИИ

00:01:18.840 --> 00:01:23.296
наша неспособность к выстраиванию
подобающей эмоциональной реакции

00:01:23.320 --> 00:01:25.136
на ожидающие нас опасности.

00:01:25.160 --> 00:01:28.360
Я сам не могу выстроить эту реакцию,
потому и говорю об этом.

NOTE Paragraph

00:01:30.120 --> 00:01:32.816
Как будто мы стои́м перед двумя дверьми.

00:01:32.840 --> 00:01:34.096
За первой дверью

00:01:34.120 --> 00:01:37.416
у нас останавливается прогресс
в создании интеллектуальных устройств.

00:01:37.440 --> 00:01:41.456
Аппаратное и программное обеспечение
почему-то больше не становится лучше.

00:01:41.480 --> 00:01:44.480
Теперь на секунду задумайтесь,
почему это может произойти.

00:01:45.080 --> 00:01:48.736
Ведь учитывая, насколько ценны
интеллект и автоматизация,

00:01:48.760 --> 00:01:52.280
мы продолжим совершенствовать
технологии, пока способны на это.

00:01:53.200 --> 00:01:54.867
Что может нас остановить?

00:01:55.800 --> 00:01:57.600
Полномасштабная ядерная война?

00:01:59.000 --> 00:02:00.560
Глобальная пандемия?

00:02:02.320 --> 00:02:03.640
Падение астероида?

00:02:05.640 --> 00:02:08.216
Избрание Джастина Бибера президентом США?

NOTE Paragraph

00:02:08.240 --> 00:02:10.520
(Смех)

NOTE Paragraph

00:02:12.760 --> 00:02:16.680
Суть в том, что что-то должно будет
уничтожить цивилизацию в нашем понимании.

00:02:17.360 --> 00:02:21.656
Только представьте себе,
насколько всё должно быть плохо,

00:02:21.680 --> 00:02:25.016
чтобы мы перестали
совершенствовать технологии

00:02:25.040 --> 00:02:26.256
навсегда,

00:02:26.280 --> 00:02:28.056
на все грядущие поколения.

00:02:28.080 --> 00:02:30.136
Практически по определению
это худшее,

00:02:30.160 --> 00:02:32.496
что может случиться с человечеством.

NOTE Paragraph

00:02:32.520 --> 00:02:33.816
Единственная альтернатива,

00:02:33.840 --> 00:02:36.176
которая и находится за второй дверью, —

00:02:36.200 --> 00:02:39.336
продолжение совершенствования
интеллектуальных устройств

00:02:39.360 --> 00:02:40.960
из года в год.

00:02:41.720 --> 00:02:45.360
В какой-то момент мы создадим
устройства, которые будут умнее нас,

00:02:46.080 --> 00:02:48.606
и когда такие устройства появятся,

00:02:48.630 --> 00:02:50.666
они начнут улучшать себя сами.

00:02:50.700 --> 00:02:53.456
И тогда появится риск того,
что математик И. Д. Гуд называл

00:02:53.480 --> 00:02:55.256
«взрывом интеллекта» —

00:02:55.280 --> 00:02:57.280
риск утраты нами контроля над процессом.

NOTE Paragraph

00:02:58.120 --> 00:03:00.936
Это часто изображают
в виде подобных картинок,

00:03:00.960 --> 00:03:04.176
пугающих армиями злых роботов,

00:03:04.200 --> 00:03:05.456
которые нападут на нас.

00:03:05.480 --> 00:03:08.176
Но это не самый вероятный сценарий.

00:03:08.200 --> 00:03:13.056
Не то, чтобы наша техника
внезапно рассвирепеет.

00:03:13.080 --> 00:03:15.696
Беспокоит на самом деле то,
что мы создаём устройства,

00:03:15.720 --> 00:03:17.776
которые настолько нас превосходят,

00:03:17.800 --> 00:03:21.576
что малейшее расхождение
между их целями и нашими

00:03:21.600 --> 00:03:22.800
может нас уничтожить.

NOTE Paragraph

00:03:23.960 --> 00:03:26.060
Подумайте о том, как мы
относимся к муравьям.

00:03:26.600 --> 00:03:28.256
Мы не ненавидим их.

00:03:28.280 --> 00:03:30.336
Мы не лезем из кожи вон,
чтобы навредить им.

00:03:30.360 --> 00:03:32.736
На самом деле, иногда мы
стараемся не навредить им.

00:03:32.760 --> 00:03:34.776
Мы перешагиваем их на тротуаре.

00:03:34.800 --> 00:03:36.936
Но если вдруг их присутствие

00:03:36.960 --> 00:03:39.456
серьёзно мешает нашим целям,

00:03:39.480 --> 00:03:41.717
например, если мы
строим здание вроде этого,

00:03:41.981 --> 00:03:43.941
мы без колебаний их истребляем.

00:03:44.480 --> 00:03:47.416
Беспокоит то, что однажды
мы создадим устройства,

00:03:47.440 --> 00:03:50.176
которые независимо
от наличия у них сознания

00:03:50.200 --> 00:03:52.200
могут так же пренебречь нами.

NOTE Paragraph

00:03:53.760 --> 00:03:56.520
Я подозреваю, многим из вас
это кажется надуманным.

00:03:57.360 --> 00:04:03.476
Уверен, среди вас есть сомневающиеся
в возможности сверхразумного ИИ,

00:04:03.490 --> 00:04:05.376
не говоря уж о его неизбежности.

00:04:05.400 --> 00:04:09.020
Значит, вы не согласны
с одним из следующих допущений.

00:04:09.044 --> 00:04:10.616
Их всего три.

NOTE Paragraph

00:04:11.800 --> 00:04:16.519
Интеллект — это результат обработки
информации в физической системе.

00:04:17.320 --> 00:04:19.935
На самом деле это немного больше,
чем допущение.

00:04:19.959 --> 00:04:23.416
Мы заложили ограниченный интеллект
в свои технологии,

00:04:23.440 --> 00:04:25.456
и многие из них уже работают

00:04:25.480 --> 00:04:28.120
на уровне сверхчеловеческого интеллекта.

00:04:28.840 --> 00:04:30.876
И мы знаем, что из одной лишь материи

00:04:30.900 --> 00:04:34.056
возможно развитие так называемого
«общего интеллекта» —

00:04:34.080 --> 00:04:37.736
способности к гибкому мышлению
в разных сферах,

00:04:37.760 --> 00:04:40.896
потому что на это способен наш мозг.
Так?

00:04:40.920 --> 00:04:44.856
Я имею в виду: здесь всего лишь атомы,

00:04:44.880 --> 00:04:49.376
и покуда мы продолжаем
создавать системы из атомов,

00:04:49.400 --> 00:04:52.096
проявляющие всё более разумное поведение,

00:04:52.120 --> 00:04:54.656
в итоге мы — если ничто не помешает —

00:04:54.680 --> 00:04:58.056
в итоге мы наделим общим интеллектом

00:04:58.080 --> 00:04:59.376
свои устройства.

NOTE Paragraph

00:04:59.400 --> 00:05:03.056
Очень важно осознавать,
что темп прогресса не важен,

00:05:03.080 --> 00:05:06.256
потому что любой прогресс
может привести нас к конечному итогу.

00:05:06.280 --> 00:05:10.056
Нам не нужно, чтобы закон Мура работал.
Нам не нужен экспоненциальный прогресс.

00:05:10.080 --> 00:05:11.860
Нам просто нужно не останавливаться.

NOTE Paragraph

00:05:13.480 --> 00:05:16.400
Второе предположение —
что мы не остановимся.

00:05:17.000 --> 00:05:19.760
Мы продолжим улучшать
свои интеллектуальные устройства.

00:05:21.000 --> 00:05:25.376
И, учитывая ценность интеллекта —

00:05:25.400 --> 00:05:28.936
ведь интеллект либо порождает всё,
что мы ценим,

00:05:28.960 --> 00:05:31.736
либо нужен нам для защиты всего,
что мы ценим, —

00:05:31.760 --> 00:05:34.016
это наш ценнейший ресурс.

00:05:34.040 --> 00:05:35.576
Поэтому мы хотим этим заниматься.

00:05:35.600 --> 00:05:38.936
У нас есть проблемы,
которые непременно нужно решить.

00:05:38.960 --> 00:05:42.160
Мы хотим излечить болезни
вроде Альцгеймера и рака.

00:05:42.960 --> 00:05:46.896
Мы хотим понимать экономические системы.
Мы хотим больше знать о климате.

00:05:46.920 --> 00:05:49.176
Так что мы это сделаем, если сможем.

00:05:49.200 --> 00:05:52.486
Поезд уже тронулся, и тóрмоза нет.

NOTE Paragraph

00:05:53.880 --> 00:05:59.336
Наконец, мы не на пике интеллекта

00:05:59.360 --> 00:06:01.160
и даже не близко к нему, вероятно.

00:06:01.640 --> 00:06:03.536
И это действительно важно понимать.

00:06:03.560 --> 00:06:05.976
Именно из-за этого
наша система так уязвима,

00:06:06.000 --> 00:06:10.040
а наши интуитивные оценки риска
так ненадёжны.

NOTE Paragraph

00:06:11.020 --> 00:06:14.160
Теперь представьте умнейшего
из когда-либо живших людей.

00:06:14.640 --> 00:06:17.996
Почти все среди прочих называют
Джона фон Неймана.

00:06:18.020 --> 00:06:21.416
Ведь впечатление, которое фон Нейман
производил на окружающих,

00:06:21.440 --> 00:06:25.496
в том числе величайших математиков
и физиков своего времени,

00:06:25.520 --> 00:06:27.456
очень хорошо задокументировано.

00:06:27.480 --> 00:06:31.256
Если половина историй о нём
хотя бы наполовину правдивы,

00:06:31.280 --> 00:06:32.496
сомнений нет:

00:06:32.520 --> 00:06:34.976
он один из умнейших людей,
когда-либо живших.

00:06:35.000 --> 00:06:37.520
Подумайте о диапазоне
интеллектуальных способностей.

00:06:38.320 --> 00:06:39.749
Здесь у нас Джон фон Нейман.

00:06:41.560 --> 00:06:42.894
Здесь мы с вами.

00:06:44.120 --> 00:06:45.416
А здесь курица.

NOTE Paragraph

00:06:45.440 --> 00:06:47.376
(Смех)

NOTE Paragraph

00:06:47.400 --> 00:06:48.616
Прошу прощения.
Курица.

NOTE Paragraph

00:06:48.640 --> 00:06:49.896
(Смех)

NOTE Paragraph

00:06:49.920 --> 00:06:53.656
Ни к чему делать эту лекцию
более депрессивной, чем надо.

NOTE Paragraph

00:06:53.680 --> 00:06:55.280
(Смех)

NOTE Paragraph

00:06:56.339 --> 00:06:59.816
Однако кажется чрезвычайно вероятным,
что интеллект варьируется

00:06:59.840 --> 00:07:02.960
в куда бóльших масштабах,
чем мы себе сейчас представляем,

00:07:03.880 --> 00:07:07.096
и если мы создадим устройства,
которые будут умнее нас,

00:07:07.120 --> 00:07:09.416
они, очень вероятно,
будут осваивать эти масштабы

00:07:09.440 --> 00:07:11.296
невообразимыми для нас способами

00:07:11.320 --> 00:07:13.840
и превзойдут нас невообразимыми способами.

NOTE Paragraph

00:07:15.000 --> 00:07:19.336
И важно признавать, что это верно
в силу одной только скорости.

00:07:19.360 --> 00:07:24.416
Так? Представьте, что мы построим
сверхразумный ИИ,

00:07:24.440 --> 00:07:27.896
который будет не умнее
среднестатистической группы учёных

00:07:27.920 --> 00:07:29.916
из Стэнфорда или МТИ.

00:07:29.940 --> 00:07:33.216
Электронные схемы примерно
в миллион раз быстрее

00:07:33.240 --> 00:07:34.496
биохимических,

00:07:34.520 --> 00:07:37.656
поэтому машина будет думать
в миллион раз быстрее,

00:07:37.680 --> 00:07:39.496
чем создавший её разум.

00:07:39.520 --> 00:07:41.176
Вы запускаете её на неделю,

00:07:41.200 --> 00:07:45.760
и она выполняет 20 000-летнюю
работу интеллекта человеческого уровня

00:07:46.400 --> 00:07:48.360
неделю за неделей.

00:07:49.640 --> 00:07:52.736
Как мы только можем понять,
не говоря о том, чтобы сдержать,

00:07:52.760 --> 00:07:55.040
ум, работающий с подобной скоростью?

NOTE Paragraph

00:07:56.840 --> 00:07:58.976
Ещё беспокоит, если честно,

00:07:59.000 --> 00:08:03.976
вот что: представьте лучший сценарий.

00:08:04.000 --> 00:08:07.696
Представьте, что у нас в распоряжении
проект сверхразумного ИИ,

00:08:07.720 --> 00:08:09.576
не угрожающего безопасности.

00:08:09.600 --> 00:08:12.856
У нас с сáмого начала
получился идеальный проект.

00:08:12.880 --> 00:08:15.096
Как будто мы одарены им свыше,

00:08:15.120 --> 00:08:17.136
и он работает точно так, как задумано.

00:08:17.160 --> 00:08:21.020
Это устройство было бы идеально
для снижения трудозатрат.

00:08:21.510 --> 00:08:24.039
Оно может придумать машину,
которая построит машину,

00:08:24.073 --> 00:08:25.976
которая сможет делать физическую работу,

00:08:26.010 --> 00:08:27.376
питаясь энергией солнца

00:08:27.400 --> 00:08:30.096
приблизительно по цене сырья.

00:08:30.120 --> 00:08:33.376
Это означает конец
изматывающей работы для людей.

00:08:33.400 --> 00:08:36.260
Это также означает конец
большей части умственной работы.

NOTE Paragraph

00:08:37.200 --> 00:08:40.256
А что такие приматы, как мы,
делают в такой ситуации?

00:08:40.280 --> 00:08:44.360
Ну, мы сможем играть во фрисби
и делать друг другу массаж.

00:08:45.840 --> 00:08:48.696
Добавьте немного ЛСД
и немного смелых нарядов,

00:08:48.720 --> 00:08:50.896
и мир будет похож
на фестиваль «Burning Man».

NOTE Paragraph

00:08:50.920 --> 00:08:52.560
(Смех)

NOTE Paragraph

00:08:54.320 --> 00:08:56.320
Возможно, звучит неплохо,

00:08:57.280 --> 00:08:59.656
но спроси́те себя, что бы случилось

00:08:59.680 --> 00:09:02.416
при нынешнем
экономико-политическом устройстве?

00:09:02.440 --> 00:09:04.856
Кажется вероятным,
что мы станем свидетелями

00:09:04.880 --> 00:09:09.016
такого уровня имущественного неравенства
и безработицы,

00:09:09.040 --> 00:09:10.536
какого не наблюдали раньше.

00:09:10.560 --> 00:09:13.176
В отсутствие желания
сразу поставить новые блага

00:09:13.200 --> 00:09:14.680
на службу человечеству

00:09:15.640 --> 00:09:19.256
несколько магнатов смогут
украшать обложки деловых журналов,

00:09:19.280 --> 00:09:21.720
пока остальные будут голодать.

NOTE Paragraph

00:09:22.320 --> 00:09:24.436
Что бы сделали русские или китайцы,

00:09:24.460 --> 00:09:27.256
узнав, что некая компания
в Силиконовой долине

00:09:27.280 --> 00:09:30.016
на грани внедрения сверхразумного ИИ?

00:09:30.040 --> 00:09:32.896
Такое устройство могло бы
спровоцировать войну,

00:09:32.920 --> 00:09:35.136
наземную или кибер-войну

00:09:35.160 --> 00:09:36.840
беспрецедентого размаха.

00:09:37.870 --> 00:09:40.126
Это сценарий, в котором
победитель получает всё.

00:09:40.140 --> 00:09:43.136
Полугодовое преимущество
в такой конкуренции —

00:09:43.160 --> 00:09:45.936
всё равно что преимущество в 500 000 лет

00:09:45.960 --> 00:09:47.456
как минимум.

00:09:47.480 --> 00:09:52.216
Поэтому представляется,
что даже слухи о такого рода прорыве

00:09:52.240 --> 00:09:54.616
могут привести человечество в неистовство.

NOTE Paragraph

00:09:54.640 --> 00:09:57.536
Одна из самых пугающих вещей,

00:09:57.560 --> 00:10:00.336
как мне кажется, на данный момент —

00:10:00.360 --> 00:10:04.516
это те слова, которые твердят
все исследователи ИИ,

00:10:04.540 --> 00:10:06.240
когда хотят звучать обнадёживающе.

00:10:07.000 --> 00:10:10.476
И чаще всего нас просят
не беспокоиться по причине времени.

00:10:10.500 --> 00:10:12.536
До этого ещё далеко, если вы не знали.

00:10:12.560 --> 00:10:15.000
До этого, вероятно, ещё лет 50 или 100.

00:10:15.720 --> 00:10:16.976
Один исследователь сказал:

00:10:17.000 --> 00:10:18.576
«Волноваться о безопасности ИИ —

00:10:18.600 --> 00:10:20.900
всё равно что волноваться
о перенаселении Марса».

00:10:22.116 --> 00:10:23.736
В Силиконовой долине это означает:

00:10:23.760 --> 00:10:26.136
«не морочь этим свою милую головку».

NOTE Paragraph

00:10:26.160 --> 00:10:27.496
(Смех)

NOTE Paragraph

00:10:27.520 --> 00:10:29.416
Кажется, что никто не замечает,

00:10:29.440 --> 00:10:32.056
что ссылаться на удалённость во времени —

00:10:32.080 --> 00:10:34.656
нарушение всякой логики.

00:10:34.680 --> 00:10:37.936
Если интеллект — лишь результат
обработки информации

00:10:37.960 --> 00:10:40.616
и мы продолжим совершенствовать технику,

00:10:40.640 --> 00:10:43.520
мы создадим некую форму сверхинтеллекта.

00:10:44.320 --> 00:10:47.976
И мы не имеем понятия,
сколько времени займёт

00:10:48.000 --> 00:10:50.400
создание для этого безопасных условий.

00:10:52.200 --> 00:10:53.496
Позвольте повторить.

00:10:53.520 --> 00:10:57.336
Мы не имеем понятия,
сколько времени займёт

00:10:57.360 --> 00:10:59.600
создание для этого безопасных условий.

NOTE Paragraph

00:11:00.920 --> 00:11:04.376
И если вы не заметили,
50 лет — не те 50 лет, что раньше.

00:11:04.400 --> 00:11:06.856
Вот 50 лет по месяцам.

00:11:06.880 --> 00:11:08.720
Вот так давно у нас есть iPhone.

00:11:09.440 --> 00:11:12.040
Так долго «Симпсонов» показывают по ТВ.

00:11:12.680 --> 00:11:15.056
Пятьдесят лет — не так много

00:11:15.080 --> 00:11:18.240
для решения одной из важнейших
для нашего вида задач.

00:11:19.640 --> 00:11:23.656
Опять же, нам не удаётся выстроить
подобающую эмоциональную реакцию

00:11:23.680 --> 00:11:26.376
на то, что по всем признакам
нам предстоит.

NOTE Paragraph

00:11:26.400 --> 00:11:30.376
Специалист в области информатики
Стюарт Рассел провёл хорошую аналогию.

00:11:30.400 --> 00:11:35.296
Он сказал: «Представьте, что мы получили
послание от внеземной цивилизации,

00:11:35.320 --> 00:11:37.016
в котором говорится:

00:11:37.040 --> 00:11:38.576
"Земляне,

00:11:38.600 --> 00:11:40.960
мы прибудем на вашу планету через 50 лет.

00:11:41.800 --> 00:11:43.376
Готовьтесь".

00:11:43.400 --> 00:11:47.656
И теперь мы просто считаем месяцы
до посадки их корабля-носителя?

00:11:47.680 --> 00:11:50.680
Мы бы немножко больше суетились.

NOTE Paragraph

00:11:52.680 --> 00:11:54.656
Ещё мы якобы не должны
волноваться потому,

00:11:54.680 --> 00:11:57.576
что эти машины
не могут не разделять наши ценности,

00:11:57.600 --> 00:12:00.216
так как будут буквально
дополнениями к нам самим.

00:12:00.240 --> 00:12:02.056
Они будут присоединены к нашему мозгу,

00:12:02.080 --> 00:12:04.440
и мы по сути станем
их лимбической системой.

00:12:05.120 --> 00:12:06.536
Теперь на миг задумайтесь,

00:12:06.560 --> 00:12:09.736
что самый безопасный и единственно
благоразумный путь,

00:12:09.760 --> 00:12:11.096
по рекомендациям, —

00:12:11.120 --> 00:12:13.920
имплантация этой технологии прямо в мозг.

00:12:14.600 --> 00:12:17.976
Это действительно может быть самым
безопасным и благоразумным путём,

00:12:18.000 --> 00:12:21.056
но обычно озабоченность
безопасностью технологии

00:12:21.080 --> 00:12:24.736
нужно развеивать до того,
как запихивать её себе в голову.

NOTE Paragraph

00:12:24.760 --> 00:12:26.776
(Смех)

NOTE Paragraph

00:12:26.800 --> 00:12:32.136
Более глубокая проблема в том, что
создание сверхразумного ИИ как такового

00:12:32.160 --> 00:12:33.896
кажется намного легче,

00:12:33.920 --> 00:12:35.776
чем создание сверхразумного ИИ

00:12:35.800 --> 00:12:37.576
и всех нейротехнологий,

00:12:37.600 --> 00:12:40.320
необходимых для их бесшовной
интеграции с нашим разумом.

00:12:40.800 --> 00:12:43.976
Учитывая, что компании и правительства,
ведущие эту работу,

00:12:44.000 --> 00:12:47.656
могут представлять себя участниками
гонки против всех остальных

00:12:47.680 --> 00:12:50.936
и для них выиграть гонку
значит выиграть весь мир,

00:12:50.960 --> 00:12:53.336
учитывая, что вы не уничтожите его
через секунду,

00:12:53.360 --> 00:12:56.046
тогда вероятным кажется,
что самое простое

00:12:56.070 --> 00:12:57.550
будет сделано в первую очередь.

NOTE Paragraph

00:12:58.560 --> 00:13:01.326
К сожалению, у меня нет решения
этой проблемы,

00:13:01.340 --> 00:13:04.056
кроме рекомендации, чтобы больше людей
задумывались о ней.

00:13:04.080 --> 00:13:06.456
Я думаю, нам нужно что-то вроде
проекта «Манхэттен»

00:13:06.480 --> 00:13:08.496
в области искусственного интеллекта.

00:13:08.520 --> 00:13:11.256
Не чтобы его создать —
я думаю, это неизбежно случится, —

00:13:11.280 --> 00:13:14.616
а чтобы понять, как избежать
гонки вооружений

00:13:14.640 --> 00:13:18.136
и создать его так,
чтобы это совпало с нашими интересами.

00:13:18.160 --> 00:13:20.296
Когда говоришь о сверхразумном ИИ,

00:13:20.320 --> 00:13:22.576
который может менять себя сам,

00:13:22.600 --> 00:13:27.216
кажется, что есть только одна попытка
для создания правильных начальных условий,

00:13:27.240 --> 00:13:29.296
и даже тогда нам нужно совладать

00:13:29.320 --> 00:13:32.410
с экономико-политическими 
последствиями их правильного создания.

NOTE Paragraph

00:13:33.760 --> 00:13:35.816
Но как только мы признаем,

00:13:35.840 --> 00:13:39.840
что источник интеллекта —
обработка информации,

00:13:40.720 --> 00:13:45.520
что интеллект основан на некой
подходящей вычислительной системе,

00:13:46.360 --> 00:13:50.120
и признаем, что будем совершенствовать
эти системы непрерывно

00:13:51.280 --> 00:13:55.736
и что предел сознания, весьма вероятно,
намного дальше,

00:13:55.760 --> 00:13:57.140
чем мы сейчас представляем,

00:13:58.120 --> 00:13:59.336
тогда мы должны признать,

00:13:59.360 --> 00:14:02.000
что мы в процессе создания
своего рода бога.

00:14:03.400 --> 00:14:04.976
Теперь самое время

00:14:05.000 --> 00:14:07.073
убедиться, что мы сможем с ним ужиться.

NOTE Paragraph

00:14:08.120 --> 00:14:09.656
Большое спасибо.

NOTE Paragraph

00:14:09.680 --> 00:14:14.773
(Аплодисменты)