[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:01.00,0:00:03.22,Default,,0000,0000,0000,,Я хочу поговорить\Nо неспособности к интуиции,
Dialogue: 0,0:00:03.24,0:00:04.88,Default,,0000,0000,0000,,от которой страдают многие из нас.
Dialogue: 0,0:00:05.48,0:00:08.87,Default,,0000,0000,0000,,Фактически, это неспособность\Nраспознавать определённую опасность.
Dialogue: 0,0:00:09.36,0:00:11.10,Default,,0000,0000,0000,,Я опишу сценарий,
Dialogue: 0,0:00:11.12,0:00:14.38,Default,,0000,0000,0000,,который назвал бы\Nодновременно пугающим
Dialogue: 0,0:00:14.40,0:00:16.16,Default,,0000,0000,0000,,и вполне вероятным,
Dialogue: 0,0:00:16.84,0:00:18.50,Default,,0000,0000,0000,,и это не хорошее сочетание,
Dialogue: 0,0:00:18.52,0:00:19.47,Default,,0000,0000,0000,,как выясняется.
Dialogue: 0,0:00:20.06,0:00:22.69,Default,,0000,0000,0000,,Всё же вместо того, чтобы пугаться,\Nмногие подумают,
Dialogue: 0,0:00:22.71,0:00:24.64,Default,,0000,0000,0000,,что то, о чём я говорю, здóрово.
Dialogue: 0,0:00:25.20,0:00:28.18,Default,,0000,0000,0000,,Я расскажу, как наши достижения
Dialogue: 0,0:00:28.20,0:00:29.98,Default,,0000,0000,0000,,в развитии искусственного интеллекта
Dialogue: 0,0:00:30.00,0:00:31.78,Default,,0000,0000,0000,,могут в итоге нас уничтожить.
Dialogue: 0,0:00:31.80,0:00:35.26,Default,,0000,0000,0000,,По-моему, вообще трудно понять,\Nкак они могут нас не уничтожить
Dialogue: 0,0:00:35.28,0:00:36.96,Default,,0000,0000,0000,,или не побудить к самоуничтожению.
Dialogue: 0,0:00:37.40,0:00:39.26,Default,,0000,0000,0000,,Всё же, если вы в чём-то схожи со мной,
Dialogue: 0,0:00:39.28,0:00:41.94,Default,,0000,0000,0000,,то вам нравится думать о таких вещах.
Dialogue: 0,0:00:41.96,0:00:45.34,Default,,0000,0000,0000,,И эта реакция — часть проблемы.
Dialogue: 0,0:00:45.36,0:00:47.08,Default,,0000,0000,0000,,Эта реакция должна вас беспокоить.
Dialogue: 0,0:00:47.92,0:00:50.58,Default,,0000,0000,0000,,И если бы мне надо было убедить вас,
Dialogue: 0,0:00:50.60,0:00:54.02,Default,,0000,0000,0000,,что нам грозит всемирный голод
Dialogue: 0,0:00:54.04,0:00:57.10,Default,,0000,0000,0000,,из-за изменения климата\Nили некой другой катастрофы
Dialogue: 0,0:00:57.12,0:01:00.54,Default,,0000,0000,0000,,и что ваши внуки или их внуки,
Dialogue: 0,0:01:00.56,0:01:02.36,Default,,0000,0000,0000,,вероятно, будут жить вот так,
Dialogue: 0,0:01:03.20,0:01:04.40,Default,,0000,0000,0000,,вы бы не подумали:
Dialogue: 0,0:01:05.44,0:01:06.78,Default,,0000,0000,0000,,«Интересно.
Dialogue: 0,0:01:06.80,0:01:08.00,Default,,0000,0000,0000,,Хорошее выступление».
Dialogue: 0,0:01:09.20,0:01:10.72,Default,,0000,0000,0000,,В голоде нет ничего забавного.
Dialogue: 0,0:01:11.80,0:01:15.18,Default,,0000,0000,0000,,Смерть от научной фантастики,\Nс другой стороны, — это круто,
Dialogue: 0,0:01:15.20,0:01:18.82,Default,,0000,0000,0000,,и меня очень сильно беспокоит\Nна данном этапе развития ИИ
Dialogue: 0,0:01:18.84,0:01:23.30,Default,,0000,0000,0000,,наша неспособность к выстраиванию\Nподобающей эмоциональной реакции
Dialogue: 0,0:01:23.32,0:01:25.14,Default,,0000,0000,0000,,на ожидающие нас опасности.
Dialogue: 0,0:01:25.16,0:01:28.36,Default,,0000,0000,0000,,Я сам не могу выстроить эту реакцию,\Nпотому и говорю об этом.
Dialogue: 0,0:01:30.12,0:01:32.82,Default,,0000,0000,0000,,Как будто мы стои́м перед двумя дверьми.
Dialogue: 0,0:01:32.84,0:01:34.10,Default,,0000,0000,0000,,За первой дверью
Dialogue: 0,0:01:34.12,0:01:37.42,Default,,0000,0000,0000,,у нас останавливается прогресс\Nв создании интеллектуальных устройств.
Dialogue: 0,0:01:37.44,0:01:41.46,Default,,0000,0000,0000,,Аппаратное и программное обеспечение\Nпочему-то больше не становится лучше.
Dialogue: 0,0:01:41.48,0:01:44.48,Default,,0000,0000,0000,,Теперь на секунду задумайтесь,\Nпочему это может произойти.
Dialogue: 0,0:01:45.08,0:01:48.74,Default,,0000,0000,0000,,Ведь учитывая, насколько ценны\Nинтеллект и автоматизация,
Dialogue: 0,0:01:48.76,0:01:52.28,Default,,0000,0000,0000,,мы продолжим совершенствовать\Nтехнологии, пока способны на это.
Dialogue: 0,0:01:53.20,0:01:54.87,Default,,0000,0000,0000,,Что может нас остановить?
Dialogue: 0,0:01:55.80,0:01:57.60,Default,,0000,0000,0000,,Полномасштабная ядерная война?
Dialogue: 0,0:01:59.00,0:02:00.56,Default,,0000,0000,0000,,Глобальная пандемия?
Dialogue: 0,0:02:02.32,0:02:03.64,Default,,0000,0000,0000,,Падение астероида?
Dialogue: 0,0:02:05.64,0:02:08.22,Default,,0000,0000,0000,,Избрание Джастина Бибера президентом США?
Dialogue: 0,0:02:08.24,0:02:10.52,Default,,0000,0000,0000,,(Смех)
Dialogue: 0,0:02:12.76,0:02:16.68,Default,,0000,0000,0000,,Суть в том, что что-то должно будет\Nуничтожить цивилизацию в нашем понимании.
Dialogue: 0,0:02:17.36,0:02:21.66,Default,,0000,0000,0000,,Только представьте себе,\Nнасколько всё должно быть плохо,
Dialogue: 0,0:02:21.68,0:02:25.02,Default,,0000,0000,0000,,чтобы мы перестали\Nсовершенствовать технологии
Dialogue: 0,0:02:25.04,0:02:26.26,Default,,0000,0000,0000,,навсегда,
Dialogue: 0,0:02:26.28,0:02:28.06,Default,,0000,0000,0000,,на все грядущие поколения.
Dialogue: 0,0:02:28.08,0:02:30.14,Default,,0000,0000,0000,,Практически по определению\Nэто худшее,
Dialogue: 0,0:02:30.16,0:02:32.50,Default,,0000,0000,0000,,что может случиться с человечеством.
Dialogue: 0,0:02:32.52,0:02:33.82,Default,,0000,0000,0000,,Единственная альтернатива,
Dialogue: 0,0:02:33.84,0:02:36.18,Default,,0000,0000,0000,,которая и находится за второй дверью, —
Dialogue: 0,0:02:36.20,0:02:39.34,Default,,0000,0000,0000,,продолжение совершенствования\Nинтеллектуальных устройств
Dialogue: 0,0:02:39.36,0:02:40.96,Default,,0000,0000,0000,,из года в год.
Dialogue: 0,0:02:41.72,0:02:45.36,Default,,0000,0000,0000,,В какой-то момент мы создадим\Nустройства, которые будут умнее нас,
Dialogue: 0,0:02:46.08,0:02:48.61,Default,,0000,0000,0000,,и когда такие устройства появятся,
Dialogue: 0,0:02:48.63,0:02:50.67,Default,,0000,0000,0000,,они начнут улучшать себя сами.
Dialogue: 0,0:02:50.70,0:02:53.46,Default,,0000,0000,0000,,И тогда появится риск того,\Nчто математик И. Д. Гуд называл
Dialogue: 0,0:02:53.48,0:02:55.26,Default,,0000,0000,0000,,«взрывом интеллекта» —
Dialogue: 0,0:02:55.28,0:02:57.28,Default,,0000,0000,0000,,риск утраты нами контроля над процессом.
Dialogue: 0,0:02:58.12,0:03:00.94,Default,,0000,0000,0000,,Это часто изображают\Nв виде подобных картинок,
Dialogue: 0,0:03:00.96,0:03:04.18,Default,,0000,0000,0000,,пугающих армиями злых роботов,
Dialogue: 0,0:03:04.20,0:03:05.46,Default,,0000,0000,0000,,которые нападут на нас.
Dialogue: 0,0:03:05.48,0:03:08.18,Default,,0000,0000,0000,,Но это не самый вероятный сценарий.
Dialogue: 0,0:03:08.20,0:03:13.06,Default,,0000,0000,0000,,Проблема не в том, что наша техника\Nвнезапно рассвирепеет.
Dialogue: 0,0:03:13.08,0:03:15.70,Default,,0000,0000,0000,,Беспокоит на самом деле то,\Nчто мы создаём устройства,
Dialogue: 0,0:03:15.72,0:03:17.78,Default,,0000,0000,0000,,которые настолько нас превосходят,
Dialogue: 0,0:03:17.80,0:03:21.58,Default,,0000,0000,0000,,что малейшее расхождение\Nмежду их целями и нашими
Dialogue: 0,0:03:21.60,0:03:22.80,Default,,0000,0000,0000,,может нас уничтожить.
Dialogue: 0,0:03:23.96,0:03:26.06,Default,,0000,0000,0000,,Подумайте о том, как мы\Nотносимся к муравьям.
Dialogue: 0,0:03:26.60,0:03:28.26,Default,,0000,0000,0000,,Мы не ненавидим их.
Dialogue: 0,0:03:28.28,0:03:30.34,Default,,0000,0000,0000,,Мы не лезем из кожи вон,\Nчтобы навредить им.
Dialogue: 0,0:03:30.36,0:03:32.74,Default,,0000,0000,0000,,На самом деле, иногда мы\Nстараемся не навредить им.
Dialogue: 0,0:03:32.76,0:03:34.78,Default,,0000,0000,0000,,Мы перешагиваем их на тротуаре.
Dialogue: 0,0:03:34.80,0:03:36.94,Default,,0000,0000,0000,,Но если вдруг их присутствие
Dialogue: 0,0:03:36.96,0:03:39.46,Default,,0000,0000,0000,,серьёзно мешает нашим целям,
Dialogue: 0,0:03:39.48,0:03:41.72,Default,,0000,0000,0000,,например, если мы\Nстроим здание вроде этого,
Dialogue: 0,0:03:41.98,0:03:43.94,Default,,0000,0000,0000,,мы без колебаний их истребляем.
Dialogue: 0,0:03:44.48,0:03:47.42,Default,,0000,0000,0000,,Беспокоит то, что однажды\Nмы создадим устройства,
Dialogue: 0,0:03:47.44,0:03:50.18,Default,,0000,0000,0000,,которые независимо\Nот наличия у них сознания
Dialogue: 0,0:03:50.20,0:03:52.20,Default,,0000,0000,0000,,могут так же пренебречь нами.
Dialogue: 0,0:03:53.76,0:03:56.52,Default,,0000,0000,0000,,Я подозреваю, многим из вас\Nэто кажется надуманным.
Dialogue: 0,0:03:57.36,0:04:03.48,Default,,0000,0000,0000,,Уверен, среди вас есть сомневающиеся\Nв возможности сверхразумного ИИ,
Dialogue: 0,0:04:03.49,0:04:05.38,Default,,0000,0000,0000,,не говоря уж о его неизбежности.
Dialogue: 0,0:04:05.40,0:04:09.02,Default,,0000,0000,0000,,Значит, вы не согласны\Nс одним из следующих допущений.
Dialogue: 0,0:04:09.04,0:04:10.62,Default,,0000,0000,0000,,Их всего три.
Dialogue: 0,0:04:11.80,0:04:16.52,Default,,0000,0000,0000,,Интеллект — это результат обработки\Nинформации в физической системе.
Dialogue: 0,0:04:17.32,0:04:19.94,Default,,0000,0000,0000,,На самом деле это немного больше,\Nчем допущение.
Dialogue: 0,0:04:19.96,0:04:23.42,Default,,0000,0000,0000,,Мы заложили ограниченный интеллект\Nв свои технологии,
Dialogue: 0,0:04:23.44,0:04:25.46,Default,,0000,0000,0000,,и многие из них уже работают
Dialogue: 0,0:04:25.48,0:04:28.12,Default,,0000,0000,0000,,на уровне сверхчеловеческого интеллекта.
Dialogue: 0,0:04:28.84,0:04:30.88,Default,,0000,0000,0000,,И мы знаем, что из одной лишь материи
Dialogue: 0,0:04:30.90,0:04:34.06,Default,,0000,0000,0000,,возможно развитие так называемого\N«общего интеллекта» —
Dialogue: 0,0:04:34.08,0:04:37.74,Default,,0000,0000,0000,,способности к гибкому мышлению\Nв разных сферах,
Dialogue: 0,0:04:37.76,0:04:40.90,Default,,0000,0000,0000,,потому что на это способен наш мозг.\NТак?
Dialogue: 0,0:04:40.92,0:04:44.86,Default,,0000,0000,0000,,Я имею в виду: здесь всего лишь атомы,
Dialogue: 0,0:04:44.88,0:04:49.38,Default,,0000,0000,0000,,и покуда мы продолжаем\Nсоздавать системы из атомов,
Dialogue: 0,0:04:49.40,0:04:52.10,Default,,0000,0000,0000,,проявляющие всё более разумное поведение,
Dialogue: 0,0:04:52.12,0:04:54.66,Default,,0000,0000,0000,,в итоге мы — если ничто не помешает —
Dialogue: 0,0:04:54.68,0:04:58.06,Default,,0000,0000,0000,,в итоге мы наделим общим интеллектом
Dialogue: 0,0:04:58.08,0:04:59.38,Default,,0000,0000,0000,,свои устройства.
Dialogue: 0,0:04:59.40,0:05:03.06,Default,,0000,0000,0000,,Очень важно осознавать,\Nчто темп прогресса не важен,
Dialogue: 0,0:05:03.08,0:05:06.26,Default,,0000,0000,0000,,потому что любой прогресс\Nможет привести нас к конечному итогу.
Dialogue: 0,0:05:06.28,0:05:10.06,Default,,0000,0000,0000,,Нам не нужно, чтобы закон Мура работал.\NНам не нужен экспоненциальный прогресс.
Dialogue: 0,0:05:10.08,0:05:11.86,Default,,0000,0000,0000,,Нам просто нужно не останавливаться.
Dialogue: 0,0:05:13.48,0:05:16.40,Default,,0000,0000,0000,,Второе предположение —\Nчто мы не остановимся.
Dialogue: 0,0:05:17.00,0:05:19.76,Default,,0000,0000,0000,,Мы продолжим улучшать\Nсвои интеллектуальные устройства.
Dialogue: 0,0:05:21.00,0:05:25.38,Default,,0000,0000,0000,,И, учитывая ценность интеллекта —
Dialogue: 0,0:05:25.40,0:05:28.94,Default,,0000,0000,0000,,ведь интеллект либо порождает всё,\Nчто мы ценим,
Dialogue: 0,0:05:28.96,0:05:31.74,Default,,0000,0000,0000,,либо нужен нам для защиты всего,\Nчто мы ценим, —
Dialogue: 0,0:05:31.76,0:05:34.02,Default,,0000,0000,0000,,это наш ценнейший ресурс.
Dialogue: 0,0:05:34.04,0:05:35.58,Default,,0000,0000,0000,,Поэтому мы хотим этим заниматься.
Dialogue: 0,0:05:35.60,0:05:38.94,Default,,0000,0000,0000,,У нас есть проблемы,\Nкоторые непременно нужно решить.
Dialogue: 0,0:05:38.96,0:05:42.16,Default,,0000,0000,0000,,Мы хотим излечить болезни\Nвроде Альцгеймера и рака.
Dialogue: 0,0:05:42.96,0:05:46.90,Default,,0000,0000,0000,,Мы хотим понимать экономические системы.\NМы хотим больше знать о климате.
Dialogue: 0,0:05:46.92,0:05:49.18,Default,,0000,0000,0000,,Так что мы это сделаем, если сможем.
Dialogue: 0,0:05:49.20,0:05:52.49,Default,,0000,0000,0000,,Поезд уже тронулся, и тóрмоза нет.
Dialogue: 0,0:05:53.88,0:05:59.34,Default,,0000,0000,0000,,Наконец, мы не на пике интеллекта
Dialogue: 0,0:05:59.36,0:06:01.16,Default,,0000,0000,0000,,и даже не близко к нему, вероятно.
Dialogue: 0,0:06:01.64,0:06:03.54,Default,,0000,0000,0000,,И это действительно важно понимать.
Dialogue: 0,0:06:03.56,0:06:05.98,Default,,0000,0000,0000,,Именно из-за этого\Nнаша система так уязвима,
Dialogue: 0,0:06:06.00,0:06:10.04,Default,,0000,0000,0000,,а наши интуитивные оценки риска\Nтак ненадёжны.
Dialogue: 0,0:06:11.02,0:06:14.16,Default,,0000,0000,0000,,Теперь представьте умнейшего\Nиз когда-либо живших людей.
Dialogue: 0,0:06:14.64,0:06:17.100,Default,,0000,0000,0000,,Почти все среди прочих называют\NДжона фон Неймана.
Dialogue: 0,0:06:18.02,0:06:21.42,Default,,0000,0000,0000,,Ведь впечатление, которое фон Нейман\Nпроизводил на окружающих,
Dialogue: 0,0:06:21.44,0:06:25.50,Default,,0000,0000,0000,,в том числе величайших математиков\Nи физиков своего времени,
Dialogue: 0,0:06:25.52,0:06:27.46,Default,,0000,0000,0000,,очень хорошо задокументировано.
Dialogue: 0,0:06:27.48,0:06:31.26,Default,,0000,0000,0000,,Если половина историй о нём\Nхотя бы наполовину правдивы,
Dialogue: 0,0:06:31.28,0:06:32.50,Default,,0000,0000,0000,,сомнений нет:
Dialogue: 0,0:06:32.52,0:06:34.98,Default,,0000,0000,0000,,он один из умнейших людей,\Nкогда-либо живших.
Dialogue: 0,0:06:35.00,0:06:37.52,Default,,0000,0000,0000,,Подумайте о диапазоне\Nинтеллектуальных способностей.
Dialogue: 0,0:06:38.32,0:06:39.75,Default,,0000,0000,0000,,Здесь у нас Джон фон Нейман.
Dialogue: 0,0:06:41.56,0:06:42.89,Default,,0000,0000,0000,,Здесь мы с вами.
Dialogue: 0,0:06:44.12,0:06:45.42,Default,,0000,0000,0000,,А здесь курица.
Dialogue: 0,0:06:45.44,0:06:47.38,Default,,0000,0000,0000,,(Смех)
Dialogue: 0,0:06:47.40,0:06:48.62,Default,,0000,0000,0000,,Прошу прощения.\NКурица.
Dialogue: 0,0:06:48.64,0:06:49.90,Default,,0000,0000,0000,,(Смех)
Dialogue: 0,0:06:49.92,0:06:53.66,Default,,0000,0000,0000,,Ни к чему делать эту лекцию\Nболее депрессивной, чем надо.
Dialogue: 0,0:06:53.68,0:06:55.28,Default,,0000,0000,0000,,(Смех)
Dialogue: 0,0:06:56.34,0:06:59.82,Default,,0000,0000,0000,,Однако кажется чрезвычайно вероятным,\Nчто интеллект варьируется
Dialogue: 0,0:06:59.84,0:07:02.96,Default,,0000,0000,0000,,в куда бóльших масштабах,\Nчем мы себе сейчас представляем,
Dialogue: 0,0:07:03.88,0:07:07.10,Default,,0000,0000,0000,,и если мы создадим устройства,\Nкоторые будут умнее нас,
Dialogue: 0,0:07:07.12,0:07:09.42,Default,,0000,0000,0000,,они, очень вероятно,\Nбудут осваивать эти масштабы
Dialogue: 0,0:07:09.44,0:07:11.30,Default,,0000,0000,0000,,невообразимыми для нас способами
Dialogue: 0,0:07:11.32,0:07:13.84,Default,,0000,0000,0000,,и превзойдут нас невообразимыми способами.
Dialogue: 0,0:07:15.00,0:07:19.34,Default,,0000,0000,0000,,И важно признавать, что это верно\Nв силу одной только скорости.
Dialogue: 0,0:07:19.36,0:07:24.42,Default,,0000,0000,0000,,Так? Представьте, что мы построили\Nсверхразумный ИИ,
Dialogue: 0,0:07:24.44,0:07:27.90,Default,,0000,0000,0000,,который не умнее\Nсреднестатистической группы учёных
Dialogue: 0,0:07:27.92,0:07:29.92,Default,,0000,0000,0000,,из Стэнфорда или МТИ.
Dialogue: 0,0:07:29.94,0:07:33.22,Default,,0000,0000,0000,,Электронные схемы примерно\Nв миллион раз быстрее
Dialogue: 0,0:07:33.24,0:07:34.50,Default,,0000,0000,0000,,биохимических,
Dialogue: 0,0:07:34.52,0:07:37.66,Default,,0000,0000,0000,,поэтому машина будет думать\Nв миллион раз быстрее,
Dialogue: 0,0:07:37.68,0:07:39.50,Default,,0000,0000,0000,,чем создавший её разум.
Dialogue: 0,0:07:39.52,0:07:41.18,Default,,0000,0000,0000,,Вы запускаете её на неделю,
Dialogue: 0,0:07:41.20,0:07:45.76,Default,,0000,0000,0000,,и она выполняет 20 000-летнюю\Nработу интеллекта человеческого уровня
Dialogue: 0,0:07:46.40,0:07:48.36,Default,,0000,0000,0000,,неделю за неделей.
Dialogue: 0,0:07:49.64,0:07:52.74,Default,,0000,0000,0000,,Как мы только можем понять,\Nне говоря о том, чтобы сдержать,
Dialogue: 0,0:07:52.76,0:07:55.04,Default,,0000,0000,0000,,ум, работающий с подобной скоростью?
Dialogue: 0,0:07:56.84,0:07:58.98,Default,,0000,0000,0000,,Ещё беспокоит, если честно,
Dialogue: 0,0:07:59.00,0:08:03.98,Default,,0000,0000,0000,,вот что: представьте себе\Nнаилучший сценарий.
Dialogue: 0,0:08:04.00,0:08:07.70,Default,,0000,0000,0000,,Представьте, что у нас в распоряжении\Nпроект сверхразумного ИИ,
Dialogue: 0,0:08:07.72,0:08:09.58,Default,,0000,0000,0000,,не угрожающего безопасности.
Dialogue: 0,0:08:09.60,0:08:12.86,Default,,0000,0000,0000,,У нас сразу оказывается\Nидеальная разработка.
Dialogue: 0,0:08:12.88,0:08:15.10,Default,,0000,0000,0000,,Как будто она дана нам свыше
Dialogue: 0,0:08:15.12,0:08:17.14,Default,,0000,0000,0000,,и работает точно так, как задумано.
Dialogue: 0,0:08:17.16,0:08:21.02,Default,,0000,0000,0000,,Это устройство было бы идеально\Nдля снижения трудозатрат.
Dialogue: 0,0:08:21.51,0:08:24.04,Default,,0000,0000,0000,,Оно может придумать машину,\Nкоторая построит машину,
Dialogue: 0,0:08:24.07,0:08:25.98,Default,,0000,0000,0000,,которая сможет делать физическую работу,
Dialogue: 0,0:08:26.01,0:08:27.38,Default,,0000,0000,0000,,питаясь энергией солнца
Dialogue: 0,0:08:27.40,0:08:30.10,Default,,0000,0000,0000,,приблизительно по цене сырья.
Dialogue: 0,0:08:30.12,0:08:33.38,Default,,0000,0000,0000,,Это означает конец\Nизматывающей работы для людей.
Dialogue: 0,0:08:33.40,0:08:36.26,Default,,0000,0000,0000,,Это также означает конец\Nбольшей части умственной работы.
Dialogue: 0,0:08:37.20,0:08:40.26,Default,,0000,0000,0000,,А что такие приматы, как мы,\Nделают в такой ситуации?
Dialogue: 0,0:08:40.28,0:08:44.36,Default,,0000,0000,0000,,Ну, мы сможем играть во фрисби\Nи делать друг другу массаж.
Dialogue: 0,0:08:45.84,0:08:48.70,Default,,0000,0000,0000,,Добавьте немного ЛСД\Nи немного смелых нарядов,
Dialogue: 0,0:08:48.72,0:08:50.90,Default,,0000,0000,0000,,и мир будет похож\Nна фестиваль «Burning Man».
Dialogue: 0,0:08:50.92,0:08:52.56,Default,,0000,0000,0000,,(Смех)
Dialogue: 0,0:08:54.32,0:08:56.32,Default,,0000,0000,0000,,Возможно, звучит неплохо,
Dialogue: 0,0:08:57.28,0:08:59.66,Default,,0000,0000,0000,,но спроси́те себя, что бы случилось
Dialogue: 0,0:08:59.68,0:09:02.42,Default,,0000,0000,0000,,при нынешнем\Nэкономико-политическом устройстве?
Dialogue: 0,0:09:02.44,0:09:04.86,Default,,0000,0000,0000,,Кажется вероятным,\Nчто мы станем свидетелями
Dialogue: 0,0:09:04.88,0:09:09.02,Default,,0000,0000,0000,,такого уровня имущественного неравенства\Nи безработицы,
Dialogue: 0,0:09:09.04,0:09:10.54,Default,,0000,0000,0000,,какого не наблюдали раньше.
Dialogue: 0,0:09:10.56,0:09:13.18,Default,,0000,0000,0000,,В отсутствие желания\Nсразу поставить новые блага
Dialogue: 0,0:09:13.20,0:09:14.68,Default,,0000,0000,0000,,на службу человечеству
Dialogue: 0,0:09:15.64,0:09:19.26,Default,,0000,0000,0000,,несколько магнатов смогут\Nукрашать обложки деловых журналов,
Dialogue: 0,0:09:19.28,0:09:21.72,Default,,0000,0000,0000,,пока остальные будут голодать.
Dialogue: 0,0:09:22.32,0:09:24.44,Default,,0000,0000,0000,,Что бы сделали русские или китайцы,
Dialogue: 0,0:09:24.46,0:09:27.26,Default,,0000,0000,0000,,узнав, что некая компания\Nв Силиконовой долине
Dialogue: 0,0:09:27.28,0:09:30.02,Default,,0000,0000,0000,,на грани внедрения сверхразумного ИИ?
Dialogue: 0,0:09:30.04,0:09:32.90,Default,,0000,0000,0000,,Такое устройство могло бы\Nспровоцировать войну,
Dialogue: 0,0:09:32.92,0:09:35.14,Default,,0000,0000,0000,,наземную или кибер-войну
Dialogue: 0,0:09:35.16,0:09:36.84,Default,,0000,0000,0000,,беспрецедентного размаха.
Dialogue: 0,0:09:37.87,0:09:40.13,Default,,0000,0000,0000,,Это сценарий, в котором\Nпобедитель получает всё.
Dialogue: 0,0:09:40.14,0:09:43.14,Default,,0000,0000,0000,,Полугодовое преимущество\Nв такой конкуренции —
Dialogue: 0,0:09:43.16,0:09:45.94,Default,,0000,0000,0000,,всё равно что преимущество в 500 000 лет
Dialogue: 0,0:09:45.96,0:09:47.46,Default,,0000,0000,0000,,как минимум.
Dialogue: 0,0:09:47.48,0:09:52.22,Default,,0000,0000,0000,,Поэтому представляется,\Nчто даже слухи о такого рода прорыве
Dialogue: 0,0:09:52.24,0:09:54.62,Default,,0000,0000,0000,,могут привести человечество в неистовство.
Dialogue: 0,0:09:54.64,0:09:57.54,Default,,0000,0000,0000,,Одна из самых пугающих вещей,
Dialogue: 0,0:09:57.56,0:10:00.34,Default,,0000,0000,0000,,как мне кажется, на данный момент —
Dialogue: 0,0:10:00.36,0:10:04.52,Default,,0000,0000,0000,,это те слова, которые твердят\Nвсе исследователи ИИ,
Dialogue: 0,0:10:04.54,0:10:06.24,Default,,0000,0000,0000,,когда хотят звучать обнадёживающе.
Dialogue: 0,0:10:07.00,0:10:10.48,Default,,0000,0000,0000,,И чаще всего нас просят\Nне беспокоиться по причине времени.
Dialogue: 0,0:10:10.50,0:10:12.54,Default,,0000,0000,0000,,До этого ещё далеко, если вы не знали.
Dialogue: 0,0:10:12.56,0:10:15.00,Default,,0000,0000,0000,,До этого, вероятно, ещё лет 50 или 100.
Dialogue: 0,0:10:15.72,0:10:16.98,Default,,0000,0000,0000,,Один исследователь сказал:
Dialogue: 0,0:10:17.00,0:10:18.58,Default,,0000,0000,0000,,«Волноваться о безопасности ИИ —
Dialogue: 0,0:10:18.60,0:10:20.90,Default,,0000,0000,0000,,всё равно что волноваться\Nо перенаселении Марса».
Dialogue: 0,0:10:22.12,0:10:23.74,Default,,0000,0000,0000,,В Силиконовой долине это означает:
Dialogue: 0,0:10:23.76,0:10:26.14,Default,,0000,0000,0000,,«не морочь этим свою милую головку».
Dialogue: 0,0:10:26.16,0:10:27.50,Default,,0000,0000,0000,,(Смех)
Dialogue: 0,0:10:27.52,0:10:29.42,Default,,0000,0000,0000,,Кажется, что никто не замечает,
Dialogue: 0,0:10:29.44,0:10:32.06,Default,,0000,0000,0000,,что ссылаться на отдалённость во времени —
Dialogue: 0,0:10:32.08,0:10:34.66,Default,,0000,0000,0000,,нарушение всякой логики.
Dialogue: 0,0:10:34.68,0:10:37.94,Default,,0000,0000,0000,,Если интеллект — лишь результат\Nобработки информации
Dialogue: 0,0:10:37.96,0:10:40.62,Default,,0000,0000,0000,,и мы продолжим совершенствовать технику,
Dialogue: 0,0:10:40.64,0:10:43.52,Default,,0000,0000,0000,,мы создадим некую форму сверхинтеллекта.
Dialogue: 0,0:10:44.32,0:10:47.98,Default,,0000,0000,0000,,И мы не имеем понятия,\Nсколько времени займёт
Dialogue: 0,0:10:48.00,0:10:50.40,Default,,0000,0000,0000,,создание для этого безопасных условий.
Dialogue: 0,0:10:52.20,0:10:53.50,Default,,0000,0000,0000,,Позвольте повторить.
Dialogue: 0,0:10:53.52,0:10:57.34,Default,,0000,0000,0000,,Мы не имеем понятия,\Nсколько времени займёт
Dialogue: 0,0:10:57.36,0:10:59.60,Default,,0000,0000,0000,,создание для этого безопасных условий.
Dialogue: 0,0:11:00.92,0:11:04.38,Default,,0000,0000,0000,,И если вы не заметили,\N50 лет — не те 50 лет, что раньше.
Dialogue: 0,0:11:04.40,0:11:06.86,Default,,0000,0000,0000,,Вот 50 лет по месяцам.
Dialogue: 0,0:11:06.88,0:11:08.72,Default,,0000,0000,0000,,Вот так давно у нас есть iPhone.
Dialogue: 0,0:11:09.44,0:11:12.04,Default,,0000,0000,0000,,Так долго «Симпсонов» показывают по ТВ.
Dialogue: 0,0:11:12.68,0:11:15.06,Default,,0000,0000,0000,,Пятьдесят лет — не так много
Dialogue: 0,0:11:15.08,0:11:18.24,Default,,0000,0000,0000,,для решения одной из важнейших\Nдля нашего вида задач.
Dialogue: 0,0:11:19.64,0:11:23.66,Default,,0000,0000,0000,,Опять же, нам не удаётся выстроить\Nподобающую эмоциональную реакцию
Dialogue: 0,0:11:23.68,0:11:26.38,Default,,0000,0000,0000,,на то, что по всем признакам\Nнам предстоит.
Dialogue: 0,0:11:26.40,0:11:30.38,Default,,0000,0000,0000,,Специалист в области информатики\NСтюарт Рассел провёл хорошую аналогию.
Dialogue: 0,0:11:30.40,0:11:35.30,Default,,0000,0000,0000,,Он предложил представить, что мы получили\Nпослание от внеземной цивилизации,
Dialogue: 0,0:11:35.32,0:11:37.02,Default,,0000,0000,0000,,в котором говорится:
Dialogue: 0,0:11:37.04,0:11:38.58,Default,,0000,0000,0000,,«Земляне,
Dialogue: 0,0:11:38.60,0:11:40.96,Default,,0000,0000,0000,,мы прибудем на вашу планету через 50 лет.
Dialogue: 0,0:11:41.80,0:11:43.38,Default,,0000,0000,0000,,Готовьтесь».
Dialogue: 0,0:11:43.40,0:11:47.66,Default,,0000,0000,0000,,И теперь мы просто считаем месяцы\Nдо посадки их корабля-носителя?
Dialogue: 0,0:11:47.68,0:11:50.68,Default,,0000,0000,0000,,Мы бы немножко больше суетились.
Dialogue: 0,0:11:52.68,0:11:54.66,Default,,0000,0000,0000,,Ещё мы якобы не должны\Nволноваться потому,
Dialogue: 0,0:11:54.68,0:11:57.58,Default,,0000,0000,0000,,что эти машины\Nне могут не разделять наши ценности,
Dialogue: 0,0:11:57.60,0:12:00.22,Default,,0000,0000,0000,,так как будут буквально\Nдополнениями к нам самим.
Dialogue: 0,0:12:00.24,0:12:02.06,Default,,0000,0000,0000,,Они будут присоединены к нашему мозгу,
Dialogue: 0,0:12:02.08,0:12:04.44,Default,,0000,0000,0000,,и мы по сути станем\Nих лимбической системой.
Dialogue: 0,0:12:05.12,0:12:06.54,Default,,0000,0000,0000,,Теперь на миг задумайтесь,
Dialogue: 0,0:12:06.56,0:12:09.74,Default,,0000,0000,0000,,что самый безопасный и единственно\Nблагоразумный путь,
Dialogue: 0,0:12:09.76,0:12:11.10,Default,,0000,0000,0000,,по рекомендациям, —
Dialogue: 0,0:12:11.12,0:12:13.92,Default,,0000,0000,0000,,имплантация этой технологии прямо в мозг.
Dialogue: 0,0:12:14.60,0:12:17.98,Default,,0000,0000,0000,,Это действительно может быть самым\Nбезопасным и благоразумным путём,
Dialogue: 0,0:12:18.00,0:12:21.06,Default,,0000,0000,0000,,но обычно озабоченность\Nбезопасностью технологии
Dialogue: 0,0:12:21.08,0:12:24.74,Default,,0000,0000,0000,,нужно развеивать до того,\Nкак запихивать её себе в голову.
Dialogue: 0,0:12:24.76,0:12:26.78,Default,,0000,0000,0000,,(Смех)
Dialogue: 0,0:12:26.80,0:12:32.14,Default,,0000,0000,0000,,Более глубокая проблема в том, что\Nсоздание сверхразумного ИИ как такового
Dialogue: 0,0:12:32.16,0:12:33.90,Default,,0000,0000,0000,,кажется намного легче,
Dialogue: 0,0:12:33.92,0:12:35.78,Default,,0000,0000,0000,,чем создание сверхразумного ИИ
Dialogue: 0,0:12:35.80,0:12:37.58,Default,,0000,0000,0000,,и всех нейротехнологий,
Dialogue: 0,0:12:37.60,0:12:40.32,Default,,0000,0000,0000,,необходимых для их бесшовной\Nинтеграции с нашим разумом.
Dialogue: 0,0:12:40.80,0:12:43.98,Default,,0000,0000,0000,,Учитывая, что компании и правительства,\Nведущие эту работу,
Dialogue: 0,0:12:44.00,0:12:47.66,Default,,0000,0000,0000,,могут представлять себя участниками\Nгонки против всех остальных
Dialogue: 0,0:12:47.68,0:12:50.94,Default,,0000,0000,0000,,и для них выиграть гонку\Nзначит выиграть весь мир,
Dialogue: 0,0:12:50.96,0:12:53.34,Default,,0000,0000,0000,,учитывая, что вы не уничтожите его\Nчерез секунду,
Dialogue: 0,0:12:53.36,0:12:56.05,Default,,0000,0000,0000,,тогда вероятным кажется,\Nчто самое простое
Dialogue: 0,0:12:56.07,0:12:57.55,Default,,0000,0000,0000,,будет сделано в первую очередь.
Dialogue: 0,0:12:58.56,0:13:01.33,Default,,0000,0000,0000,,К сожалению, у меня нет решения\Nэтой проблемы,
Dialogue: 0,0:13:01.34,0:13:04.06,Default,,0000,0000,0000,,кроме рекомендации, чтобы больше людей\Nзадумывались о ней.
Dialogue: 0,0:13:04.08,0:13:06.46,Default,,0000,0000,0000,,Я думаю, нам нужно что-то вроде\Nпроекта «Манхэттен»
Dialogue: 0,0:13:06.48,0:13:08.50,Default,,0000,0000,0000,,в области искусственного интеллекта.
Dialogue: 0,0:13:08.52,0:13:11.26,Default,,0000,0000,0000,,Не чтобы его создать —\Nя думаю, это неизбежно случится, —
Dialogue: 0,0:13:11.28,0:13:14.62,Default,,0000,0000,0000,,а чтобы понять, как избежать\Nгонки вооружений
Dialogue: 0,0:13:14.64,0:13:18.14,Default,,0000,0000,0000,,и создать его так,\Nчтобы это совпало с нашими интересами.
Dialogue: 0,0:13:18.16,0:13:20.30,Default,,0000,0000,0000,,Когда говоришь о сверхразумном ИИ,
Dialogue: 0,0:13:20.32,0:13:22.58,Default,,0000,0000,0000,,который может менять себя сам,
Dialogue: 0,0:13:22.60,0:13:27.22,Default,,0000,0000,0000,,кажется, что есть только одна попытка\Nдля создания правильных начальных условий,
Dialogue: 0,0:13:27.24,0:13:29.30,Default,,0000,0000,0000,,и даже тогда нам нужно совладать
Dialogue: 0,0:13:29.32,0:13:32.41,Default,,0000,0000,0000,,с экономико-политическими \Nпоследствиями их правильного создания.
Dialogue: 0,0:13:33.76,0:13:35.82,Default,,0000,0000,0000,,Но как только мы признаем,
Dialogue: 0,0:13:35.84,0:13:39.84,Default,,0000,0000,0000,,что источник интеллекта —\Nобработка информации,
Dialogue: 0,0:13:40.72,0:13:45.52,Default,,0000,0000,0000,,что интеллект основан на некой\Nподходящей вычислительной системе,
Dialogue: 0,0:13:46.36,0:13:50.12,Default,,0000,0000,0000,,и признаем, что будем совершенствовать\Nэти системы непрерывно
Dialogue: 0,0:13:51.28,0:13:55.74,Default,,0000,0000,0000,,и что предел сознания, весьма вероятно,\Nнамного дальше,
Dialogue: 0,0:13:55.76,0:13:57.14,Default,,0000,0000,0000,,чем мы сейчас представляем,
Dialogue: 0,0:13:58.12,0:13:59.34,Default,,0000,0000,0000,,тогда мы должны признать,
Dialogue: 0,0:13:59.36,0:14:02.00,Default,,0000,0000,0000,,что мы в процессе создания\Nсвоего рода бога.
Dialogue: 0,0:14:03.40,0:14:04.98,Default,,0000,0000,0000,,Теперь самое время
Dialogue: 0,0:14:05.00,0:14:07.07,Default,,0000,0000,0000,,убедиться, что мы сможем с ним ужиться.
Dialogue: 0,0:14:08.12,0:14:09.66,Default,,0000,0000,0000,,Большое спасибо.
Dialogue: 0,0:14:09.68,0:14:14.77,Default,,0000,0000,0000,,(Аплодисменты)