0:00:00.760,0:00:05.176
Спустя 13 миллиардов 800 миллионов лет [br]с начала истории космоса

0:00:05.200,0:00:07.296
наша вселенная проснулась

0:00:07.320,0:00:08.840
и осознала себя.

0:00:09.480,0:00:11.416
С маленькой голубой планеты

0:00:11.440,0:00:15.576
крошечные сознательные частички вселенной[br]начали пристально всматриваться в космос

0:00:15.590,0:00:18.860
через телескопы и увидели нечто,[br]по сравнению с чем, они совсем малы.

0:00:19.320,0:00:22.216
Мы увидели, что наш мир неизмеримо больше,

0:00:22.240,0:00:23.576
чем воображали наши предки,

0:00:23.600,0:00:27.856
и что жизнь кажется невообразимо[br]маленьким колебанием

0:00:27.880,0:00:29.600
во всей остальной мёртвой вселенной.

0:00:30.320,0:00:33.336
Но мы также открыли нечто вдохновляющее,

0:00:33.360,0:00:36.336
то, что развиваемые нами технологии[br]имеют потенциал,

0:00:36.360,0:00:39.216
чтобы помочь жизни расцвести,[br]как никогда раньше,

0:00:39.240,0:00:42.336
не только в течение столетий,[br]но и миллиардов лет,

0:00:42.360,0:00:46.480
не только на земле, но и на большей части [br]удивительного космического пространства.

0:00:47.680,0:00:51.016
Я думаю о самой ранней форме жизни, [br]как о «Жизни 1.0»,

0:00:51.040,0:00:52.416
так как она была безмозглой,

0:00:52.440,0:00:56.736
как бактерия, которая не в состоянии[br]ничему научиться за всю свою жизнь.

0:00:56.760,0:01:00.136
Я думаю о нас, о людях, как о «Жизни 2.0»,[br]потому что мы умеем учиться,

0:01:00.160,0:01:01.656
говоря скучным языком зануд,

0:01:01.680,0:01:04.896
назовём установкой нового ПО в наш мозг,

0:01:04.920,0:01:07.040
например, языков[br]и профессиональных навыков.

0:01:07.680,0:01:11.976
«Жизнь 3.0», которая сможет создавать[br]не только программы, но и «железо»,

0:01:12.000,0:01:13.656
конечно же, ещё не существует.

0:01:13.680,0:01:17.456
Но, возможно, наши технологии[br]создали для нас «Жизнь 2.1»

0:01:17.480,0:01:21.816
с искусственными коленными суставами,[br]стимуляторами и кохлеарными имплантами.

0:01:21.840,0:01:25.720
Но давайте рассмотрим[br]наши взаимоотношения с технологиями.

0:01:26.800,0:01:28.016
К примеру,

0:01:28.040,0:01:33.336
лунная миссия Аполлон 11[br]была и успешной, и вдохновляющей,

0:01:33.360,0:01:36.376
она показала, что когда мы, люди,[br]разумно используем технологии,

0:01:36.400,0:01:40.336
то можем достичь таких результатов,[br]о которых наши предки могли лишь мечтать.

0:01:40.360,0:01:43.336
Но существует даже более [br]вдохновляющее путешествие,

0:01:43.360,0:01:46.040
движимое чем-то более мощным,[br]чем ракетные двигатели,

0:01:47.200,0:01:49.536
где пассажирами являются[br]не просто три астронавта,

0:01:49.560,0:01:51.336
а всё человечество.

0:01:51.360,0:01:54.296
Давайте поговорим о нашем[br]совместном пути в будущее,

0:01:54.320,0:01:56.320
будущее с искусственным интеллектом.

0:01:56.960,0:02:01.496
Мой друг Яан Таллинн любит отмечать, [br]что, как и с ракетной индустрией,—

0:02:01.520,0:02:04.680
этого недостаточно, чтобы сделать[br]наши технологии мощными.

0:02:05.560,0:02:08.755
Мы также должны понять, если хотим[br]ставить перед собой высокие цели,

0:02:08.769,0:02:10.175
как ими управлять,

0:02:10.199,0:02:11.880
и куда мы хотим с ними пойти.

0:02:12.880,0:02:15.720
Итак, давайте мы обсудим [br]все три пункта, касающиеся ИИ:

0:02:16.440,0:02:19.496
мощность, управление и назначение.

0:02:19.520,0:02:20.806
Начнём с мощности:

0:02:21.600,0:02:24.696
я даю обобщённое определение интеллекта —

0:02:24.720,0:02:29.056
как нашей способности[br]достигать сложных целей,

0:02:29.080,0:02:32.896
потому что я хочу объединить[br]биологический и искусственный интеллект.

0:02:32.920,0:02:36.936
Я не хочу фанатично следовать[br]глупой углеродо-центричной идее,

0:02:36.960,0:02:39.320
что умным бывает, только то,[br]что состоит из мяса.

0:02:40.880,0:02:45.056
Поразительно, как сегодня выросла[br]мощь искусственного интеллекта.

0:02:45.080,0:02:46.336
Только вдумайтесь.

0:02:46.360,0:02:49.560
Не так давно роботы не умели ходить.

0:02:51.040,0:02:52.760
Теперь они делают сальто назад.

0:02:54.080,0:02:55.896
Не так давно у нас не было

0:02:55.920,0:02:57.680
беспилотных автомобилей.

0:02:58.920,0:03:01.400
Теперь у нас есть беспилотные ракеты.

0:03:03.960,0:03:05.376
Не так давно

0:03:05.400,0:03:08.016
ИИ не мог распознавать лица.

0:03:08.040,0:03:11.016
Теперь ИИ может генерировать[br]несуществующие лица

0:03:11.040,0:03:15.200
и имитировать ваше лицо,[br]вкладывая вам в уста чужие слова.

0:03:16.400,0:03:17.976
Не так давно

0:03:18.000,0:03:19.880
ИИ не мог обыграть нас в игре в го.

0:03:20.400,0:03:25.496
Затем ИИ Alpha Zero от Google Deep Mind[br]взял 3000-летний опыт людей игры в го

0:03:25.520,0:03:26.776
и всю мудрость этой игры,

0:03:26.800,0:03:31.776
всем этим пренебрёг и стал лидером,[br]играя лишь против себя.

0:03:31.800,0:03:35.496
И самым впечатляющим был не тот факт,[br]что он нанёс поражение игрокам,

0:03:35.520,0:03:38.096
но то, что он сокрушил самих учёных,[br]занимающихся ИИ,

0:03:38.120,0:03:41.800
тех, кто положил на это десятилетия,[br]создавая вручную программное обеспечение.

0:03:42.200,0:03:46.856
И Alpha Zero победил исследователей ИИ[br]не только в го, но даже и в шахматах,

0:03:46.880,0:03:49.360
над которыми мы работали,[br]начиная с 1950 года.

0:03:50.000,0:03:54.240
И поэтому этот недавний прогресс в ИИ[br]заставляет нас поднять вопрос:

0:03:55.280,0:03:56.840
куда всё это ведёт?

0:03:57.800,0:03:59.496
Я люблю думать над этим вопросом,

0:03:59.520,0:04:02.496
исходя из этого абстрактного[br]ландшафта задач,

0:04:02.520,0:04:05.976
где подъём означает то, насколько трудно [br]для ИИ выполнять каждую задачу

0:04:06.000,0:04:07.216
так, как делает человек,

0:04:07.240,0:04:10.180
а уровень моря показывает то,[br]что ИИ может делать уже сегодня.

0:04:11.120,0:04:13.176
С развитием ИИ повышается уровень моря;

0:04:13.200,0:04:16.710
в этом ландшафте задач происходит[br]что-то наподобие глобального потепления.

0:04:18.040,0:04:21.375
Очевидный вывод —[br]избегать занятий на береговой линии,

0:04:21.399,0:04:22.656
(Смех)

0:04:22.680,0:04:25.536
которая очень скоро будет[br]автоматизирована и разрушена.

0:04:25.560,0:04:28.536
Но здесь возникает более важный вопрос.

0:04:28.560,0:04:30.370
Насколько высоко поднимется вода?

0:04:31.440,0:04:34.640
Повысится ли её уровень в итоге[br]до всеобщего затопления,

0:04:35.840,0:04:38.336
соперничая с интеллектом человека[br]во всех заданиях?

0:04:38.360,0:04:42.096
Это — определение [br]сильного искусственного интеллекта —

0:04:42.120,0:04:43.416
СИИ,

0:04:43.440,0:04:46.520
который с самого начала[br]был святым Граалем исследований по ИИ.

0:04:47.000,0:04:48.776
Исходя из этого, те, кто говорит:

0:04:48.800,0:04:52.216
«Да, всегда будет работа, которую люди[br]смогут делать лучше машин», —

0:04:52.240,0:04:55.160
попросту говорят о том,[br]что у нас никогда не будет СИИ.

0:04:55.680,0:04:59.256
Конечно, возможно, мы всё ещё выбираем[br]для себя работу, выполняемую людьми,

0:04:59.280,0:05:02.376
или даём людям цель и доход,[br]в наших человеческих профессиях;

0:05:02.400,0:05:06.136
но СИИ, в любом случае превратит[br]нашу жизнь, какой мы знаем, в ту жизнь,

0:05:06.160,0:05:08.896
в которой люди больше не будут[br]самыми умными существами.

0:05:08.920,0:05:12.616
Итак, если уровень воды [br]действительно достигает СИИ,

0:05:12.640,0:05:17.936
затем дальнейший прогресс ИИ[br]будет движим не людьми, а самим ИИ,

0:05:17.960,0:05:19.816
это значит, что есть возможность того,

0:05:19.840,0:05:22.176
что дальнейший прогресс ИИ[br]будет более быстрым,

0:05:22.200,0:05:25.576
чем типовые исследования учёных[br]и временны́е рассчёты развития,

0:05:25.600,0:05:29.616
что увеличит неоднозначную возможность[br]интеллектуального взрыва,

0:05:29.640,0:05:31.936
где рекуррентно самоулучшающийся ИИ

0:05:31.960,0:05:35.376
быстро обгоняет человеческий интеллект,

0:05:35.400,0:05:37.840
создавая так называемый суперинтеллект.

0:05:39.800,0:05:42.080
Хорошо, давайте реально оценим ситуацию.[br]

0:05:43.120,0:05:45.560
Достигнем ли мы уровня СИИ[br]в ближайшее время?

0:05:46.360,0:05:49.056
Некоторые известные учёные,[br]такие как Родни Брукс,

0:05:49.080,0:05:51.576
считают, что в ближайшие столетия[br]этого не будет.[br]

0:05:51.600,0:05:55.496
Но другие, такие как Демис Хассабис,[br]основатель Google Deep Mind,

0:05:55.520,0:05:56.776
более оптимистичны:

0:05:56.800,0:05:59.376
они делают всё,[br]чтобы это произошло быстрее.

0:05:59.400,0:06:02.696
Недавние опросы показали,[br]что большинство исследователей ИИ

0:06:02.720,0:06:05.576
на самом деле разделяют оптимизм Демиса,

0:06:05.600,0:06:08.680
ожидая того, что мы достигнем уровня СИИ[br]в ближайшие десятилетия,

0:06:09.640,0:06:11.896
то есть многие из нас это застанут.

0:06:11.920,0:06:13.880
Возникает вопрос: а что потом?

0:06:15.040,0:06:17.256
Какой мы хотим видеть роль людей,

0:06:17.280,0:06:19.960
если машины смогут делать всё лучше [br]и дешевле, чем мы?

0:06:23.000,0:06:25.000
Я вижу это так: мы стоим перед выбором.

0:06:26.000,0:06:27.576
Одно из решений — самодовольство.

0:06:27.600,0:06:31.376
Мы можем говорить: «Да, давайте[br]создавать машины, делающие всё за нас,

0:06:31.400,0:06:33.216
и не беспокоиться о последствиях.

0:06:33.240,0:06:36.496
Да что вы, если создать технологии,[br]которые делают людей ненужными,

0:06:36.520,0:06:38.616
что может пойти не так?»

0:06:38.640,0:06:40.296
(Смех)

0:06:40.320,0:06:43.080
Но я думаю, что это было бы[br]чрезвычайно неубедительно.

0:06:44.080,0:06:47.576
Я думаю, что мы должны быть [br]более амбициозными, в духе TED.

0:06:47.600,0:06:51.096
Давайте представим вдохновляющее[br]высокотехнологичное будущее

0:06:51.120,0:06:52.520
и будем двигаться туда.

0:06:53.720,0:06:57.256
Это приведёт нас ко второй части[br]нашей ракетной метафоры: управление.

0:06:57.280,0:06:59.176
Мы делаем ИИ более мощным,

0:06:59.200,0:07:03.016
но как мы сможем двигаться к будущему,

0:07:03.040,0:07:06.120
где ИИ помогает человечеству процветать,[br]а не мешает развитию?

0:07:06.760,0:07:08.016
Чтобы помочь этому,[br]

0:07:08.040,0:07:10.016
мы основали институт Будущего Жизни.

0:07:10.040,0:07:12.816
Он небольшой, некоммерческий,[br]поощряет полезные технологии.

0:07:12.840,0:07:15.576
Наша цель проста — [br]чтобы будущая жизнь существовала

0:07:15.600,0:07:17.656
и была как можно более вдохновляющей.

0:07:17.680,0:07:20.856
Вы знаете, я люблю технологии.

0:07:20.880,0:07:23.800
Из-за них мы живём лучше,[br]чем в каменном веке.

0:07:24.600,0:07:29.360
Я — оптимист потому, что мы можем творить[br]вдохновляюще высокотехнологичное будущее,

0:07:29.680,0:07:31.136
если — и это большое если —

0:07:31.160,0:07:33.616
если мы выиграем гонку мудрости —

0:07:33.640,0:07:36.496
гонку между растущей мощью[br]наших технологий

0:07:36.520,0:07:38.720
и мудростью, помогающей нам ими управлять.

0:07:39.240,0:07:41.536
Но это требует изменения стратегии,

0:07:41.560,0:07:44.600
потому что по старой стратегии[br]мы учились на своих ошибках.

0:07:45.280,0:07:46.816
Мы изобрели огонь,

0:07:46.840,0:07:48.376
много раз ошибались,

0:07:48.400,0:07:50.216
изобрели огнетушитель.

0:07:50.240,0:07:51.576
(Смех)

0:07:51.600,0:07:54.016
Мы изобрели автомобиль,[br]напортачили много раз —

0:07:54.040,0:07:56.707
изобрели светофор,[br]ремни и подушку безопасности.

0:07:56.731,0:08:00.576
Но с более мощными технологиями,[br]такими как ядерное оружие и СИИ,

0:08:00.600,0:08:03.976
учиться на ошибках —[br]это проигрышная стратегия,

0:08:04.000,0:08:05.216
как вы думаете?

0:08:05.240,0:08:06.256
(Смех)

0:08:06.280,0:08:08.856
Гораздо лучше упреждать,[br]чем исправлять последствия:

0:08:08.880,0:08:11.176
планировать заранее, не допуская ошибок,

0:08:11.200,0:08:13.696
посколько другого раза может и не быть.

0:08:13.720,0:08:16.056
Но это забавно, потому что [br]иногда мне говорят:

0:08:16.080,0:08:18.816
«Макс, тсс..., не говори так.

0:08:18.840,0:08:20.560
Это запугивание в духе луддитов».

0:08:22.040,0:08:23.576
Но это не запугивание.

0:08:23.600,0:08:26.480
Это то, что мы в МТИ называем[br]инженерной безопасностью.

0:08:27.200,0:08:28.416
Подумайте об этом:

0:08:28.440,0:08:30.656
до того, как НАСА [br]запустили проект Аполлон 11,

0:08:30.680,0:08:33.816
они постоянно продумывали варианты,[br]когда что-то пойдёт не так,

0:08:33.840,0:08:36.216
прежде чем посадить людей на топливный бак

0:08:36.240,0:08:38.856
и запустить их куда-то,[br]где никто не может им помочь.

0:08:38.880,0:08:40.816
Было много всего,[br]что могло пойти не так.

0:08:40.840,0:08:42.320
Было ли это запугиванием?

0:08:43.159,0:08:44.376
Нет.

0:08:44.400,0:08:46.416
Именно это было инженерной безопасностью,

0:08:46.440,0:08:48.376
которая обеспечила успех миссии,

0:08:48.400,0:08:52.576
именно такой стратегия с СИИ[br]мы должны придерживаться.

0:08:52.600,0:08:56.656
Подумайте, что может пойти не так,[br]чтобы быть уверенными, что всё получится.

0:08:56.680,0:08:59.216
В этом духе мы и организовали конференции,

0:08:59.240,0:09:02.056
объединив ведущих исследователей ИИ[br]и других мыслителей,

0:09:02.080,0:09:05.816
чтобы обсудить то, как взрастить мудрость,[br]и сделать ИИ полезным для нас.

0:09:05.840,0:09:09.136
На нашей последней конференции,[br]состоявшейся в Асиломаре, Калифорния,

0:09:09.160,0:09:12.216
в прошлом году был выработан[br]список из 23-х принципов,

0:09:12.240,0:09:15.136
подписанный более 1 000 учёными,[br]исследователями ИИ

0:09:15.160,0:09:16.506
и лидерами ведущих отраслей;

0:09:16.526,0:09:19.656
и я хочу рассказать вам [br]о трёх из этих принципов.

0:09:19.680,0:09:24.640
Первый: избегать гонки вооружений [br]и автономных систем летального вооружения.

0:09:25.480,0:09:29.096
Смысл здесь в том, что любую науку[br]можно использовать для помощи людям

0:09:29.120,0:09:30.656
или для нанесения им вреда.

0:09:30.680,0:09:34.616
Например, биологию и химию,[br]скорее всего, будут использовать

0:09:34.640,0:09:39.496
для создания новых лекарств и методов[br]лечения, а не новых способов убийства,

0:09:39.520,0:09:41.696
потому что биологи и химики изо всех сил —

0:09:41.720,0:09:42.976
и успешно — проталкивают

0:09:43.000,0:09:45.176
запрет биологического[br]и химического оружия.

0:09:45.200,0:09:46.456
Точно так же

0:09:46.480,0:09:50.920
многие учёные хотят заклеймить и запретить[br]автономные летальные комплексы.

0:09:51.600,0:09:53.416
Второй Асиломарский принцип по ИИ —

0:09:53.440,0:09:57.136
это то, что мы должны уменьшить[br]неравенство в доходах, усиленное ИИ.

0:09:57.160,0:10:01.616
Думаю, что если возможно при посредстве ИИ[br]значительно увеличить экономический пирог,

0:10:01.640,0:10:04.096
и мы всё ещё не знаем,[br]как разделить этот пирог,

0:10:04.120,0:10:05.696
чтобы каждый из нас жил достойно,

0:10:05.720,0:10:06.976
то нам должно быть стыдно.

0:10:07.000,0:10:11.096
(Аплодисменты)

0:10:11.120,0:10:14.720
Хорошо, поднимите руки,[br]если у вас был сбой в работе компьютера.

0:10:15.480,0:10:16.736
(Смех)

0:10:16.760,0:10:18.416
О, лес рук.

0:10:18.440,0:10:20.616
Да, тогда вы оцените этот принцип,

0:10:20.640,0:10:23.776
и то, что мы должны вкладывать[br]больше средств в безопасность ИИ,

0:10:23.800,0:10:27.456
так как мы делаем ИИ более ответственным[br]за решения и инфраструктуру.

0:10:27.480,0:10:31.096
Нам нужно определить, как переделать[br]современный ненадёжный компьютер

0:10:31.120,0:10:33.536
в сильные системы ИИ,[br]которым мы можем доверять,

0:10:33.560,0:10:34.776
в противном случае,

0:10:34.800,0:10:37.616
вся эта потрясающая техника[br]не сработает и навредит нам,

0:10:37.640,0:10:39.616
или её взломают и направят против нас.

0:10:39.640,0:10:45.336
И эта работа по безопасности ИИ[br]должна включать и выравнивание ценностей,

0:10:45.360,0:10:48.176
потому что реальная угроза от ИИ —[br]это не зло, как показано

0:10:48.200,0:10:49.856
в глупых голливудских фильмах,

0:10:49.880,0:10:51.616
а способности —

0:10:51.640,0:10:55.056
СИИ достигает целей,[br]которые никак не согласуются с нашими.

0:10:55.080,0:10:59.816
Когда в результате нашей деятельности[br]исчезли чёрные африканские носороги,

0:10:59.840,0:11:03.736
мы делали это не потому, что[br]ненавидели носорогов, не так ли?

0:11:03.760,0:11:05.816
Мы это делали, поскольку были умнее их

0:11:05.840,0:11:08.416
и наши цели не соответствовали их целям.

0:11:08.440,0:11:11.096
Но СИИ по определению умнее нас,

0:11:11.120,0:11:14.696
и чтобы наверняка не поставить себя[br]в положение носорогов,

0:11:14.720,0:11:16.696
если мы создадим СИИ,

0:11:16.720,0:11:20.896
нам нужно определить, как заставить[br]машины понимать наши цели,

0:11:20.920,0:11:24.080
принимать наши цели и придерживаться их.

0:11:25.320,0:11:28.176
И в любом случае, чьими целями [br]они должны быть?

0:11:28.200,0:11:30.096
Какими целями они должны быть?

0:11:30.120,0:11:33.680
Это приводит нас к третьей части [br]нашего сравнения с ракетой: назначение.

0:11:35.160,0:11:37.016
Мы делаем ИИ более мощным,

0:11:37.040,0:11:38.856
пытаясь понять, как им управлять,

0:11:38.880,0:11:40.560
но куда мы с ним направимся?

0:11:41.760,0:11:45.416
Это слон в комнате,[br]о котором почти никто не говорит —

0:11:45.440,0:11:47.296
даже здесь, на конференции TED —

0:11:47.320,0:11:51.400
потому что мы так одержимы[br]краткосрочными проблемами с ИИ.

0:11:52.080,0:11:56.736
Смотрите, человечество[br]пытается построить СИИ,

0:11:56.760,0:12:00.256
оно мотивировано любопытством [br]и экономическими причинами,

0:12:00.280,0:12:03.960
но какое общество будущего[br]мы надеемся увидеть, если это произойдёт?

0:12:04.680,0:12:06.616
Недавно мы сделали опрос на эту тему,

0:12:06.640,0:12:07.856
и я был поражён тем,

0:12:07.880,0:12:10.776
что большинство людей[br]хотят построить суперразум:

0:12:10.800,0:12:13.960
ИИ — это то, что безусловно умнее нас[br]во всех отношениях.

0:12:15.120,0:12:18.536
Большинство было согласно с тем,[br]что мы должны быть целеустремлёнными

0:12:18.560,0:12:20.576
и помочь жизни распространиться в космос,

0:12:20.600,0:12:25.096
но было намного меньше согласия[br]в том, кто должен отвечать за это.

0:12:25.120,0:12:26.856
И я был даже изумлён,

0:12:26.880,0:12:30.336
когда понял, что есть те, кто желает,[br]чтобы это были просто машины.

0:12:30.360,0:12:32.056
(Смех)

0:12:32.080,0:12:35.936
И было полное несогласие[br]насчёт роли людей в этом процессе,

0:12:35.960,0:12:37.936
даже на самом элементарном уровне.

0:12:37.960,0:12:40.776
Итак, давайте рассмотрим[br]возможные варианты будущего,

0:12:40.800,0:12:43.536
которые, может быть, мы выберем,[br]чтобы идти к ним, хорошо?

0:12:43.560,0:12:44.896
Поймите меня правильно.

0:12:44.920,0:12:46.976
Я не говорю о космическом путешествии,

0:12:47.000,0:12:50.200
не просто о метафорическом[br]путешествии человечества в будущее.

0:12:50.920,0:12:54.416
И один из вариантов, который[br]нравится моим коллегам по ИИ —

0:12:54.440,0:12:58.056
это построить суперинтеллект[br]и держать его под контролем человека,

0:12:58.080,0:12:59.816
как порабощённого бога,

0:12:59.840,0:13:01.416
оторванного от интернета

0:13:01.440,0:13:04.766
и используемого для создания[br]невообразимых технологий и благосостояния,

0:13:04.786,0:13:06.270
для всех, кто его контролирует.

0:13:06.800,0:13:08.256
Но лорд Актон предупредил нас

0:13:08.280,0:13:11.896
о том, что власть развращает,[br]а абсолютная власть развращает абсолютно;

0:13:11.920,0:13:15.976
поэтому вы, наверное, беспокоитесь[br]о том, что люди недостаточно умны

0:13:16.000,0:13:17.536
или даже недостаточно мудры,

0:13:17.560,0:13:18.930
чтобы управлять этой силой.

0:13:19.640,0:13:22.206
Ещё, кроме моральных сомнений,[br]которые у вас могут быть

0:13:22.206,0:13:24.656
по поводу порабощения[br]превосходящего нас интеллекта,

0:13:24.676,0:13:28.496
вас может беспокоить, что, возможно,[br]суперинтеллект переиграет нас,

0:13:28.520,0:13:30.760
уйдёт из-под контроля[br]и одержит над нами верх.

0:13:31.560,0:13:34.976
Но у меня есть коллеги, которые[br]нормально относятся к победе ИИ,

0:13:35.000,0:13:37.296
даже если это приведёт[br]к исчезновению людей,

0:13:37.320,0:13:40.896
до тех пор пока мы чувствуем,[br]что ИИ — наследники, достойные нас,

0:13:40.920,0:13:42.656
как наши дети.

0:13:42.680,0:13:48.296
Но как мы узнаем, что ИИ[br]принял наши главные ценности,

0:13:48.320,0:13:52.696
и они не бессознательные зомби, которые[br]только хотят казаться нам антропоморфными?

0:13:52.720,0:13:55.576
Должны ли те люди, которые не хотят[br]уничтожения человечества,

0:13:55.600,0:13:57.040
также иметь право голоса?

0:13:58.200,0:14:01.576
Итак, если вам не нравится ни один[br]из высокотехнологичных вариантов,

0:14:01.600,0:14:04.776
важно помнить, что устаревшие технологии —[br]это самоубийство

0:14:04.800,0:14:06.056
с глобальной точки зрения,

0:14:06.080,0:14:08.576
так как, если мы не опережаем[br]современные технологии,

0:14:08.600,0:14:11.416
вопрос не в том, исчезнет ли человечество,

0:14:11.440,0:14:13.456
будем ли мы просто уничтожены

0:14:13.480,0:14:15.616
очередным убийцей-астероидом, [br]супервулканом

0:14:15.640,0:14:18.736
или другой проблемой, которая[br]решалась бы с помощью технологий.

0:14:18.760,0:14:22.336
Итак, как насчёт того,[br]чтобы получить всё и сразу

0:14:22.360,0:14:24.200
с помощью СИИ, который не порабощён,

0:14:25.120,0:14:28.296
но хорошо ведёт себя с нами,[br]так как разделяет наши ценности?

0:14:28.320,0:14:32.496
В этом смысл того, что Элиезер Юдковский[br]назвал «дружественным ИИ»,

0:14:32.520,0:14:35.200
и если мы можем это сделать,[br]было бы замечательно.

0:14:35.840,0:14:40.656
Он мог бы не только устранить такие[br]явления, как болезни и бедность,

0:14:40.680,0:14:42.136
преступления и страдания,

0:14:42.160,0:14:44.976
но и дал бы нам свободу выбора,

0:14:45.000,0:14:49.056
исходя из нового фантастического[br]разнообразия положительного опыта —

0:14:49.080,0:14:52.240
по существу, делая нас[br]хозяевами своей судьбы.

0:14:54.280,0:14:55.656
Подводя итоги, хочу сказать,

0:14:55.680,0:14:58.776
что у нас сложная ситуация с технологиями,

0:14:58.800,0:15:01.216
но общая картина достаточно проста.

0:15:01.240,0:15:04.696
Большинство учёных ожидают создания СИИ[br]в ближайшие десятилетия,

0:15:04.720,0:15:07.856
и если к его появлению[br]мы не будем подготовленными,

0:15:07.880,0:15:11.216
это будет величайшей ошибкой[br]в истории человечества —

0:15:11.240,0:15:12.656
давайте это признаем.

0:15:12.680,0:15:15.296
Это может сделать возможным[br]жёсткую глобальную диктатуру

0:15:15.296,0:15:18.590
с беспрецедентным неравенством,[br]слежкой и страданиями,

0:15:18.590,0:15:20.816
и, возможно, даже[br]с исчезновением человечества.

0:15:20.840,0:15:23.160
Но если мы будем разумно[br]следовать нашему курсу,

0:15:24.040,0:15:27.936
мы окажемся в фантастическом будущем,[br]где каждому будет хорошо:

0:15:27.960,0:15:30.336
бедные будут богаче, богатые будут богаче,

0:15:30.360,0:15:34.320
каждый будет здоровым[br]и будет жить так, как мечтает.

0:15:35.000,0:15:36.536
А теперь послушайте.

0:15:36.560,0:15:41.136
Ребята, хотите ли вы политически правого [br]или левого будущего?

0:15:41.160,0:15:44.016
Жить в ханжеском обществе[br]со строгими моральными правилами

0:15:44.040,0:15:45.856
или в обществе «свободы для всех»,

0:15:45.880,0:15:48.096
как на фестивале Burning Man[br]в режиме 24/7?

0:15:48.120,0:15:50.666
Хотите ли прекрасные пляжи, леса и озёра,

0:15:50.666,0:15:53.917
или предпочли бы с помощью компьютера[br]переместить кое-какие атомы,

0:15:53.937,0:15:55.707
сделав виртуальное реальным.

0:15:55.739,0:15:58.896
С дружественным ИИ мы можем[br]просто построить эти общества

0:15:58.920,0:16:02.136
и дать людям свободу выбора[br]того общества, где они хотят жить,

0:16:02.160,0:16:05.256
потому что мы больше не будем [br]ограничены своим интеллектом,

0:16:05.280,0:16:06.736
а только законами физики.

0:16:06.760,0:16:11.376
Поэтому ресурсы и пространство для этого[br]будут астрономическими —

0:16:11.400,0:16:12.720
в буквальном смысле слова.

0:16:13.320,0:16:14.520
Вот какой у нас выбор.

0:16:15.880,0:16:18.200
Мы либо можем быть [br]довольными своим будущим,

0:16:19.440,0:16:22.096
принимая на веру то,

0:16:22.120,0:16:26.136
что любая новая технология[br]наверняка будет полезной,

0:16:26.160,0:16:30.296
и повторять это снова и снова, как мантру,

0:16:30.320,0:16:34.000
как будто мы плывём на корабле без руля[br]к своему исчезновению.

0:16:34.920,0:16:36.800
Либо мы можем быть целеустремлёнными,

0:16:37.840,0:16:40.296
продумывая то, как управлять[br]нашими технологиями

0:16:40.320,0:16:42.326
и в каком направлении с ними двигаться,

0:16:42.356,0:16:44.040
чтобы создать изумительную эпоху.

0:16:45.000,0:16:47.856
Мы здесь для того, чтобы[br]прославлять изумительную эпоху,

0:16:47.880,0:16:52.320
и я чувствую, что его суть должна[br]заключаться не в том,

0:16:52.340,0:16:55.856
чтобы уступить технологиям,[br]а чтобы с их помощью стать сильнее.

0:16:55.880,0:16:57.256
Спасибо.

0:16:57.280,0:17:00.360
(Аплодисменты)