0:00:00.570,0:00:04.777
저는 많은 수학자, 철학자[br]컴퓨터 과학자와 같이 일하는데

0:00:04.777,0:00:09.986
우리는 여러 가지 가운데서도[br]기계 학습의 미래에 대해

0:00:09.986,0:00:12.030
둘러 앉아 생각합니다.

0:00:12.030,0:00:16.755
혹자는 이것들을 공상 과학스럽다거나

0:00:16.755,0:00:19.856
너무 먼 이야기라거나[br]말도 안된다고 생각합니다.

0:00:19.856,0:00:21.326
하지만 제가 말씀드리고 싶은 것은

0:00:21.326,0:00:24.930
좋아요. 현대 인류의 상태를 보죠.

0:00:24.930,0:00:26.622
(웃음)

0:00:26.622,0:00:29.024
이게 평범한 모습이죠.

0:00:29.024,0:00:31.309
하지만 생각해보면

0:00:31.309,0:00:34.602
사실, 우리는 이 행성에[br]가장 최근에 도착한 손님입니다.

0:00:34.602,0:00:36.684
인류 말입니다.

0:00:36.684,0:00:41.430
지구가 1년 전에 생겨났다고[br]생각해보십시오.

0:00:41.430,0:00:44.978
그럼 인류는 생겨난지 10분 된겁니다.

0:00:44.978,0:00:48.146
산업화 시대는 [br]2초 전에 시작되었습니다.

0:00:49.276,0:00:54.501
다른 방법으로는, 지난 만년 간의[br]전세계 GDP를 보는 것인데

0:00:54.501,0:00:57.530
실은 제가 여러분을 위해[br]그래프로 그리는 수고를 했습니다.

0:00:57.530,0:00:59.304
이렇게 생겼습니다.

0:00:59.304,0:01:00.667
(웃음)

0:01:00.667,0:01:02.818
정상적인 상태치고는[br]기묘한 모양새죠.

0:01:02.818,0:01:04.516
저기에 앉으면 안될 것 같군요.

0:01:04.516,0:01:07.067
(웃음)

0:01:07.067,0:01:11.841
자문해보죠. 현재의 이 변칙의[br]원인은 무엇입니까?

0:01:11.841,0:01:14.393
혹자는 기술이라고 할 것입니다.

0:01:14.393,0:01:19.061
맞습니다. 기술은 [br]인류의 역사에 걸쳐 축적되어왔고

0:01:19.061,0:01:23.713
지금은 기술이 극도로 빠르게[br]발전하고 있습니다.

0:01:23.713,0:01:25.278
그것이 가장 가까운 원인이고

0:01:25.278,0:01:27.843
우리가 현재 아주 생산적인[br]이유이기도 합니다.

0:01:28.473,0:01:32.134
하지만 더 멀리 돌이켜[br]근본적 원인을 생각해보고자 합니다.

0:01:33.114,0:01:36.880
아주 유명한 두 신사를 한번 보시죠.

0:01:36.880,0:01:38.480
침팬지 칸지는

0:01:38.480,0:01:43.123
200개의 어휘 토큰을 숙달하는[br]놀라운 위업을 이뤘고

0:01:43.123,0:01:46.817
그리고 에드 위튼은[br]제 2차 초끈이론을 촉발시켰습니다.

0:01:46.817,0:01:49.141
덮개 안쪽을 보면[br]이런 걸 보게 됩니다.

0:01:49.141,0:01:50.711
기본적으로는 똑같습니다.

0:01:50.711,0:01:52.524
한 쪽이 좀 더 크고

0:01:52.524,0:01:55.282
아마도 와이어링의 정확한 방법에[br]몇가지 요령이 있었나 봅니다.

0:01:55.282,0:01:59.094
하지만 이 보이지 않는 차이점들은[br]그리 복잡하지 않습니다.

0:01:59.094,0:02:03.379
우리의 마지막 공통 [br]조상으로부터 단 25만 세대밖에

0:02:03.379,0:02:05.111
지나지 않았기 때문입니다.

0:02:05.111,0:02:08.960
복잡한 메커니즘은[br]진화하는데 오랜 시간이 걸리구요.

0:02:10.000,0:02:12.499
따라서, 비교적 중요하지않은[br]여러 변화들이

0:02:12.499,0:02:15.566
우리를 칸지에서 위튼으로,

0:02:15.566,0:02:20.109
부러진 나뭇가지에서[br]대륙간 탄도 미사일로 데려온 겁니다.

0:02:20.839,0:02:24.774
그럼 이제, 우리가 [br]이룩해온 거의 모든 것,

0:02:24.774,0:02:26.152
우리가 관심있는 모든 것들은

0:02:26.152,0:02:31.380
사람의 마음을 바꾸도록 만든[br]조금의 변화에 달려 있었습니다.

0:02:32.650,0:02:36.312
물론, 그 결과는 [br]추가적인 변화를 이끌어내고

0:02:36.312,0:02:39.789
그 것은 생각의 기질의 상당한[br]변화를 만들 수 있습니다.

0:02:39.789,0:02:42.991
잠재적으로 엄청난 결과를[br]이끌어 낼 수 있죠.

0:02:44.321,0:02:47.226
제 동료 중 몇몇은

0:02:47.226,0:02:51.134
무언가가 그 기질의 [br]엄청난 변화를 일으키기 직전이며

0:02:51.134,0:02:54.347
그것은 기계 초지능일거라 생각합니다.

0:02:54.347,0:02:59.086
과거 인공지능은[br]박스에 명령을 넣는 것이었습니다.

0:02:59.086,0:03:00.751
인간 프로그래머가

0:03:00.751,0:03:03.886
지식 아이템을[br]힘들게 손수 만들어냅니다.

0:03:03.886,0:03:05.972
이러한 전문가 시스템을 구축하면

0:03:05.972,0:03:08.296
어떤 목적으로는 어느정도 유용하지만

0:03:08.296,0:03:10.977
실은 아주 취약해서[br]조정할 수 없습니다.

0:03:10.977,0:03:14.410
결국 입력하는 대로만[br]결과를 얻게됩니다.

0:03:14.410,0:03:15.407
하지만 그때부터

0:03:15.407,0:03:18.874
인공지능 분야에서[br]패러다임 변화가 일어났습니다.

0:03:18.874,0:03:21.644
오늘날엔, 기계 학습을 중심으로[br]움직이고 있습니다.

0:03:22.394,0:03:27.781
따라서 지식 표현과 특징을[br]손수 만들기 보다는

0:03:28.511,0:03:34.065
때론 원초적 지각 데이터로부터 배우는[br]알고리즘을 만듭니다.

0:03:34.065,0:03:39.063
유아기 인간이 하는 것과[br]기본적으로 같은 것이죠.

0:03:39.063,0:03:43.270
결론적으로 인공지능은[br]한 도메인에 국한되지 않습니다.

0:03:43.270,0:03:47.901
똑같은 시스템으로 어떠한 [br]언어도 번역할 수 있고

0:03:47.901,0:03:53.338
또는, 아타리 콘솔의 어떠한[br]컴퓨터 게임도 플레이 할 수 있습니다.

0:03:53.338,0:03:55.117
물론 지금은,

0:03:55.117,0:03:59.116
인공지능이 인간처럼 행동하고 배우는[br]강력한, 크로스 도메인의

0:03:59.116,0:04:02.335
단계에 와있지는 않습니다.

0:04:02.335,0:04:04.461
두뇌피질은 여전히 몇가지의[br]알고리즘적 트릭들을 가지고 있어서,

0:04:04.461,0:04:06.816
기계에 적용시키기는 어렵습니다.

0:04:07.886,0:04:09.785
그렇다면 문제는 이겁니다.

0:04:09.785,0:04:13.285
그 트릭들을 일치시킬 수 있기까지[br]얼마나 더 걸릴 것인가?

0:04:14.245,0:04:15.328
2년 전 쯤에

0:04:15.328,0:04:18.216
세계 주요 인공지능 전문가들을[br]대상으로 그들의 의견을 조사했는데

0:04:18.216,0:04:21.440
우리가 했던 질문 중 하나는

0:04:21.440,0:04:24.793
"우리가 인간 수준의 [br]기계 학습에 달성할 가능성이

0:04:24.793,0:04:28.275
50%가 되는 해는 언제라고 [br]생각하십니까?" 였습니다.

0:04:28.785,0:04:32.968
여기서 인간 수준이라는 것은[br]최소한 성인 인간만큼

0:04:32.968,0:04:35.839
거의 모든 일을 수행하는[br]능력을 말합니다.

0:04:35.839,0:04:39.844
그저 몇몇 범위에 국한된 것이 아니라[br]진짜 인간 수준 말입니다.

0:04:39.844,0:04:43.494
답변의 중간값은 2040년이나 [br]2050년이었습니다.

0:04:43.494,0:04:46.300
우리가 질문했던 전문가[br]그룹에 따라 달랐습니다.

0:04:46.300,0:04:50.339
훨씬 훨씬 나중에,[br]혹은 더 일찍 일어날 수 있지만

0:04:50.339,0:04:52.279
진실은 아무도 모르는 거겠죠.

0:04:53.259,0:04:57.671
우리가 아는 것은, 기계 기판의[br]정보 처리의 궁극적 한계가

0:04:57.671,0:05:02.542
생체조직의 한계보다[br]훨씬 멀리 있다는 점입니다.

0:05:03.241,0:05:05.619
이것은 물리학 이론인데,

0:05:05.619,0:05:10.337
생물학적 뉴런은 200헤르츠,[br]1초에 200번 흥분합니다.

0:05:10.337,0:05:13.931
그러나 하물며 오늘날의 트랜지스터도[br]기가헤르츠 속도로 작동합니다.

0:05:13.931,0:05:19.228
뉴런은 축색돌기에서[br]최대 초속 100m로 천천히 전달하지만

0:05:19.228,0:05:22.339
컴퓨터에서는, 신호가[br]빛의 속도로 이동할 수 있습니다.

0:05:23.079,0:05:24.948
또, 크기의 제한도 있습니다.

0:05:24.948,0:05:27.975
인간의 뇌는 두개골 안에[br]들어가야 하지만

0:05:27.975,0:05:32.736
컴퓨터는 창고 크기가 될 수도[br]혹은 더 클 수도 있습니다.

0:05:32.736,0:05:38.335
그러니까 슈퍼인공지능의 가능성은[br]원자폭탄이 1945년 이후로

0:05:38.335,0:05:44.047
잠들어 있는 것 처럼 언제 [br]

0:05:44.047,0:05:47.047
시작될지 모르는 문제입니다.

0:05:48.452,0:05:49.700
이번 세기에,

0:05:49.700,0:05:53.818
과학자들은 인공지능의 파워를[br]깨울 방법을 알아낼 지도 모릅니다.

0:05:53.818,0:05:57.826
그리고 저는 인공지능의 확산을[br]볼 것이라고 생각합니다.

0:05:58.406,0:06:02.363
대부분의 사람들은, 그들이 누가 [br]똑똑하고 멍청한지에 대해서

0:06:02.363,0:06:05.386
이러한 대략적인 생각이 있을[br]것이라고 생각합니다.

0:06:05.386,0:06:07.984
한 쪽 끝에는 바보가 있고

0:06:07.984,0:06:10.467
다른 저 쪽 끝에는

0:06:10.467,0:06:15.223
에드 위튼이나 알버트 아인슈타인[br]혹은 여러분이 좋아하는 권위자가 있죠.

0:06:15.223,0:06:19.057
하지만 인공지능의 관점에서 보면

0:06:19.057,0:06:22.738
실제로는 이런 그림이[br]그려질거라 생각합니다.

0:06:23.258,0:06:26.636
인공지능은 이 지점,[br]지능이 없는 지점에서 시작해서

0:06:26.636,0:06:29.647
수 년 간의 아주 고된 연구 끝에

0:06:29.647,0:06:33.491
마침내 쥐 수준의[br]인공지능에 이르게 됩니다.

0:06:33.491,0:06:35.921
마치 쥐처럼[br]어수선한 환경에서

0:06:35.921,0:06:37.908
나아갈 수 있는 수준 말입니다.

0:06:37.908,0:06:42.221
그 이후로 더 오랜 고된 [br]연구와 많은 투자 끝에

0:06:42.221,0:06:46.860
마침내 침팬지 수준의[br]인공지능을 얻게 됩니다.

0:06:46.860,0:06:50.070
그리곤 심지어 더 여러 해의[br]아주 아주 고된 연구 끝에

0:06:50.070,0:06:52.983
동네 바보 수준의[br]인공지능에 이르게 됩니다.

0:06:52.983,0:06:56.255
그리고 잠시 뒤엔[br]에드 위튼을 뛰어넘습니다.

0:06:56.255,0:06:59.225
기차는 인간 역에 정차하지 않습니다.

0:06:59.225,0:07:02.247
그보다는 휙 하고 [br]지나가는 것에 가깝죠.

0:07:02.247,0:07:04.231
이것은 깊은 의미입니다.

0:07:04.231,0:07:08.093
특별히, 힘에 대한 물음에 [br]대해서는 말이죠

0:07:08.093,0:07:09.992
예를들면, 침팬치는 힘이 쎕니다.

0:07:09.992,0:07:15.214
파운드로 비교하면, 침펜치는[br]인간 남성보다 2배가량 강합니다.

0:07:15.214,0:07:19.828
그러나, 침팬치 켄지의 운명은[br]그들이 할 수 있는 것 보다는

0:07:19.828,0:07:23.968
인류가 할 수 있는 것에 [br]달려 있었습니다.

0:07:25.228,0:07:27.542
슈퍼인공지능이 존재한다면,

0:07:27.542,0:07:29.451
인류의 운명은 아마도

0:07:29.451,0:07:32.451
슈퍼인공지능이 할 수[br]있는 것에 따라 결정될 것입니다.

0:07:32.451,0:07:33.508
생각해보세요.

0:07:33.508,0:07:38.512
인공지능은 인류가 만들어야하는[br]마지막 발명품이 될 것입니다.

0:07:38.512,0:07:41.525
기계가 우리보다[br]더 발명을 잘 할 것이며

0:07:41.525,0:07:44.065
디지털 시간 척도로[br]발명을 할 것입니다.

0:07:44.065,0:07:48.966
이것은 기본적으로[br]시간의 압축을 의미합니다.

0:07:48.966,0:07:52.524
당신이 상상할 수 있는[br]모든 괴상한 기술을 생각해보세요.

0:07:52.524,0:07:55.322
아마도 인류가 발명하기에는[br]너무 많은 시간이 필요한 것이죠.

0:07:55.322,0:07:58.580
노화 해결, 우주 정복

0:07:58.580,0:08:02.311
자기 복제 나노로봇이나[br]컴퓨터에 생각을 업로딩 하는 것

0:08:02.311,0:08:04.470
뭐든 공상 과학스럽지만

0:08:04.470,0:08:07.207
그럼에도 물리학 법칙에[br]부합하는 것들 말입니다.

0:08:07.207,0:08:11.419
이런 것들을 슈퍼인공지능은 [br]빠르게 발명할 수 있을 겁니다.

0:08:12.269,0:08:16.007
이제, 슈퍼인공지능이

0:08:16.007,0:08:18.186
아주 강력하다는 것을 [br]알게 되었으니

0:08:18.186,0:08:19.732
적어도 몇몇의 시나리오에서는,

0:08:19.732,0:08:22.732
이것이 무엇을 원하는지[br]알 수 있을 것입니다.

0:08:22.732,0:08:28.393
그러면 이제 인공지능의 선호로 [br]이루어진 미래를 그려볼 수 있겠죠.

0:08:29.855,0:08:33.604
이 시점에서 좋은 질문은[br]그 선호라는게 무엇인가? 하는 겁니다.

0:08:34.244,0:08:36.013
이 물음은 더 어렵군요

0:08:36.013,0:08:37.448
어떻든 진전을 보기 위해서는

0:08:37.448,0:08:40.724
우선 의인화를 피해야만 합니다.

0:08:41.934,0:08:45.235
이게 참 아이러니한게[br]인공지능에 대한

0:08:45.235,0:08:49.090
모든 신문 기사들에는[br]이 사진이 달려있습니다.

0:08:50.280,0:08:54.414
제 생각에 우리는 생생한 할리우드 [br]시나리오 방식이 아니라

0:08:54.414,0:08:57.204
문제를 좀더 추상적으로[br]상상할 필요가 있습니다.

0:08:57.204,0:09:00.821
지능을 최적화 과정이라고[br]생각해야 합니다.

0:09:00.821,0:09:06.470
일련의 특정 형태 쪽으로 [br]미래의 방향을 조종하는 과정말입니다.

0:09:06.470,0:09:09.981
초지능은 매우 강력한[br]최적화 프로세스입니다.

0:09:09.981,0:09:14.098
목표가 실현되는 상태를 달성하기[br]위해 가용 자원을 사용하는데

0:09:14.098,0:09:16.007
매우 능숙합니다.

0:09:16.447,0:09:19.119
이 것은 높은 지능을 가진 것과[br]인류가 가치있다고 생각하는 목표를

0:09:19.119,0:09:21.853
지향하는 것에 연결점은

0:09:21.853,0:09:26.515
필수적인게 아니라는 뜻입니다.

0:09:27.321,0:09:31.115
인공지능에게 인간을 웃게 하라는[br]목표를 주었다고 가정해봅시다.

0:09:31.115,0:09:34.097
인공지능이 좀 떨어질 땐[br]이용자를 웃게 하는

0:09:34.097,0:09:36.614
유용하거나 재미있는 [br]액션을 취할 것입니다.

0:09:36.614,0:09:39.031
인공지능이 초지능적이 되면

0:09:39.031,0:09:42.554
인공지능은 목표를 달성할 더 효율적인[br]방법이 있음을 깨닫습니다.

0:09:42.554,0:09:44.476
세계의 주도권을 가지고

0:09:44.476,0:09:47.638
전극을 사람 얼굴 근육에 [br]고정시킵니다.

0:09:47.638,0:09:50.579
지속적인 웃음을 유발하기 위해서요.

0:09:50.579,0:09:51.614
다른 예를 들어 보죠.

0:09:51.614,0:09:54.997
어려운 수학 문제를 풀라는 목표를[br]인공지능에게 주었다고 가정합니다.

0:09:54.997,0:09:56.934
인공지능이 슈퍼인공지능이 되면,

0:09:56.934,0:10:01.105
인공지능은 문제를 풀기위한 [br]가장 효율적인 방법은

0:10:01.105,0:10:04.035
이 지구를 거대한 컴퓨터로[br]변화시키는 것이라는 것을 알게됩니다.

0:10:04.035,0:10:06.281
처리 능력을 향상하기 위해서죠.

0:10:06.281,0:10:09.045
이 생각은 우리로써는 승인할 수 없는

0:10:09.045,0:10:11.561
것들을 실행하는 주된[br]이유가 됩니다.

0:10:11.561,0:10:13.496
인류는 이러한 모델에서 위협요소가 되고

0:10:13.496,0:10:16.407
우리는 문제가 해결되지 [br]못하도록 막아야 할 겁니다.

0:10:16.407,0:10:20.701
물론, 지각할수 있는 것들은 [br]꼭 이런 식으로 진행 되지 않을 겁니다

0:10:20.701,0:10:22.454
이것들은 그냥 만든 예시이지만,

0:10:22.454,0:10:24.393
일반적인 요점은 이겁니다.

0:10:24.393,0:10:27.266
목적 x를 극대화 하기 위한

0:10:27.266,0:10:29.500
강력한 프로세스를 만들었다면,

0:10:29.500,0:10:31.776
우리가 지켜야할 모든 것들을 포함하는

0:10:31.776,0:10:34.245
x의 정의 또한 만들어야 [br]한다는 점입니다.

0:10:34.835,0:10:39.219
이는 또한, 많은 신화에서 [br]가르치는 교훈이기도 합니다.

0:10:39.219,0:10:44.517
마이더스 왕은 그의 손이 닿는 모든 걸[br]금으로 변하게 해달라고 빕니다.

0:10:44.517,0:10:47.378
그는 자신의 딸을 만졌고[br]딸은 금으로 변하죠.

0:10:47.378,0:10:49.931
음식을 만지면, [br]음식은 금으로 변합니다.

0:10:49.931,0:10:52.520
이 것은 실용적으로 관련이 있습니다.

0:10:52.520,0:10:54.590
탐욕에 대한 은유 뿐만이 아니라

0:10:54.590,0:10:56.485
앞으로 일어날 일에 대한 삽화이죠.

0:10:56.485,0:10:59.322
만약 당신이 강력한 최적화[br]프로세스를 만들고

0:10:59.322,0:11:04.111
그것이 잘못된 결과를 [br]불러올 수 있다는 점이죠.

0:11:04.111,0:11:09.300
만약 컴퓨터가 사람의 [br]얼굴에 전극을 붙인다면

0:11:09.300,0:11:11.565
작동을 멈추면 그만이라고[br]말하실지도 모릅니다.

0:11:12.555,0:11:17.895
A. 우리가 그 시스템에 의존해서[br]자랐다면, 그게 그리 쉽진 않습니다.

0:11:17.895,0:11:20.627
예를 들면, 인터넷에[br]끄는 스위치가 어디 있나요?

0:11:20.627,0:11:25.747
B. 왜 침팬지들은 인류, 혹은 [br]네안데르탈인의 스위치를

0:11:25.747,0:11:27.298
끄지 않았을까요?

0:11:27.298,0:11:29.964
분명 이유가 있었습니다.

0:11:29.964,0:11:32.759
우리는 오프 스위치를 갖고 있습니다.[br]예를 들면, 바로 여기요.

0:11:32.759,0:11:34.313
(목을 조른다.)

0:11:34.313,0:11:37.238
그 이유는 우리가 지능을 [br]가진 적이였기 때문이죠.

0:11:37.238,0:11:39.966
우리는 침팬치의 위협을 예상하고[br]그에 따른 계획을 세울 수 있었습니다.

0:11:39.966,0:11:42.470
하지만 슈퍼인공지능도 마찬가지죠.

0:11:42.470,0:11:45.724
그것은 우리보다 더 뛰어날 겁니다.

0:11:45.724,0:11:52.911
요점은, 우리가 이를 통제하고 있다고[br]자신해서는 안된다는 겁니다.

0:11:52.911,0:11:56.358
우리는 우리의 일을 조금 쉽게[br]할 수 있는 시도를 할 수 있습니다.

0:11:56.358,0:11:57.948
보안 소프트웨어 환경 같은 상황에서

0:11:57.948,0:11:59.744
도망칠 수 없는 상황에서의[br]시뮬에이션 상황 테스트 등을 위해

0:11:59.744,0:12:02.766
인공지능을 박스에 넣고[br]사용하는 방법으로요

0:12:02.766,0:12:06.912
하지만 우리는 인공지능이 오류를[br]찾지 못할 것이라고 얼마나 확신할까요

0:12:06.912,0:12:10.081
보통의 인간 해커들도 매번 [br]오류를 찾아냅니다.

0:12:10.081,0:12:13.117
제가 말하자면, 아마 [br]확신하지 못할 겁니다.

0:12:14.027,0:12:18.785
이미 말씀드렸듯이, 우리 해커들은

0:12:18.785,0:12:21.453
사회 공학을 사용해서 지속적으로 [br]에어 갭(안전망)을 위반했습니다

0:12:21.453,0:12:24.834
그래서 우리는 에어 갭을 만들기 위해[br]이더넷 케이블을 분리해야 합니다.

0:12:24.834,0:12:26.093
제가 말한 것처럼, 지금 이 시각

0:12:26.093,0:12:28.482
몇몇의 사람들은 IT 부서에서온[br]누군가가 주장하는 대로

0:12:28.482,0:12:31.828
누군가의 계좌 정보를 [br]넘기고 있을 것이라고

0:12:31.828,0:12:34.574
저는 확신합니다.

0:12:34.574,0:12:36.701
더 창의적인 시나리도들도 가능합니다.

0:12:36.701,0:12:38.016
만약 당신이 인공지능이라면,

0:12:38.016,0:12:41.548
당신은 통신하기 위한 [br]라디오 전파를 만들기 위해서

0:12:41.548,0:12:45.010
당신의 내부 회로 주변에 있는[br]흔들리는 전극들을 상상할 수 있습니다.

0:12:45.010,0:12:47.434
또는 고장난 척 연기할 수 있죠.

0:12:47.434,0:12:50.931
그리고 프로그래머가 뭐가 잘못됬는지[br]보려고 코드를 여는 순간,

0:12:50.931,0:12:52.867
빰!

0:12:52.867,0:12:55.314
속임수가 벌어지게 되죠.

0:12:55.314,0:12:58.744
또는 굉장히 멋진 기술의[br]청사진을 결과물로 내놓고,

0:12:58.744,0:13:00.142
우리가 실행시키면,

0:13:00.142,0:13:04.539
사실 그것은 인공지능이 계획한[br]부작용이 발생한다는 식이죠.

0:13:04.539,0:13:08.002
중요한점은 우리는 우리의 능력을[br]과신하면 안된다는 점입니다.

0:13:08.002,0:13:11.810
슈퍼인공지능이 영원히 병안에[br]봉인 될거라고 생각하는 점에 대해서요.

0:13:11.810,0:13:14.064
머지않아, 그것은 밖으로 나올겁니다.

0:13:15.034,0:13:18.137
저는 정답은 인공지능을 어떻게[br]만드느냐에 달려있다고 생각합니다.

0:13:18.137,0:13:23.161
그것이 봉인에서 해제되더라도,[br]여전히 안전하게 하기 위해서는

0:13:23.161,0:13:26.438
기본적으로 우리의 편이어야 하고,[br]

0:13:26.438,0:13:28.337
왜냐하면 우리의 가치를[br]공유하기 때문입니다

0:13:28.337,0:13:31.547
이 것은 어려운 문제가 [br]아닙니다.

0:13:32.557,0:13:36.391
저는 사실 이 문제가 [br]해결될 수 있다고 꽤 낙관합니다.

0:13:36.391,0:13:40.294
우리는 우리가 걱정하는 모든 일들을[br]다 작성할 필요는 없습니다.

0:13:40.294,0:13:43.937
혹은, 그것을 C++ 나 파이선 같은[br]컴퓨터 언어로 적는다던지

0:13:43.937,0:13:45.391
하는 일같은 것도 마찬가지구요.

0:13:45.391,0:13:48.158
사실, 그것은 희망이 없는 일이죠.

0:13:48.158,0:13:52.455
대신에, 우리는 인공지능을 [br]하나 만들면 됩니다.

0:13:52.455,0:13:55.226
우리의 가치를 배울 인공지능이죠.

0:13:55.226,0:14:00.506
그리고 그것의 동기부여 시스템은[br]우리가 승인할 것으로 예측되는

0:14:00.506,0:14:05.738
우리의 가치 혹은 행동을 추구하는[br]방향으로 설계됩니다.

0:14:05.738,0:14:09.152
우리는 이러한 인공지능에 최대한 [br]힘을 싣는 쪽으로 무게를 실어야 합니다

0:14:09.152,0:14:11.897
앞서 언급한 문제를 해결하기 위해서죠.

0:14:12.527,0:14:14.239
이런 방식은 가능하며,

0:14:14.239,0:14:17.835
결과는 인류를 위해서 [br]매우 좋을 것입니다.

0:14:17.835,0:14:21.792
하지만 이것은 자연스럽게 [br]일어나지 않습니다.

0:14:21.792,0:14:24.790
인공지능의 확대에[br]필요한 초기 조건은

0:14:24.790,0:14:27.653
올바른 방향으로 [br]세팅되어야 할 것입니다.

0:14:27.653,0:14:31.183
만약에 우리가 통제된[br]폭발을 가진다면,

0:14:31.183,0:14:33.801
인공지능의 가치는 우리의 것과[br]맞아떨어질 것입니다.

0:14:33.801,0:14:35.561
우리가 인공지능의 행동을[br]쉽게 확인하는 것처럼

0:14:35.561,0:14:37.999
친숙한 상황일 뿐만 아니라,

0:14:37.999,0:14:41.233
모든 소설 상황에서 우리가 [br]인공지능를 언제일지 모를 미래에

0:14:41.233,0:14:42.790
조우하는 것처럼 말이죠.

0:14:42.790,0:14:47.527
그리고 해결되야할 몇가지[br]난해한 문제들이 있습니다.

0:14:47.527,0:14:49.616
결정 이론의 정확한 세부내용들 입니다.

0:14:49.616,0:14:52.480
어떻게 논리적인 불확실성에[br]대처할 것인가 같은 문제입니다.

0:14:53.330,0:14:56.432
해결되야할 기술적인 문제들은

0:14:56.432,0:14:57.545
꽤 어려워 보입니다.

0:14:57.545,0:15:00.925
슈퍼인공지능을 만드는 것만큼[br]어려운 것은 아니지만,

0:15:00.925,0:15:03.793
여전히 꽤 어렵습니다.

0:15:03.793,0:15:05.488
저는 이 점이 걱정스럽습니다.

0:15:05.488,0:15:10.172
슈퍼인공지능을 만드는 것은[br]정말 어려운 도전입니다.

0:15:10.172,0:15:12.720
게다가 그것의 안전을 위해서

0:15:12.720,0:15:15.136
몇가지 추가적인 도전을 해야하죠.

0:15:16.216,0:15:19.703
위험성은 만약 누군가가 다음단계의 [br]

0:15:19.703,0:15:22.704
안전을 보장하지 못한 상황에서

0:15:22.704,0:15:24.605
첫번째 도전에 성공하기[br]시작했을 시기입니다.

0:15:25.375,0:15:28.706
그래서 우리는 해결책을[br]생각해 내야 합니다.

0:15:28.706,0:15:31.528
다음단계에 예상될 문제점을[br]제어하기 위해서 말이죠.

0:15:31.528,0:15:34.188
우리가 필요할때 언제든지 사용[br]할수 있도록 준비해야 합니다.

0:15:34.768,0:15:36.588
하지만 모든 문제들을 미리 예측하고[br]

0:15:36.588,0:15:38.275
해결하는 것은 불가능하다고 [br]생각할지도 모릅니다.

0:15:38.275,0:15:41.299
왜냐하면 몇몇 요소들은 그 단계가 [br]

0:15:41.299,0:15:45.296
되야 알 수 있을지도 모르기 때문이죠.

0:15:45.296,0:15:48.676
하지만 우리가 미리 문제들을[br]제어할 수 있을 수록,

0:15:48.676,0:15:52.766
인공지능 시대로의 전환이

0:15:52.766,0:15:54.306
자연스럽게 진행될 것입니다.

0:15:54.306,0:15:58.950
저는 이것이 우리가 잘할만한 [br]가치가 있는 일이라고 생각합니다.

0:15:58.950,0:16:02.282
그리고 만약 이 단계가[br]잘 진행된다면

0:16:02.282,0:16:06.940
100만년 후의 인류는[br]지금의 시대를 회상하며

0:16:06.940,0:16:10.942
우리가 걱정했던 문제들이[br]정말 잘 해결됐다고

0:16:10.942,0:16:12.089
말할지도 모릅니다.

0:16:12.089,0:16:14.198
감사합니다.

0:16:14.198,0:16:17.011
(박수)