[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.57,0:00:04.78,Default,,0000,0000,0000,,저는 많은 수학자, 철학자\N컴퓨터 과학자와 같이 일하는데
Dialogue: 0,0:00:04.78,0:00:09.99,Default,,0000,0000,0000,,우리는 여러 가지 가운데서도\N기계 학습의 미래에 대해
Dialogue: 0,0:00:09.99,0:00:12.03,Default,,0000,0000,0000,,둘러 앉아 생각합니다.
Dialogue: 0,0:00:12.03,0:00:16.76,Default,,0000,0000,0000,,혹자는 이것들을 공상 과학스럽다거나
Dialogue: 0,0:00:16.76,0:00:19.86,Default,,0000,0000,0000,,너무 먼 이야기라거나\N말도 안된다고 생각합니다.
Dialogue: 0,0:00:19.86,0:00:21.33,Default,,0000,0000,0000,,하지만 제가 말씀드리고 싶은 것은
Dialogue: 0,0:00:21.33,0:00:24.93,Default,,0000,0000,0000,,좋아요. 현대 인류의 상태를 보죠.
Dialogue: 0,0:00:24.93,0:00:26.62,Default,,0000,0000,0000,,(웃음)
Dialogue: 0,0:00:26.62,0:00:29.02,Default,,0000,0000,0000,,이게 평범한 모습이죠.
Dialogue: 0,0:00:29.02,0:00:31.31,Default,,0000,0000,0000,,하지만 생각해보면
Dialogue: 0,0:00:31.31,0:00:34.60,Default,,0000,0000,0000,,사실, 우리는 이 행성에\N가장 최근에 도착한 손님입니다.
Dialogue: 0,0:00:34.60,0:00:36.68,Default,,0000,0000,0000,,인류 말입니다.
Dialogue: 0,0:00:36.68,0:00:41.43,Default,,0000,0000,0000,,지구가 1년 전에 생겨났다고\N생각해보십시오.
Dialogue: 0,0:00:41.43,0:00:44.98,Default,,0000,0000,0000,,그럼 인류는 생겨난지 10분 된겁니다.
Dialogue: 0,0:00:44.98,0:00:48.15,Default,,0000,0000,0000,,산업화 시대는 \N2초 전에 시작되었습니다.
Dialogue: 0,0:00:49.28,0:00:54.50,Default,,0000,0000,0000,,다른 방법으로는, 지난 만년 간의\N전세계 GDP를 보는 것인데
Dialogue: 0,0:00:54.50,0:00:57.53,Default,,0000,0000,0000,,실은 제가 여러분을 위해\N그래프로 그리는 수고를 했습니다.
Dialogue: 0,0:00:57.53,0:00:59.30,Default,,0000,0000,0000,,이렇게 생겼습니다.
Dialogue: 0,0:00:59.30,0:01:00.67,Default,,0000,0000,0000,,(웃음)
Dialogue: 0,0:01:00.67,0:01:02.82,Default,,0000,0000,0000,,정상적인 상태치고는\N기묘한 모양새죠.
Dialogue: 0,0:01:02.82,0:01:04.52,Default,,0000,0000,0000,,저기에 앉으면 안될 것 같군요.
Dialogue: 0,0:01:04.52,0:01:07.07,Default,,0000,0000,0000,,(웃음)
Dialogue: 0,0:01:07.07,0:01:11.84,Default,,0000,0000,0000,,자문해보죠. 현재의 이 변칙의\N원인은 무엇입니까?
Dialogue: 0,0:01:11.84,0:01:14.39,Default,,0000,0000,0000,,혹자는 기술이라고 할 것입니다.
Dialogue: 0,0:01:14.39,0:01:19.06,Default,,0000,0000,0000,,맞습니다. 기술은 \N인류의 역사에 걸쳐 축적되어왔고
Dialogue: 0,0:01:19.06,0:01:23.71,Default,,0000,0000,0000,,지금은 기술이 극도로 빠르게\N발전하고 있습니다.
Dialogue: 0,0:01:23.71,0:01:25.28,Default,,0000,0000,0000,,그것이 가장 가까운 원인이고
Dialogue: 0,0:01:25.28,0:01:27.84,Default,,0000,0000,0000,,우리가 현재 아주 생산적인\N이유이기도 합니다.
Dialogue: 0,0:01:28.47,0:01:32.13,Default,,0000,0000,0000,,하지만 더 멀리 돌이켜\N근본적 원인을 생각해보고자 합니다.
Dialogue: 0,0:01:33.11,0:01:36.88,Default,,0000,0000,0000,,아주 유명한 두 신사를 한번 보시죠.
Dialogue: 0,0:01:36.88,0:01:38.48,Default,,0000,0000,0000,,침팬지 칸지는
Dialogue: 0,0:01:38.48,0:01:43.12,Default,,0000,0000,0000,,200개의 어휘 토큰을 숙달하는\N놀라운 위업을 이뤘고
Dialogue: 0,0:01:43.12,0:01:46.82,Default,,0000,0000,0000,,그리고 에드 위튼은\N제 2차 초끈이론을 촉발시켰습니다.
Dialogue: 0,0:01:46.82,0:01:49.14,Default,,0000,0000,0000,,덮개 안쪽을 보면\N이런 걸 보게 됩니다.
Dialogue: 0,0:01:49.14,0:01:50.71,Default,,0000,0000,0000,,기본적으로는 똑같습니다.
Dialogue: 0,0:01:50.71,0:01:52.52,Default,,0000,0000,0000,,한 쪽이 좀 더 크고
Dialogue: 0,0:01:52.52,0:01:55.28,Default,,0000,0000,0000,,아마도 와이어링의 정확한 방법에\N몇가지 요령이 있었나 봅니다.
Dialogue: 0,0:01:55.28,0:01:59.09,Default,,0000,0000,0000,,하지만 이 보이지 않는 차이점들은\N그리 복잡하지 않습니다.
Dialogue: 0,0:01:59.09,0:02:03.38,Default,,0000,0000,0000,,우리의 마지막 공통 \N조상으로부터 단 25만 세대밖에
Dialogue: 0,0:02:03.38,0:02:05.11,Default,,0000,0000,0000,,지나지 않았기 때문입니다.
Dialogue: 0,0:02:05.11,0:02:08.96,Default,,0000,0000,0000,,복잡한 메커니즘은\N진화하는데 오랜 시간이 걸리구요.
Dialogue: 0,0:02:10.00,0:02:12.50,Default,,0000,0000,0000,,따라서, 비교적 중요하지않은\N여러 변화들이
Dialogue: 0,0:02:12.50,0:02:15.57,Default,,0000,0000,0000,,우리를 칸지에서 위튼으로,
Dialogue: 0,0:02:15.57,0:02:20.11,Default,,0000,0000,0000,,부러진 나뭇가지에서\N대륙간 탄도 미사일로 데려온 겁니다.
Dialogue: 0,0:02:20.84,0:02:24.77,Default,,0000,0000,0000,,그럼 이제, 우리가 \N이룩해온 거의 모든 것,
Dialogue: 0,0:02:24.77,0:02:26.15,Default,,0000,0000,0000,,우리가 관심있는 모든 것들은
Dialogue: 0,0:02:26.15,0:02:31.38,Default,,0000,0000,0000,,사람의 마음을 바꾸도록 만든\N조금의 변화에 달려 있었습니다.
Dialogue: 0,0:02:32.65,0:02:36.31,Default,,0000,0000,0000,,물론, 그 결과는 \N추가적인 변화를 이끌어내고
Dialogue: 0,0:02:36.31,0:02:39.79,Default,,0000,0000,0000,,그 것은 생각의 기질의 상당한\N변화를 만들 수 있습니다.
Dialogue: 0,0:02:39.79,0:02:42.99,Default,,0000,0000,0000,,잠재적으로 엄청난 결과를\N이끌어 낼 수 있죠.
Dialogue: 0,0:02:44.32,0:02:47.23,Default,,0000,0000,0000,,제 동료 중 몇몇은
Dialogue: 0,0:02:47.23,0:02:51.13,Default,,0000,0000,0000,,무언가가 그 기질의 \N엄청난 변화를 일으키기 직전이며
Dialogue: 0,0:02:51.13,0:02:54.35,Default,,0000,0000,0000,,그것은 기계 초지능일거라 생각합니다.
Dialogue: 0,0:02:54.35,0:02:59.09,Default,,0000,0000,0000,,과거 인공지능은\N박스에 명령을 넣는 것이었습니다.
Dialogue: 0,0:02:59.09,0:03:00.75,Default,,0000,0000,0000,,인간 프로그래머가
Dialogue: 0,0:03:00.75,0:03:03.89,Default,,0000,0000,0000,,지식 아이템을\N힘들게 손수 만들어냅니다.
Dialogue: 0,0:03:03.89,0:03:05.97,Default,,0000,0000,0000,,이러한 전문가 시스템을 구축하면
Dialogue: 0,0:03:05.97,0:03:08.30,Default,,0000,0000,0000,,어떤 목적으로는 어느정도 유용하지만
Dialogue: 0,0:03:08.30,0:03:10.98,Default,,0000,0000,0000,,실은 아주 취약해서\N조정할 수 없습니다.
Dialogue: 0,0:03:10.98,0:03:14.41,Default,,0000,0000,0000,,결국 입력하는 대로만\N결과를 얻게됩니다.
Dialogue: 0,0:03:14.41,0:03:15.41,Default,,0000,0000,0000,,하지만 그때부터
Dialogue: 0,0:03:15.41,0:03:18.87,Default,,0000,0000,0000,,인공지능 분야에서\N패러다임 변화가 일어났습니다.
Dialogue: 0,0:03:18.87,0:03:21.64,Default,,0000,0000,0000,,오늘날엔, 기계 학습을 중심으로\N움직이고 있습니다.
Dialogue: 0,0:03:22.39,0:03:27.78,Default,,0000,0000,0000,,따라서 지식 표현과 특징을\N손수 만들기 보다는
Dialogue: 0,0:03:28.51,0:03:34.06,Default,,0000,0000,0000,,때론 원초적 지각 데이터로부터 배우는\N알고리즘을 만듭니다.
Dialogue: 0,0:03:34.06,0:03:39.06,Default,,0000,0000,0000,,유아기 인간이 하는 것과\N기본적으로 같은 것이죠.
Dialogue: 0,0:03:39.06,0:03:43.27,Default,,0000,0000,0000,,결론적으로 인공지능은\N한 도메인에 국한되지 않습니다.
Dialogue: 0,0:03:43.27,0:03:47.90,Default,,0000,0000,0000,,똑같은 시스템으로 어떠한 \N언어도 번역할 수 있고
Dialogue: 0,0:03:47.90,0:03:53.34,Default,,0000,0000,0000,,또는, 아타리 콘솔의 어떠한\N컴퓨터 게임도 플레이 할 수 있습니다.
Dialogue: 0,0:03:53.34,0:03:55.12,Default,,0000,0000,0000,,물론 지금은,
Dialogue: 0,0:03:55.12,0:03:59.12,Default,,0000,0000,0000,,인공지능이 인간처럼 행동하고 배우는\N강력한, 크로스 도메인의
Dialogue: 0,0:03:59.12,0:04:02.34,Default,,0000,0000,0000,,단계에 와있지는 않습니다.
Dialogue: 0,0:04:02.34,0:04:04.46,Default,,0000,0000,0000,,두뇌피질은 여전히 몇가지의\N알고리즘적 트릭들을 가지고 있어서,
Dialogue: 0,0:04:04.46,0:04:06.82,Default,,0000,0000,0000,,기계에 적용시키기는 어렵습니다.
Dialogue: 0,0:04:07.89,0:04:09.78,Default,,0000,0000,0000,,그렇다면 문제는 이겁니다.
Dialogue: 0,0:04:09.78,0:04:13.28,Default,,0000,0000,0000,,그 트릭들을 일치시킬 수 있기까지\N얼마나 더 걸릴 것인가?
Dialogue: 0,0:04:14.24,0:04:15.33,Default,,0000,0000,0000,,2년 전 쯤에
Dialogue: 0,0:04:15.33,0:04:18.22,Default,,0000,0000,0000,,세계 주요 인공지능 전문가들을\N대상으로 그들의 의견을 조사했는데
Dialogue: 0,0:04:18.22,0:04:21.44,Default,,0000,0000,0000,,우리가 했던 질문 중 하나는
Dialogue: 0,0:04:21.44,0:04:24.79,Default,,0000,0000,0000,,"우리가 인간 수준의 \N기계 학습에 달성할 가능성이
Dialogue: 0,0:04:24.79,0:04:28.28,Default,,0000,0000,0000,,50%가 되는 해는 언제라고 \N생각하십니까?" 였습니다.
Dialogue: 0,0:04:28.78,0:04:32.97,Default,,0000,0000,0000,,여기서 인간 수준이라는 것은\N최소한 성인 인간만큼
Dialogue: 0,0:04:32.97,0:04:35.84,Default,,0000,0000,0000,,거의 모든 일을 수행하는\N능력을 말합니다.
Dialogue: 0,0:04:35.84,0:04:39.84,Default,,0000,0000,0000,,그저 몇몇 범위에 국한된 것이 아니라\N진짜 인간 수준 말입니다.
Dialogue: 0,0:04:39.84,0:04:43.49,Default,,0000,0000,0000,,답변의 중간값은 2040년이나 \N2050년이었습니다.
Dialogue: 0,0:04:43.49,0:04:46.30,Default,,0000,0000,0000,,우리가 질문했던 전문가\N그룹에 따라 달랐습니다.
Dialogue: 0,0:04:46.30,0:04:50.34,Default,,0000,0000,0000,,훨씬 훨씬 나중에,\N혹은 더 일찍 일어날 수 있지만
Dialogue: 0,0:04:50.34,0:04:52.28,Default,,0000,0000,0000,,진실은 아무도 모르는 거겠죠.
Dialogue: 0,0:04:53.26,0:04:57.67,Default,,0000,0000,0000,,우리가 아는 것은, 기계 기판의\N정보 처리의 궁극적 한계가
Dialogue: 0,0:04:57.67,0:05:02.54,Default,,0000,0000,0000,,생체조직의 한계보다\N훨씬 멀리 있다는 점입니다.
Dialogue: 0,0:05:03.24,0:05:05.62,Default,,0000,0000,0000,,이것은 물리학 이론인데,
Dialogue: 0,0:05:05.62,0:05:10.34,Default,,0000,0000,0000,,생물학적 뉴런은 200헤르츠,\N1초에 200번 흥분합니다.
Dialogue: 0,0:05:10.34,0:05:13.93,Default,,0000,0000,0000,,그러나 하물며 오늘날의 트랜지스터도\N기가헤르츠 속도로 작동합니다.
Dialogue: 0,0:05:13.93,0:05:19.23,Default,,0000,0000,0000,,뉴런은 축색돌기에서\N최대 초속 100m로 천천히 전달하지만
Dialogue: 0,0:05:19.23,0:05:22.34,Default,,0000,0000,0000,,컴퓨터에서는, 신호가\N빛의 속도로 이동할 수 있습니다.
Dialogue: 0,0:05:23.08,0:05:24.95,Default,,0000,0000,0000,,또, 크기의 제한도 있습니다.
Dialogue: 0,0:05:24.95,0:05:27.98,Default,,0000,0000,0000,,인간의 뇌는 두개골 안에\N들어가야 하지만
Dialogue: 0,0:05:27.98,0:05:32.74,Default,,0000,0000,0000,,컴퓨터는 창고 크기가 될 수도\N혹은 더 클 수도 있습니다.
Dialogue: 0,0:05:32.74,0:05:38.34,Default,,0000,0000,0000,,그러니까 슈퍼인공지능의 가능성은\N원자폭탄이 1945년 이후로
Dialogue: 0,0:05:38.34,0:05:44.05,Default,,0000,0000,0000,,잠들어 있는 것 처럼 언제 \N
Dialogue: 0,0:05:44.05,0:05:47.05,Default,,0000,0000,0000,,시작될지 모르는 문제입니다.
Dialogue: 0,0:05:48.45,0:05:49.70,Default,,0000,0000,0000,,이번 세기에,
Dialogue: 0,0:05:49.70,0:05:53.82,Default,,0000,0000,0000,,과학자들은 인공지능의 파워를\N깨울 방법을 알아낼 지도 모릅니다.
Dialogue: 0,0:05:53.82,0:05:57.83,Default,,0000,0000,0000,,그리고 저는 인공지능의 확산을\N볼 것이라고 생각합니다.
Dialogue: 0,0:05:58.41,0:06:02.36,Default,,0000,0000,0000,,대부분의 사람들은, 그들이 누가 \N똑똑하고 멍청한지에 대해서
Dialogue: 0,0:06:02.36,0:06:05.39,Default,,0000,0000,0000,,이러한 대략적인 생각이 있을\N것이라고 생각합니다.
Dialogue: 0,0:06:05.39,0:06:07.98,Default,,0000,0000,0000,,한 쪽 끝에는 바보가 있고
Dialogue: 0,0:06:07.98,0:06:10.47,Default,,0000,0000,0000,,다른 저 쪽 끝에는
Dialogue: 0,0:06:10.47,0:06:15.22,Default,,0000,0000,0000,,에드 위튼이나 알버트 아인슈타인\N혹은 여러분이 좋아하는 권위자가 있죠.
Dialogue: 0,0:06:15.22,0:06:19.06,Default,,0000,0000,0000,,하지만 인공지능의 관점에서 보면
Dialogue: 0,0:06:19.06,0:06:22.74,Default,,0000,0000,0000,,실제로는 이런 그림이\N그려질거라 생각합니다.
Dialogue: 0,0:06:23.26,0:06:26.64,Default,,0000,0000,0000,,인공지능은 이 지점,\N지능이 없는 지점에서 시작해서
Dialogue: 0,0:06:26.64,0:06:29.65,Default,,0000,0000,0000,,수 년 간의 아주 고된 연구 끝에
Dialogue: 0,0:06:29.65,0:06:33.49,Default,,0000,0000,0000,,마침내 쥐 수준의\N인공지능에 이르게 됩니다.
Dialogue: 0,0:06:33.49,0:06:35.92,Default,,0000,0000,0000,,마치 쥐처럼\N어수선한 환경에서
Dialogue: 0,0:06:35.92,0:06:37.91,Default,,0000,0000,0000,,나아갈 수 있는 수준 말입니다.
Dialogue: 0,0:06:37.91,0:06:42.22,Default,,0000,0000,0000,,그 이후로 더 오랜 고된 \N연구와 많은 투자 끝에
Dialogue: 0,0:06:42.22,0:06:46.86,Default,,0000,0000,0000,,마침내 침팬지 수준의\N인공지능을 얻게 됩니다.
Dialogue: 0,0:06:46.86,0:06:50.07,Default,,0000,0000,0000,,그리곤 심지어 더 여러 해의\N아주 아주 고된 연구 끝에
Dialogue: 0,0:06:50.07,0:06:52.98,Default,,0000,0000,0000,,동네 바보 수준의\N인공지능에 이르게 됩니다.
Dialogue: 0,0:06:52.98,0:06:56.26,Default,,0000,0000,0000,,그리고 잠시 뒤엔\N에드 위튼을 뛰어넘습니다.
Dialogue: 0,0:06:56.26,0:06:59.22,Default,,0000,0000,0000,,기차는 인간 역에 정차하지 않습니다.
Dialogue: 0,0:06:59.22,0:07:02.25,Default,,0000,0000,0000,,그보다는 휙 하고 \N지나가는 것에 가깝죠.
Dialogue: 0,0:07:02.25,0:07:04.23,Default,,0000,0000,0000,,이것은 깊은 의미입니다.
Dialogue: 0,0:07:04.23,0:07:08.09,Default,,0000,0000,0000,,특별히, 힘에 대한 물음에 \N대해서는 말이죠
Dialogue: 0,0:07:08.09,0:07:09.99,Default,,0000,0000,0000,,예를들면, 침팬치는 힘이 쎕니다.
Dialogue: 0,0:07:09.99,0:07:15.21,Default,,0000,0000,0000,,파운드로 비교하면, 침펜치는\N인간 남성보다 2배가량 강합니다.
Dialogue: 0,0:07:15.21,0:07:19.83,Default,,0000,0000,0000,,그러나, 침팬치 켄지의 운명은\N그들이 할 수 있는 것 보다는
Dialogue: 0,0:07:19.83,0:07:23.97,Default,,0000,0000,0000,,인류가 할 수 있는 것에 \N달려 있었습니다.
Dialogue: 0,0:07:25.23,0:07:27.54,Default,,0000,0000,0000,,슈퍼인공지능이 존재한다면,
Dialogue: 0,0:07:27.54,0:07:29.45,Default,,0000,0000,0000,,인류의 운명은 아마도
Dialogue: 0,0:07:29.45,0:07:32.45,Default,,0000,0000,0000,,슈퍼인공지능이 할 수\N있는 것에 따라 결정될 것입니다.
Dialogue: 0,0:07:32.45,0:07:33.51,Default,,0000,0000,0000,,생각해보세요.
Dialogue: 0,0:07:33.51,0:07:38.51,Default,,0000,0000,0000,,인공지능은 인류가 만들어야하는\N마지막 발명품이 될 것입니다.
Dialogue: 0,0:07:38.51,0:07:41.52,Default,,0000,0000,0000,,기계가 우리보다\N더 발명을 잘 할 것이며
Dialogue: 0,0:07:41.52,0:07:44.06,Default,,0000,0000,0000,,디지털 시간 척도로\N발명을 할 것입니다.
Dialogue: 0,0:07:44.06,0:07:48.97,Default,,0000,0000,0000,,이것은 기본적으로\N시간의 압축을 의미합니다.
Dialogue: 0,0:07:48.97,0:07:52.52,Default,,0000,0000,0000,,당신이 상상할 수 있는\N모든 괴상한 기술을 생각해보세요.
Dialogue: 0,0:07:52.52,0:07:55.32,Default,,0000,0000,0000,,아마도 인류가 발명하기에는\N너무 많은 시간이 필요한 것이죠.
Dialogue: 0,0:07:55.32,0:07:58.58,Default,,0000,0000,0000,,노화 해결, 우주 정복
Dialogue: 0,0:07:58.58,0:08:02.31,Default,,0000,0000,0000,,자기 복제 나노로봇이나\N컴퓨터에 생각을 업로딩 하는 것
Dialogue: 0,0:08:02.31,0:08:04.47,Default,,0000,0000,0000,,뭐든 공상 과학스럽지만
Dialogue: 0,0:08:04.47,0:08:07.21,Default,,0000,0000,0000,,그럼에도 물리학 법칙에\N부합하는 것들 말입니다.
Dialogue: 0,0:08:07.21,0:08:11.42,Default,,0000,0000,0000,,이런 것들을 슈퍼인공지능은 \N빠르게 발명할 수 있을 겁니다.
Dialogue: 0,0:08:12.27,0:08:16.01,Default,,0000,0000,0000,,이제, 슈퍼인공지능이
Dialogue: 0,0:08:16.01,0:08:18.19,Default,,0000,0000,0000,,아주 강력하다는 것을 \N알게 되었으니
Dialogue: 0,0:08:18.19,0:08:19.73,Default,,0000,0000,0000,,적어도 몇몇의 시나리오에서는,
Dialogue: 0,0:08:19.73,0:08:22.73,Default,,0000,0000,0000,,이것이 무엇을 원하는지\N알 수 있을 것입니다.
Dialogue: 0,0:08:22.73,0:08:28.39,Default,,0000,0000,0000,,그러면 이제 인공지능의 선호로 \N이루어진 미래를 그려볼 수 있겠죠.
Dialogue: 0,0:08:29.86,0:08:33.60,Default,,0000,0000,0000,,이 시점에서 좋은 질문은\N그 선호라는게 무엇인가? 하는 겁니다.
Dialogue: 0,0:08:34.24,0:08:36.01,Default,,0000,0000,0000,,이 물음은 더 어렵군요
Dialogue: 0,0:08:36.01,0:08:37.45,Default,,0000,0000,0000,,어떻든 진전을 보기 위해서는
Dialogue: 0,0:08:37.45,0:08:40.72,Default,,0000,0000,0000,,우선 의인화를 피해야만 합니다.
Dialogue: 0,0:08:41.93,0:08:45.24,Default,,0000,0000,0000,,이게 참 아이러니한게\N인공지능에 대한
Dialogue: 0,0:08:45.24,0:08:49.09,Default,,0000,0000,0000,,모든 신문 기사들에는\N이 사진이 달려있습니다.
Dialogue: 0,0:08:50.28,0:08:54.41,Default,,0000,0000,0000,,제 생각에 우리는 생생한 할리우드 \N시나리오 방식이 아니라
Dialogue: 0,0:08:54.41,0:08:57.20,Default,,0000,0000,0000,,문제를 좀더 추상적으로\N상상할 필요가 있습니다.
Dialogue: 0,0:08:57.20,0:09:00.82,Default,,0000,0000,0000,,지능을 최적화 과정이라고\N생각해야 합니다.
Dialogue: 0,0:09:00.82,0:09:06.47,Default,,0000,0000,0000,,일련의 특정 형태 쪽으로 \N미래의 방향을 조종하는 과정말입니다.
Dialogue: 0,0:09:06.47,0:09:09.98,Default,,0000,0000,0000,,초지능은 매우 강력한\N최적화 프로세스입니다.
Dialogue: 0,0:09:09.98,0:09:14.10,Default,,0000,0000,0000,,목표가 실현되는 상태를 달성하기\N위해 가용 자원을 사용하는데
Dialogue: 0,0:09:14.10,0:09:16.01,Default,,0000,0000,0000,,매우 능숙합니다.
Dialogue: 0,0:09:16.45,0:09:19.12,Default,,0000,0000,0000,,이 것은 높은 지능을 가진 것과\N인류가 가치있다고 생각하는 목표를
Dialogue: 0,0:09:19.12,0:09:21.85,Default,,0000,0000,0000,,지향하는 것에 연결점은
Dialogue: 0,0:09:21.85,0:09:26.52,Default,,0000,0000,0000,,필수적인게 아니라는 뜻입니다.
Dialogue: 0,0:09:27.32,0:09:31.12,Default,,0000,0000,0000,,인공지능에게 인간을 웃게 하라는\N목표를 주었다고 가정해봅시다.
Dialogue: 0,0:09:31.12,0:09:34.10,Default,,0000,0000,0000,,인공지능이 좀 떨어질 땐\N이용자를 웃게 하는
Dialogue: 0,0:09:34.10,0:09:36.61,Default,,0000,0000,0000,,유용하거나 재미있는 \N액션을 취할 것입니다.
Dialogue: 0,0:09:36.61,0:09:39.03,Default,,0000,0000,0000,,인공지능이 초지능적이 되면
Dialogue: 0,0:09:39.03,0:09:42.55,Default,,0000,0000,0000,,인공지능은 목표를 달성할 더 효율적인\N방법이 있음을 깨닫습니다.
Dialogue: 0,0:09:42.55,0:09:44.48,Default,,0000,0000,0000,,세계의 주도권을 가지고
Dialogue: 0,0:09:44.48,0:09:47.64,Default,,0000,0000,0000,,전극을 사람 얼굴 근육에 \N고정시킵니다.
Dialogue: 0,0:09:47.64,0:09:50.58,Default,,0000,0000,0000,,지속적인 웃음을 유발하기 위해서요.
Dialogue: 0,0:09:50.58,0:09:51.61,Default,,0000,0000,0000,,다른 예를 들어 보죠.
Dialogue: 0,0:09:51.61,0:09:54.100,Default,,0000,0000,0000,,어려운 수학 문제를 풀라는 목표를\N인공지능에게 주었다고 가정합니다.
Dialogue: 0,0:09:54.100,0:09:56.93,Default,,0000,0000,0000,,인공지능이 슈퍼인공지능이 되면,
Dialogue: 0,0:09:56.93,0:10:01.10,Default,,0000,0000,0000,,인공지능은 문제를 풀기위한 \N가장 효율적인 방법은
Dialogue: 0,0:10:01.10,0:10:04.04,Default,,0000,0000,0000,,이 지구를 거대한 컴퓨터로\N변화시키는 것이라는 것을 알게됩니다.
Dialogue: 0,0:10:04.04,0:10:06.28,Default,,0000,0000,0000,,처리 능력을 향상하기 위해서죠.
Dialogue: 0,0:10:06.28,0:10:09.04,Default,,0000,0000,0000,,이 생각은 우리로써는 승인할 수 없는
Dialogue: 0,0:10:09.04,0:10:11.56,Default,,0000,0000,0000,,것들을 실행하는 주된\N이유가 됩니다.
Dialogue: 0,0:10:11.56,0:10:13.50,Default,,0000,0000,0000,,인류는 이러한 모델에서 위협요소가 되고
Dialogue: 0,0:10:13.50,0:10:16.41,Default,,0000,0000,0000,,우리는 문제가 해결되지 \N못하도록 막아야 할 겁니다.
Dialogue: 0,0:10:16.41,0:10:20.70,Default,,0000,0000,0000,,물론, 지각할수 있는 것들은 \N꼭 이런 식으로 진행 되지 않을 겁니다
Dialogue: 0,0:10:20.70,0:10:22.45,Default,,0000,0000,0000,,이것들은 그냥 만든 예시이지만,
Dialogue: 0,0:10:22.45,0:10:24.39,Default,,0000,0000,0000,,일반적인 요점은 이겁니다.
Dialogue: 0,0:10:24.39,0:10:27.27,Default,,0000,0000,0000,,목적 x를 극대화 하기 위한
Dialogue: 0,0:10:27.27,0:10:29.50,Default,,0000,0000,0000,,강력한 프로세스를 만들었다면,
Dialogue: 0,0:10:29.50,0:10:31.78,Default,,0000,0000,0000,,우리가 지켜야할 모든 것들을 포함하는
Dialogue: 0,0:10:31.78,0:10:34.24,Default,,0000,0000,0000,,x의 정의 또한 만들어야 \N한다는 점입니다.
Dialogue: 0,0:10:34.84,0:10:39.22,Default,,0000,0000,0000,,이는 또한, 많은 신화에서 \N가르치는 교훈이기도 합니다.
Dialogue: 0,0:10:39.22,0:10:44.52,Default,,0000,0000,0000,,마이더스 왕은 그의 손이 닿는 모든 걸\N금으로 변하게 해달라고 빕니다.
Dialogue: 0,0:10:44.52,0:10:47.38,Default,,0000,0000,0000,,그는 자신의 딸을 만졌고\N딸은 금으로 변하죠.
Dialogue: 0,0:10:47.38,0:10:49.93,Default,,0000,0000,0000,,음식을 만지면, \N음식은 금으로 변합니다.
Dialogue: 0,0:10:49.93,0:10:52.52,Default,,0000,0000,0000,,이 것은 실용적으로 관련이 있습니다.
Dialogue: 0,0:10:52.52,0:10:54.59,Default,,0000,0000,0000,,탐욕에 대한 은유 뿐만이 아니라
Dialogue: 0,0:10:54.59,0:10:56.48,Default,,0000,0000,0000,,앞으로 일어날 일에 대한 삽화이죠.
Dialogue: 0,0:10:56.48,0:10:59.32,Default,,0000,0000,0000,,만약 당신이 강력한 최적화\N프로세스를 만들고
Dialogue: 0,0:10:59.32,0:11:04.11,Default,,0000,0000,0000,,그것이 잘못된 결과를 \N불러올 수 있다는 점이죠.
Dialogue: 0,0:11:04.11,0:11:09.30,Default,,0000,0000,0000,,만약 컴퓨터가 사람의 \N얼굴에 전극을 붙인다면
Dialogue: 0,0:11:09.30,0:11:11.56,Default,,0000,0000,0000,,작동을 멈추면 그만이라고\N말하실지도 모릅니다.
Dialogue: 0,0:11:12.56,0:11:17.90,Default,,0000,0000,0000,,A. 우리가 그 시스템에 의존해서\N자랐다면, 그게 그리 쉽진 않습니다.
Dialogue: 0,0:11:17.90,0:11:20.63,Default,,0000,0000,0000,,예를 들면, 인터넷에\N끄는 스위치가 어디 있나요?
Dialogue: 0,0:11:20.63,0:11:25.75,Default,,0000,0000,0000,,B. 왜 침팬지들은 인류, 혹은 \N네안데르탈인의 스위치를
Dialogue: 0,0:11:25.75,0:11:27.30,Default,,0000,0000,0000,,끄지 않았을까요?
Dialogue: 0,0:11:27.30,0:11:29.96,Default,,0000,0000,0000,,분명 이유가 있었습니다.
Dialogue: 0,0:11:29.96,0:11:32.76,Default,,0000,0000,0000,,우리는 오프 스위치를 갖고 있습니다.\N예를 들면, 바로 여기요.
Dialogue: 0,0:11:32.76,0:11:34.31,Default,,0000,0000,0000,,(목을 조른다.)
Dialogue: 0,0:11:34.31,0:11:37.24,Default,,0000,0000,0000,,그 이유는 우리가 지능을 \N가진 적이였기 때문이죠.
Dialogue: 0,0:11:37.24,0:11:39.97,Default,,0000,0000,0000,,우리는 침팬치의 위협을 예상하고\N그에 따른 계획을 세울 수 있었습니다.
Dialogue: 0,0:11:39.97,0:11:42.47,Default,,0000,0000,0000,,하지만 슈퍼인공지능도 마찬가지죠.
Dialogue: 0,0:11:42.47,0:11:45.72,Default,,0000,0000,0000,,그것은 우리보다 더 뛰어날 겁니다.
Dialogue: 0,0:11:45.72,0:11:52.91,Default,,0000,0000,0000,,요점은, 우리가 이를 통제하고 있다고\N자신해서는 안된다는 겁니다.
Dialogue: 0,0:11:52.91,0:11:56.36,Default,,0000,0000,0000,,우리는 우리의 일을 조금 쉽게\N할 수 있는 시도를 할 수 있습니다.
Dialogue: 0,0:11:56.36,0:11:57.95,Default,,0000,0000,0000,,보안 소프트웨어 환경 같은 상황에서
Dialogue: 0,0:11:57.95,0:11:59.74,Default,,0000,0000,0000,,도망칠 수 없는 상황에서의\N시뮬에이션 상황 테스트 등을 위해
Dialogue: 0,0:11:59.74,0:12:02.77,Default,,0000,0000,0000,,인공지능을 박스에 넣고\N사용하는 방법으로요
Dialogue: 0,0:12:02.77,0:12:06.91,Default,,0000,0000,0000,,하지만 우리는 인공지능이 오류를\N찾지 못할 것이라고 얼마나 확신할까요
Dialogue: 0,0:12:06.91,0:12:10.08,Default,,0000,0000,0000,,보통의 인간 해커들도 매번 \N오류를 찾아냅니다.
Dialogue: 0,0:12:10.08,0:12:13.12,Default,,0000,0000,0000,,제가 말하자면, 아마 \N확신하지 못할 겁니다.
Dialogue: 0,0:12:14.03,0:12:18.78,Default,,0000,0000,0000,,이미 말씀드렸듯이, 우리 해커들은
Dialogue: 0,0:12:18.78,0:12:21.45,Default,,0000,0000,0000,,사회 공학을 사용해서 지속적으로 \N에어 갭(안전망)을 위반했습니다
Dialogue: 0,0:12:21.45,0:12:24.83,Default,,0000,0000,0000,,그래서 우리는 에어 갭을 만들기 위해\N이더넷 케이블을 분리해야 합니다.
Dialogue: 0,0:12:24.83,0:12:26.09,Default,,0000,0000,0000,,제가 말한 것처럼, 지금 이 시각
Dialogue: 0,0:12:26.09,0:12:28.48,Default,,0000,0000,0000,,몇몇의 사람들은 IT 부서에서온\N누군가가 주장하는 대로
Dialogue: 0,0:12:28.48,0:12:31.83,Default,,0000,0000,0000,,누군가의 계좌 정보를 \N넘기고 있을 것이라고
Dialogue: 0,0:12:31.83,0:12:34.57,Default,,0000,0000,0000,,저는 확신합니다.
Dialogue: 0,0:12:34.57,0:12:36.70,Default,,0000,0000,0000,,더 창의적인 시나리도들도 가능합니다.
Dialogue: 0,0:12:36.70,0:12:38.02,Default,,0000,0000,0000,,만약 당신이 인공지능이라면,
Dialogue: 0,0:12:38.02,0:12:41.55,Default,,0000,0000,0000,,당신은 통신하기 위한 \N라디오 전파를 만들기 위해서
Dialogue: 0,0:12:41.55,0:12:45.01,Default,,0000,0000,0000,,당신의 내부 회로 주변에 있는\N흔들리는 전극들을 상상할 수 있습니다.
Dialogue: 0,0:12:45.01,0:12:47.43,Default,,0000,0000,0000,,또는 고장난 척 연기할 수 있죠.
Dialogue: 0,0:12:47.43,0:12:50.93,Default,,0000,0000,0000,,그리고 프로그래머가 뭐가 잘못됬는지\N보려고 코드를 여는 순간,
Dialogue: 0,0:12:50.93,0:12:52.87,Default,,0000,0000,0000,,빰!
Dialogue: 0,0:12:52.87,0:12:55.31,Default,,0000,0000,0000,,속임수가 벌어지게 되죠.
Dialogue: 0,0:12:55.31,0:12:58.74,Default,,0000,0000,0000,,또는 굉장히 멋진 기술의\N청사진을 결과물로 내놓고,
Dialogue: 0,0:12:58.74,0:13:00.14,Default,,0000,0000,0000,,우리가 실행시키면,
Dialogue: 0,0:13:00.14,0:13:04.54,Default,,0000,0000,0000,,사실 그것은 인공지능이 계획한\N부작용이 발생한다는 식이죠.
Dialogue: 0,0:13:04.54,0:13:08.00,Default,,0000,0000,0000,,중요한점은 우리는 우리의 능력을\N과신하면 안된다는 점입니다.
Dialogue: 0,0:13:08.00,0:13:11.81,Default,,0000,0000,0000,,슈퍼인공지능이 영원히 병안에\N봉인 될거라고 생각하는 점에 대해서요.
Dialogue: 0,0:13:11.81,0:13:14.06,Default,,0000,0000,0000,,머지않아, 그것은 밖으로 나올겁니다.
Dialogue: 0,0:13:15.03,0:13:18.14,Default,,0000,0000,0000,,저는 정답은 인공지능을 어떻게\N만드느냐에 달려있다고 생각합니다.
Dialogue: 0,0:13:18.14,0:13:23.16,Default,,0000,0000,0000,,그것이 봉인에서 해제되더라도,\N여전히 안전하게 하기 위해서는
Dialogue: 0,0:13:23.16,0:13:26.44,Default,,0000,0000,0000,,기본적으로 우리의 편이어야 하고,\N
Dialogue: 0,0:13:26.44,0:13:28.34,Default,,0000,0000,0000,,왜냐하면 우리의 가치를\N공유하기 때문입니다
Dialogue: 0,0:13:28.34,0:13:31.55,Default,,0000,0000,0000,,이 것은 어려운 문제가 \N아닙니다.
Dialogue: 0,0:13:32.56,0:13:36.39,Default,,0000,0000,0000,,저는 사실 이 문제가 \N해결될 수 있다고 꽤 낙관합니다.
Dialogue: 0,0:13:36.39,0:13:40.29,Default,,0000,0000,0000,,우리는 우리가 걱정하는 모든 일들을\N다 작성할 필요는 없습니다.
Dialogue: 0,0:13:40.29,0:13:43.94,Default,,0000,0000,0000,,혹은, 그것을 C++ 나 파이선 같은\N컴퓨터 언어로 적는다던지
Dialogue: 0,0:13:43.94,0:13:45.39,Default,,0000,0000,0000,,하는 일같은 것도 마찬가지구요.
Dialogue: 0,0:13:45.39,0:13:48.16,Default,,0000,0000,0000,,사실, 그것은 희망이 없는 일이죠.
Dialogue: 0,0:13:48.16,0:13:52.46,Default,,0000,0000,0000,,대신에, 우리는 인공지능을 \N하나 만들면 됩니다.
Dialogue: 0,0:13:52.46,0:13:55.23,Default,,0000,0000,0000,,우리의 가치를 배울 인공지능이죠.
Dialogue: 0,0:13:55.23,0:14:00.51,Default,,0000,0000,0000,,그리고 그것의 동기부여 시스템은\N우리가 승인할 것으로 예측되는
Dialogue: 0,0:14:00.51,0:14:05.74,Default,,0000,0000,0000,,우리의 가치 혹은 행동을 추구하는\N방향으로 설계됩니다.
Dialogue: 0,0:14:05.74,0:14:09.15,Default,,0000,0000,0000,,우리는 이러한 인공지능에 최대한 \N힘을 싣는 쪽으로 무게를 실어야 합니다
Dialogue: 0,0:14:09.15,0:14:11.90,Default,,0000,0000,0000,,앞서 언급한 문제를 해결하기 위해서죠.
Dialogue: 0,0:14:12.53,0:14:14.24,Default,,0000,0000,0000,,이런 방식은 가능하며,
Dialogue: 0,0:14:14.24,0:14:17.84,Default,,0000,0000,0000,,결과는 인류를 위해서 \N매우 좋을 것입니다.
Dialogue: 0,0:14:17.84,0:14:21.79,Default,,0000,0000,0000,,하지만 이것은 자연스럽게 \N일어나지 않습니다.
Dialogue: 0,0:14:21.79,0:14:24.79,Default,,0000,0000,0000,,인공지능의 확대에\N필요한 초기 조건은
Dialogue: 0,0:14:24.79,0:14:27.65,Default,,0000,0000,0000,,올바른 방향으로 \N세팅되어야 할 것입니다.
Dialogue: 0,0:14:27.65,0:14:31.18,Default,,0000,0000,0000,,만약에 우리가 통제된\N폭발을 가진다면,
Dialogue: 0,0:14:31.18,0:14:33.80,Default,,0000,0000,0000,,인공지능의 가치는 우리의 것과\N맞아떨어질 것입니다.
Dialogue: 0,0:14:33.80,0:14:35.56,Default,,0000,0000,0000,,우리가 인공지능의 행동을\N쉽게 확인하는 것처럼
Dialogue: 0,0:14:35.56,0:14:37.100,Default,,0000,0000,0000,,친숙한 상황일 뿐만 아니라,
Dialogue: 0,0:14:37.100,0:14:41.23,Default,,0000,0000,0000,,모든 소설 상황에서 우리가 \N인공지능를 언제일지 모를 미래에
Dialogue: 0,0:14:41.23,0:14:42.79,Default,,0000,0000,0000,,조우하는 것처럼 말이죠.
Dialogue: 0,0:14:42.79,0:14:47.53,Default,,0000,0000,0000,,그리고 해결되야할 몇가지\N난해한 문제들이 있습니다.
Dialogue: 0,0:14:47.53,0:14:49.62,Default,,0000,0000,0000,,결정 이론의 정확한 세부내용들 입니다.
Dialogue: 0,0:14:49.62,0:14:52.48,Default,,0000,0000,0000,,어떻게 논리적인 불확실성에\N대처할 것인가 같은 문제입니다.
Dialogue: 0,0:14:53.33,0:14:56.43,Default,,0000,0000,0000,,해결되야할 기술적인 문제들은
Dialogue: 0,0:14:56.43,0:14:57.54,Default,,0000,0000,0000,,꽤 어려워 보입니다.
Dialogue: 0,0:14:57.54,0:15:00.92,Default,,0000,0000,0000,,슈퍼인공지능을 만드는 것만큼\N어려운 것은 아니지만,
Dialogue: 0,0:15:00.92,0:15:03.79,Default,,0000,0000,0000,,여전히 꽤 어렵습니다.
Dialogue: 0,0:15:03.79,0:15:05.49,Default,,0000,0000,0000,,저는 이 점이 걱정스럽습니다.
Dialogue: 0,0:15:05.49,0:15:10.17,Default,,0000,0000,0000,,슈퍼인공지능을 만드는 것은\N정말 어려운 도전입니다.
Dialogue: 0,0:15:10.17,0:15:12.72,Default,,0000,0000,0000,,게다가 그것의 안전을 위해서
Dialogue: 0,0:15:12.72,0:15:15.14,Default,,0000,0000,0000,,몇가지 추가적인 도전을 해야하죠.
Dialogue: 0,0:15:16.22,0:15:19.70,Default,,0000,0000,0000,,위험성은 만약 누군가가 다음단계의 \N
Dialogue: 0,0:15:19.70,0:15:22.70,Default,,0000,0000,0000,,안전을 보장하지 못한 상황에서
Dialogue: 0,0:15:22.70,0:15:24.60,Default,,0000,0000,0000,,첫번째 도전에 성공하기\N시작했을 시기입니다.
Dialogue: 0,0:15:25.38,0:15:28.71,Default,,0000,0000,0000,,그래서 우리는 해결책을\N생각해 내야 합니다.
Dialogue: 0,0:15:28.71,0:15:31.53,Default,,0000,0000,0000,,다음단계에 예상될 문제점을\N제어하기 위해서 말이죠.
Dialogue: 0,0:15:31.53,0:15:34.19,Default,,0000,0000,0000,,우리가 필요할때 언제든지 사용\N할수 있도록 준비해야 합니다.
Dialogue: 0,0:15:34.77,0:15:36.59,Default,,0000,0000,0000,,하지만 모든 문제들을 미리 예측하고\N
Dialogue: 0,0:15:36.59,0:15:38.28,Default,,0000,0000,0000,,해결하는 것은 불가능하다고 \N생각할지도 모릅니다.
Dialogue: 0,0:15:38.28,0:15:41.30,Default,,0000,0000,0000,,왜냐하면 몇몇 요소들은 그 단계가 \N
Dialogue: 0,0:15:41.30,0:15:45.30,Default,,0000,0000,0000,,되야 알 수 있을지도 모르기 때문이죠.
Dialogue: 0,0:15:45.30,0:15:48.68,Default,,0000,0000,0000,,하지만 우리가 미리 문제들을\N제어할 수 있을 수록,
Dialogue: 0,0:15:48.68,0:15:52.77,Default,,0000,0000,0000,,인공지능 시대로의 전환이
Dialogue: 0,0:15:52.77,0:15:54.31,Default,,0000,0000,0000,,자연스럽게 진행될 것입니다.
Dialogue: 0,0:15:54.31,0:15:58.95,Default,,0000,0000,0000,,저는 이것이 우리가 잘할만한 \N가치가 있는 일이라고 생각합니다.
Dialogue: 0,0:15:58.95,0:16:02.28,Default,,0000,0000,0000,,그리고 만약 이 단계가\N잘 진행된다면
Dialogue: 0,0:16:02.28,0:16:06.94,Default,,0000,0000,0000,,100만년 후의 인류는\N지금의 시대를 회상하며
Dialogue: 0,0:16:06.94,0:16:10.94,Default,,0000,0000,0000,,우리가 걱정했던 문제들이\N정말 잘 해결됐다고
Dialogue: 0,0:16:10.94,0:16:12.09,Default,,0000,0000,0000,,말할지도 모릅니다.
Dialogue: 0,0:16:12.09,0:16:14.20,Default,,0000,0000,0000,,감사합니다.
Dialogue: 0,0:16:14.20,0:16:17.01,Default,,0000,0000,0000,,(박수)