1
00:00:00,570 --> 00:00:04,777
저는 많은 수학자, 철학자
컴퓨터 과학자와 같이 일하는데

2
00:00:04,777 --> 00:00:09,986
우리는 여러 가지 가운데서도
기계 학습의 미래에 대해

3
00:00:09,986 --> 00:00:12,030
둘러 앉아 생각합니다.

4
00:00:12,030 --> 00:00:16,755
혹자는 이것들을 공상 과학스럽다거나

5
00:00:16,755 --> 00:00:19,856
너무 먼 이야기라거나
말도 안된다고 생각합니다.

6
00:00:19,856 --> 00:00:21,326
하지만 제가 말씀드리고 싶은 것은

7
00:00:21,326 --> 00:00:24,930
좋아요. 현대 인류의 상태를 보죠.

8
00:00:24,930 --> 00:00:26,622
(웃음)

9
00:00:26,622 --> 00:00:29,024
이게 평범한 모습이죠.

10
00:00:29,024 --> 00:00:31,309
하지만 생각해보면

11
00:00:31,309 --> 00:00:34,602
사실, 우리는 이 행성에
가장 최근에 도착한 손님입니다.

12
00:00:34,602 --> 00:00:36,684
인류 말입니다.

13
00:00:36,684 --> 00:00:41,430
지구가 1년 전에 생겨났다고
생각해보십시오.

14
00:00:41,430 --> 00:00:44,978
그럼 인류는 생겨난지 10분 된겁니다.

15
00:00:44,978 --> 00:00:48,146
산업화 시대는 
2초 전에 시작되었습니다.

16
00:00:49,276 --> 00:00:54,501
다른 방법으로는, 지난 만년 간의
전세계 GDP를 보는 것인데

17
00:00:54,501 --> 00:00:57,530
실은 제가 여러분을 위해
그래프로 그리는 수고를 했습니다.

18
00:00:57,530 --> 00:00:59,304
이렇게 생겼습니다.

19
00:00:59,304 --> 00:01:00,667
(웃음)

20
00:01:00,667 --> 00:01:02,818
정상적인 상태치고는
기묘한 모양새죠.

21
00:01:02,818 --> 00:01:04,516
저기에 앉으면 안될 것 같군요.

22
00:01:04,516 --> 00:01:07,067
(웃음)

23
00:01:07,067 --> 00:01:11,841
자문해보죠. 현재의 이 변칙의
원인은 무엇입니까?

24
00:01:11,841 --> 00:01:14,393
혹자는 기술이라고 할 것입니다.

25
00:01:14,393 --> 00:01:19,061
맞습니다. 기술은 
인류의 역사에 걸쳐 축적되어왔고

26
00:01:19,061 --> 00:01:23,713
지금은 기술이 극도로 빠르게
발전하고 있습니다.

27
00:01:23,713 --> 00:01:25,278
그것이 가장 가까운 원인이고

28
00:01:25,278 --> 00:01:27,843
우리가 현재 아주 생산적인
이유이기도 합니다.

29
00:01:28,473 --> 00:01:32,134
하지만 더 멀리 돌이켜
근본적 원인을 생각해보고자 합니다.

30
00:01:33,114 --> 00:01:36,880
아주 유명한 두 신사를 한번 보시죠.

31
00:01:36,880 --> 00:01:38,480
침팬지 칸지는

32
00:01:38,480 --> 00:01:43,123
200개의 어휘 토큰을 숙달하는
놀라운 위업을 이뤘고

33
00:01:43,123 --> 00:01:46,817
그리고 에드 위튼은
제 2차 초끈이론을 촉발시켰습니다.

34
00:01:46,817 --> 00:01:49,141
덮개 안쪽을 보면
이런 걸 보게 됩니다.

35
00:01:49,141 --> 00:01:50,711
기본적으로는 똑같습니다.

36
00:01:50,711 --> 00:01:52,524
한 쪽이 좀 더 크고

37
00:01:52,524 --> 00:01:55,282
아마도 와이어링의 정확한 방법에
몇가지 요령이 있었나 봅니다.

38
00:01:55,282 --> 00:01:59,094
하지만 이 보이지 않는 차이점들은
그리 복잡하지 않습니다.

39
00:01:59,094 --> 00:02:03,379
우리의 마지막 공통 
조상으로부터 단 25만 세대밖에

40
00:02:03,379 --> 00:02:05,111
지나지 않았기 때문입니다.

41
00:02:05,111 --> 00:02:08,960
복잡한 메커니즘은
진화하는데 오랜 시간이 걸리구요.

42
00:02:10,000 --> 00:02:12,499
따라서, 비교적 중요하지않은
여러 변화들이

43
00:02:12,499 --> 00:02:15,566
우리를 칸지에서 위튼으로,

44
00:02:15,566 --> 00:02:20,109
부러진 나뭇가지에서
대륙간 탄도 미사일로 데려온 겁니다.

45
00:02:20,839 --> 00:02:24,774
그럼 이제, 우리가 
이룩해온 거의 모든 것,

46
00:02:24,774 --> 00:02:26,152
우리가 관심있는 모든 것들은

47
00:02:26,152 --> 00:02:31,380
사람의 마음을 바꾸도록 만든
조금의 변화에 달려 있었습니다.

48
00:02:32,650 --> 00:02:36,312
물론, 그 결과는 
추가적인 변화를 이끌어내고

49
00:02:36,312 --> 00:02:39,789
그 것은 생각의 기질의 상당한
변화를 만들 수 있습니다.

50
00:02:39,789 --> 00:02:42,991
잠재적으로 엄청난 결과를
이끌어 낼 수 있죠.

51
00:02:44,321 --> 00:02:47,226
제 동료 중 몇몇은

52
00:02:47,226 --> 00:02:51,134
무언가가 그 기질의 
엄청난 변화를 일으키기 직전이며

53
00:02:51,134 --> 00:02:54,347
그것은 기계 초지능일거라 생각합니다.

54
00:02:54,347 --> 00:02:59,086
과거 인공지능은
박스에 명령을 넣는 것이었습니다.

55
00:02:59,086 --> 00:03:00,751
인간 프로그래머가

56
00:03:00,751 --> 00:03:03,886
지식 아이템을
힘들게 손수 만들어냅니다.

57
00:03:03,886 --> 00:03:05,972
이러한 전문가 시스템을 구축하면

58
00:03:05,972 --> 00:03:08,296
어떤 목적으로는 어느정도 유용하지만

59
00:03:08,296 --> 00:03:10,977
실은 아주 취약해서
조정할 수 없습니다.

60
00:03:10,977 --> 00:03:14,410
결국 입력하는 대로만
결과를 얻게됩니다.

61
00:03:14,410 --> 00:03:15,407
하지만 그때부터

62
00:03:15,407 --> 00:03:18,874
인공지능 분야에서
패러다임 변화가 일어났습니다.

63
00:03:18,874 --> 00:03:21,644
오늘날엔, 기계 학습을 중심으로
움직이고 있습니다.

64
00:03:22,394 --> 00:03:27,781
따라서 지식 표현과 특징을
손수 만들기 보다는

65
00:03:28,511 --> 00:03:34,065
때론 원초적 지각 데이터로부터 배우는
알고리즘을 만듭니다.

66
00:03:34,065 --> 00:03:39,063
유아기 인간이 하는 것과
기본적으로 같은 것이죠.

67
00:03:39,063 --> 00:03:43,270
결론적으로 인공지능은
한 도메인에 국한되지 않습니다.

68
00:03:43,270 --> 00:03:47,901
똑같은 시스템으로 어떠한 
언어도 번역할 수 있고

69
00:03:47,901 --> 00:03:53,338
또는, 아타리 콘솔의 어떠한
컴퓨터 게임도 플레이 할 수 있습니다.

70
00:03:53,338 --> 00:03:55,117
물론 지금은,

71
00:03:55,117 --> 00:03:59,116
인공지능이 인간처럼 행동하고 배우는
강력한, 크로스 도메인의

72
00:03:59,116 --> 00:04:02,335
단계에 와있지는 않습니다.

73
00:04:02,335 --> 00:04:04,461
두뇌피질은 여전히 몇가지의
알고리즘적 트릭들을 가지고 있어서,

74
00:04:04,461 --> 00:04:06,816
기계에 적용시키기는 어렵습니다.

75
00:04:07,886 --> 00:04:09,785
그렇다면 문제는 이겁니다.

76
00:04:09,785 --> 00:04:13,285
그 트릭들을 일치시킬 수 있기까지
얼마나 더 걸릴 것인가?

77
00:04:14,245 --> 00:04:15,328
2년 전 쯤에

78
00:04:15,328 --> 00:04:18,216
세계 주요 인공지능 전문가들을
대상으로 그들의 의견을 조사했는데

79
00:04:18,216 --> 00:04:21,440
우리가 했던 질문 중 하나는

80
00:04:21,440 --> 00:04:24,793
"우리가 인간 수준의 
기계 학습에 달성할 가능성이

81
00:04:24,793 --> 00:04:28,275
50%가 되는 해는 언제라고 
생각하십니까?" 였습니다.

82
00:04:28,785 --> 00:04:32,968
여기서 인간 수준이라는 것은
최소한 성인 인간만큼

83
00:04:32,968 --> 00:04:35,839
거의 모든 일을 수행하는
능력을 말합니다.

84
00:04:35,839 --> 00:04:39,844
그저 몇몇 범위에 국한된 것이 아니라
진짜 인간 수준 말입니다.

85
00:04:39,844 --> 00:04:43,494
답변의 중간값은 2040년이나 
2050년이었습니다.

86
00:04:43,494 --> 00:04:46,300
우리가 질문했던 전문가
그룹에 따라 달랐습니다.

87
00:04:46,300 --> 00:04:50,339
훨씬 훨씬 나중에,
혹은 더 일찍 일어날 수 있지만

88
00:04:50,339 --> 00:04:52,279
진실은 아무도 모르는 거겠죠.

89
00:04:53,259 --> 00:04:57,671
우리가 아는 것은, 기계 기판의
정보 처리의 궁극적 한계가

90
00:04:57,671 --> 00:05:02,542
생체조직의 한계보다
훨씬 멀리 있다는 점입니다.

91
00:05:03,241 --> 00:05:05,619
이것은 물리학 이론인데,

92
00:05:05,619 --> 00:05:10,337
생물학적 뉴런은 200헤르츠,
1초에 200번 흥분합니다.

93
00:05:10,337 --> 00:05:13,931
그러나 하물며 오늘날의 트랜지스터도
기가헤르츠 속도로 작동합니다.

94
00:05:13,931 --> 00:05:19,228
뉴런은 축색돌기에서
최대 초속 100m로 천천히 전달하지만

95
00:05:19,228 --> 00:05:22,339
컴퓨터에서는, 신호가
빛의 속도로 이동할 수 있습니다.

96
00:05:23,079 --> 00:05:24,948
또, 크기의 제한도 있습니다.

97
00:05:24,948 --> 00:05:27,975
인간의 뇌는 두개골 안에
들어가야 하지만

98
00:05:27,975 --> 00:05:32,736
컴퓨터는 창고 크기가 될 수도
혹은 더 클 수도 있습니다.

99
00:05:32,736 --> 00:05:38,335
그러니까 슈퍼인공지능의 가능성은
원자폭탄이 1945년 이후로

100
00:05:38,335 --> 00:05:44,047
잠들어 있는 것 처럼 언제 


101
00:05:44,047 --> 00:05:47,047
시작될지 모르는 문제입니다.

102
00:05:48,452 --> 00:05:49,700
이번 세기에,

103
00:05:49,700 --> 00:05:53,818
과학자들은 인공지능의 파워를
깨울 방법을 알아낼 지도 모릅니다.

104
00:05:53,818 --> 00:05:57,826
그리고 저는 인공지능의 확산을
볼 것이라고 생각합니다.

105
00:05:58,406 --> 00:06:02,363
대부분의 사람들은, 그들이 누가 
똑똑하고 멍청한지에 대해서

106
00:06:02,363 --> 00:06:05,386
이러한 대략적인 생각이 있을
것이라고 생각합니다.

107
00:06:05,386 --> 00:06:07,984
한 쪽 끝에는 바보가 있고

108
00:06:07,984 --> 00:06:10,467
다른 저 쪽 끝에는

109
00:06:10,467 --> 00:06:15,223
에드 위튼이나 알버트 아인슈타인
혹은 여러분이 좋아하는 권위자가 있죠.

110
00:06:15,223 --> 00:06:19,057
하지만 인공지능의 관점에서 보면

111
00:06:19,057 --> 00:06:22,738
실제로는 이런 그림이
그려질거라 생각합니다.

112
00:06:23,258 --> 00:06:26,636
인공지능은 이 지점,
지능이 없는 지점에서 시작해서

113
00:06:26,636 --> 00:06:29,647
수 년 간의 아주 고된 연구 끝에

114
00:06:29,647 --> 00:06:33,491
마침내 쥐 수준의
인공지능에 이르게 됩니다.

115
00:06:33,491 --> 00:06:35,921
마치 쥐처럼
어수선한 환경에서

116
00:06:35,921 --> 00:06:37,908
나아갈 수 있는 수준 말입니다.

117
00:06:37,908 --> 00:06:42,221
그 이후로 더 오랜 고된 
연구와 많은 투자 끝에

118
00:06:42,221 --> 00:06:46,860
마침내 침팬지 수준의
인공지능을 얻게 됩니다.

119
00:06:46,860 --> 00:06:50,070
그리곤 심지어 더 여러 해의
아주 아주 고된 연구 끝에

120
00:06:50,070 --> 00:06:52,983
동네 바보 수준의
인공지능에 이르게 됩니다.

121
00:06:52,983 --> 00:06:56,255
그리고 잠시 뒤엔
에드 위튼을 뛰어넘습니다.

122
00:06:56,255 --> 00:06:59,225
기차는 인간 역에 정차하지 않습니다.

123
00:06:59,225 --> 00:07:02,247
그보다는 휙 하고 
지나가는 것에 가깝죠.

124
00:07:02,247 --> 00:07:04,231
이것은 깊은 의미입니다.

125
00:07:04,231 --> 00:07:08,093
특별히, 힘에 대한 물음에 
대해서는 말이죠

126
00:07:08,093 --> 00:07:09,992
예를들면, 침팬치는 힘이 쎕니다.

127
00:07:09,992 --> 00:07:15,214
파운드로 비교하면, 침펜치는
인간 남성보다 2배가량 강합니다.

128
00:07:15,214 --> 00:07:19,828
그러나, 침팬치 켄지의 운명은
그들이 할 수 있는 것 보다는

129
00:07:19,828 --> 00:07:23,968
인류가 할 수 있는 것에 
달려 있었습니다.

130
00:07:25,228 --> 00:07:27,542
슈퍼인공지능이 존재한다면,

131
00:07:27,542 --> 00:07:29,451
인류의 운명은 아마도

132
00:07:29,451 --> 00:07:32,451
슈퍼인공지능이 할 수
있는 것에 따라 결정될 것입니다.

133
00:07:32,451 --> 00:07:33,508
생각해보세요.

134
00:07:33,508 --> 00:07:38,512
인공지능은 인류가 만들어야하는
마지막 발명품이 될 것입니다.

135
00:07:38,512 --> 00:07:41,525
기계가 우리보다
더 발명을 잘 할 것이며

136
00:07:41,525 --> 00:07:44,065
디지털 시간 척도로
발명을 할 것입니다.

137
00:07:44,065 --> 00:07:48,966
이것은 기본적으로
시간의 압축을 의미합니다.

138
00:07:48,966 --> 00:07:52,524
당신이 상상할 수 있는
모든 괴상한 기술을 생각해보세요.

139
00:07:52,524 --> 00:07:55,322
아마도 인류가 발명하기에는
너무 많은 시간이 필요한 것이죠.

140
00:07:55,322 --> 00:07:58,580
노화 해결, 우주 정복

141
00:07:58,580 --> 00:08:02,311
자기 복제 나노로봇이나
컴퓨터에 생각을 업로딩 하는 것

142
00:08:02,311 --> 00:08:04,470
뭐든 공상 과학스럽지만

143
00:08:04,470 --> 00:08:07,207
그럼에도 물리학 법칙에
부합하는 것들 말입니다.

144
00:08:07,207 --> 00:08:11,419
이런 것들을 슈퍼인공지능은 
빠르게 발명할 수 있을 겁니다.

145
00:08:12,269 --> 00:08:16,007
이제, 슈퍼인공지능이

146
00:08:16,007 --> 00:08:18,186
아주 강력하다는 것을 
알게 되었으니

147
00:08:18,186 --> 00:08:19,732
적어도 몇몇의 시나리오에서는,

148
00:08:19,732 --> 00:08:22,732
이것이 무엇을 원하는지
알 수 있을 것입니다.

149
00:08:22,732 --> 00:08:28,393
그러면 이제 인공지능의 선호로 
이루어진 미래를 그려볼 수 있겠죠.

150
00:08:29,855 --> 00:08:33,604
이 시점에서 좋은 질문은
그 선호라는게 무엇인가? 하는 겁니다.

151
00:08:34,244 --> 00:08:36,013
이 물음은 더 어렵군요

152
00:08:36,013 --> 00:08:37,448
어떻든 진전을 보기 위해서는

153
00:08:37,448 --> 00:08:40,724
우선 의인화를 피해야만 합니다.

154
00:08:41,934 --> 00:08:45,235
이게 참 아이러니한게
인공지능에 대한

155
00:08:45,235 --> 00:08:49,090
모든 신문 기사들에는
이 사진이 달려있습니다.

156
00:08:50,280 --> 00:08:54,414
제 생각에 우리는 생생한 할리우드 
시나리오 방식이 아니라

157
00:08:54,414 --> 00:08:57,204
문제를 좀더 추상적으로
상상할 필요가 있습니다.

158
00:08:57,204 --> 00:09:00,821
지능을 최적화 과정이라고
생각해야 합니다.

159
00:09:00,821 --> 00:09:06,470
일련의 특정 형태 쪽으로 
미래의 방향을 조종하는 과정말입니다.

160
00:09:06,470 --> 00:09:09,981
초지능은 매우 강력한
최적화 프로세스입니다.

161
00:09:09,981 --> 00:09:14,098
목표가 실현되는 상태를 달성하기
위해 가용 자원을 사용하는데

162
00:09:14,098 --> 00:09:16,007
매우 능숙합니다.

163
00:09:16,447 --> 00:09:19,119
이 것은 높은 지능을 가진 것과
인류가 가치있다고 생각하는 목표를

164
00:09:19,119 --> 00:09:21,853
지향하는 것에 연결점은

165
00:09:21,853 --> 00:09:26,515
필수적인게 아니라는 뜻입니다.

166
00:09:27,321 --> 00:09:31,115
인공지능에게 인간을 웃게 하라는
목표를 주었다고 가정해봅시다.

167
00:09:31,115 --> 00:09:34,097
인공지능이 좀 떨어질 땐
이용자를 웃게 하는

168
00:09:34,097 --> 00:09:36,614
유용하거나 재미있는 
액션을 취할 것입니다.

169
00:09:36,614 --> 00:09:39,031
인공지능이 초지능적이 되면

170
00:09:39,031 --> 00:09:42,554
인공지능은 목표를 달성할 더 효율적인
방법이 있음을 깨닫습니다.

171
00:09:42,554 --> 00:09:44,476
세계의 주도권을 가지고

172
00:09:44,476 --> 00:09:47,638
전극을 사람 얼굴 근육에 
고정시킵니다.

173
00:09:47,638 --> 00:09:50,579
지속적인 웃음을 유발하기 위해서요.

174
00:09:50,579 --> 00:09:51,614
다른 예를 들어 보죠.

175
00:09:51,614 --> 00:09:54,997
어려운 수학 문제를 풀라는 목표를
인공지능에게 주었다고 가정합니다.

176
00:09:54,997 --> 00:09:56,934
인공지능이 슈퍼인공지능이 되면,

177
00:09:56,934 --> 00:10:01,105
인공지능은 문제를 풀기위한 
가장 효율적인 방법은

178
00:10:01,105 --> 00:10:04,035
이 지구를 거대한 컴퓨터로
변화시키는 것이라는 것을 알게됩니다.

179
00:10:04,035 --> 00:10:06,281
처리 능력을 향상하기 위해서죠.

180
00:10:06,281 --> 00:10:09,045
이 생각은 우리로써는 승인할 수 없는

181
00:10:09,045 --> 00:10:11,561
것들을 실행하는 주된
이유가 됩니다.

182
00:10:11,561 --> 00:10:13,496
인류는 이러한 모델에서 위협요소가 되고

183
00:10:13,496 --> 00:10:16,407
우리는 문제가 해결되지 
못하도록 막아야 할 겁니다.

184
00:10:16,407 --> 00:10:20,701
물론, 지각할수 있는 것들은 
꼭 이런 식으로 진행 되지 않을 겁니다

185
00:10:20,701 --> 00:10:22,454
이것들은 그냥 만든 예시이지만,

186
00:10:22,454 --> 00:10:24,393
일반적인 요점은 이겁니다.

187
00:10:24,393 --> 00:10:27,266
목적 x를 극대화 하기 위한

188
00:10:27,266 --> 00:10:29,500
강력한 프로세스를 만들었다면,

189
00:10:29,500 --> 00:10:31,776
우리가 지켜야할 모든 것들을 포함하는

190
00:10:31,776 --> 00:10:34,245
x의 정의 또한 만들어야 
한다는 점입니다.

191
00:10:34,835 --> 00:10:39,219
이는 또한, 많은 신화에서 
가르치는 교훈이기도 합니다.

192
00:10:39,219 --> 00:10:44,517
마이더스 왕은 그의 손이 닿는 모든 걸
금으로 변하게 해달라고 빕니다.

193
00:10:44,517 --> 00:10:47,378
그는 자신의 딸을 만졌고
딸은 금으로 변하죠.

194
00:10:47,378 --> 00:10:49,931
음식을 만지면, 
음식은 금으로 변합니다.

195
00:10:49,931 --> 00:10:52,520
이 것은 실용적으로 관련이 있습니다.

196
00:10:52,520 --> 00:10:54,590
탐욕에 대한 은유 뿐만이 아니라

197
00:10:54,590 --> 00:10:56,485
앞으로 일어날 일에 대한 삽화이죠.

198
00:10:56,485 --> 00:10:59,322
만약 당신이 강력한 최적화
프로세스를 만들고

199
00:10:59,322 --> 00:11:04,111
그것이 잘못된 결과를 
불러올 수 있다는 점이죠.

200
00:11:04,111 --> 00:11:09,300
만약 컴퓨터가 사람의 
얼굴에 전극을 붙인다면

201
00:11:09,300 --> 00:11:11,565
작동을 멈추면 그만이라고
말하실지도 모릅니다.

202
00:11:12,555 --> 00:11:17,895
A. 우리가 그 시스템에 의존해서
자랐다면, 그게 그리 쉽진 않습니다.

203
00:11:17,895 --> 00:11:20,627
예를 들면, 인터넷에
끄는 스위치가 어디 있나요?

204
00:11:20,627 --> 00:11:25,747
B. 왜 침팬지들은 인류, 혹은 
네안데르탈인의 스위치를

205
00:11:25,747 --> 00:11:27,298
끄지 않았을까요?

206
00:11:27,298 --> 00:11:29,964
분명 이유가 있었습니다.

207
00:11:29,964 --> 00:11:32,759
우리는 오프 스위치를 갖고 있습니다.
예를 들면, 바로 여기요.

208
00:11:32,759 --> 00:11:34,313
(목을 조른다.)

209
00:11:34,313 --> 00:11:37,238
그 이유는 우리가 지능을 
가진 적이였기 때문이죠.

210
00:11:37,238 --> 00:11:39,966
우리는 침팬치의 위협을 예상하고
그에 따른 계획을 세울 수 있었습니다.

211
00:11:39,966 --> 00:11:42,470
하지만 슈퍼인공지능도 마찬가지죠.

212
00:11:42,470 --> 00:11:45,724
그것은 우리보다 더 뛰어날 겁니다.

213
00:11:45,724 --> 00:11:52,911
요점은, 우리가 이를 통제하고 있다고
자신해서는 안된다는 겁니다.

214
00:11:52,911 --> 00:11:56,358
우리는 우리의 일을 조금 쉽게
할 수 있는 시도를 할 수 있습니다.

215
00:11:56,358 --> 00:11:57,948
보안 소프트웨어 환경 같은 상황에서

216
00:11:57,948 --> 00:11:59,744
도망칠 수 없는 상황에서의
시뮬에이션 상황 테스트 등을 위해

217
00:11:59,744 --> 00:12:02,766
인공지능을 박스에 넣고
사용하는 방법으로요

218
00:12:02,766 --> 00:12:06,912
하지만 우리는 인공지능이 오류를
찾지 못할 것이라고 얼마나 확신할까요

219
00:12:06,912 --> 00:12:10,081
보통의 인간 해커들도 매번 
오류를 찾아냅니다.

220
00:12:10,081 --> 00:12:13,117
제가 말하자면, 아마 
확신하지 못할 겁니다.

221
00:12:14,027 --> 00:12:18,785
이미 말씀드렸듯이, 우리 해커들은

222
00:12:18,785 --> 00:12:21,453
사회 공학을 사용해서 지속적으로 
에어 갭(안전망)을 위반했습니다

223
00:12:21,453 --> 00:12:24,834
그래서 우리는 에어 갭을 만들기 위해
이더넷 케이블을 분리해야 합니다.

224
00:12:24,834 --> 00:12:26,093
제가 말한 것처럼, 지금 이 시각

225
00:12:26,093 --> 00:12:28,482
몇몇의 사람들은 IT 부서에서온
누군가가 주장하는 대로

226
00:12:28,482 --> 00:12:31,828
누군가의 계좌 정보를 
넘기고 있을 것이라고

227
00:12:31,828 --> 00:12:34,574
저는 확신합니다.

228
00:12:34,574 --> 00:12:36,701
더 창의적인 시나리도들도 가능합니다.

229
00:12:36,701 --> 00:12:38,016
만약 당신이 인공지능이라면,

230
00:12:38,016 --> 00:12:41,548
당신은 통신하기 위한 
라디오 전파를 만들기 위해서

231
00:12:41,548 --> 00:12:45,010
당신의 내부 회로 주변에 있는
흔들리는 전극들을 상상할 수 있습니다.

232
00:12:45,010 --> 00:12:47,434
또는 고장난 척 연기할 수 있죠.

233
00:12:47,434 --> 00:12:50,931
그리고 프로그래머가 뭐가 잘못됬는지
보려고 코드를 여는 순간,

234
00:12:50,931 --> 00:12:52,867
빰!

235
00:12:52,867 --> 00:12:55,314
속임수가 벌어지게 되죠.

236
00:12:55,314 --> 00:12:58,744
또는 굉장히 멋진 기술의
청사진을 결과물로 내놓고,

237
00:12:58,744 --> 00:13:00,142
우리가 실행시키면,

238
00:13:00,142 --> 00:13:04,539
사실 그것은 인공지능이 계획한
부작용이 발생한다는 식이죠.

239
00:13:04,539 --> 00:13:08,002
중요한점은 우리는 우리의 능력을
과신하면 안된다는 점입니다.

240
00:13:08,002 --> 00:13:11,810
슈퍼인공지능이 영원히 병안에
봉인 될거라고 생각하는 점에 대해서요.

241
00:13:11,810 --> 00:13:14,064
머지않아, 그것은 밖으로 나올겁니다.

242
00:13:15,034 --> 00:13:18,137
저는 정답은 인공지능을 어떻게
만드느냐에 달려있다고 생각합니다.

243
00:13:18,137 --> 00:13:23,161
그것이 봉인에서 해제되더라도,
여전히 안전하게 하기 위해서는

244
00:13:23,161 --> 00:13:26,438
기본적으로 우리의 편이어야 하고,


245
00:13:26,438 --> 00:13:28,337
왜냐하면 우리의 가치를
공유하기 때문입니다

246
00:13:28,337 --> 00:13:31,547
이 것은 어려운 문제가 
아닙니다.

247
00:13:32,557 --> 00:13:36,391
저는 사실 이 문제가 
해결될 수 있다고 꽤 낙관합니다.

248
00:13:36,391 --> 00:13:40,294
우리는 우리가 걱정하는 모든 일들을
다 작성할 필요는 없습니다.

249
00:13:40,294 --> 00:13:43,937
혹은, 그것을 C++ 나 파이선 같은
컴퓨터 언어로 적는다던지

250
00:13:43,937 --> 00:13:45,391
하는 일같은 것도 마찬가지구요.

251
00:13:45,391 --> 00:13:48,158
사실, 그것은 희망이 없는 일이죠.

252
00:13:48,158 --> 00:13:52,455
대신에, 우리는 인공지능을 
하나 만들면 됩니다.

253
00:13:52,455 --> 00:13:55,226
우리의 가치를 배울 인공지능이죠.

254
00:13:55,226 --> 00:14:00,506
그리고 그것의 동기부여 시스템은
우리가 승인할 것으로 예측되는

255
00:14:00,506 --> 00:14:05,738
우리의 가치 혹은 행동을 추구하는
방향으로 설계됩니다.

256
00:14:05,738 --> 00:14:09,152
우리는 이러한 인공지능에 최대한 
힘을 싣는 쪽으로 무게를 실어야 합니다

257
00:14:09,152 --> 00:14:11,897
앞서 언급한 문제를 해결하기 위해서죠.

258
00:14:12,527 --> 00:14:14,239
이런 방식은 가능하며,

259
00:14:14,239 --> 00:14:17,835
결과는 인류를 위해서 
매우 좋을 것입니다.

260
00:14:17,835 --> 00:14:21,792
하지만 이것은 자연스럽게 
일어나지 않습니다.

261
00:14:21,792 --> 00:14:24,790
인공지능의 확대에
필요한 초기 조건은

262
00:14:24,790 --> 00:14:27,653
올바른 방향으로 
세팅되어야 할 것입니다.

263
00:14:27,653 --> 00:14:31,183
만약에 우리가 통제된
폭발을 가진다면,

264
00:14:31,183 --> 00:14:33,801
인공지능의 가치는 우리의 것과
맞아떨어질 것입니다.

265
00:14:33,801 --> 00:14:35,561
우리가 인공지능의 행동을
쉽게 확인하는 것처럼

266
00:14:35,561 --> 00:14:37,999
친숙한 상황일 뿐만 아니라,

267
00:14:37,999 --> 00:14:41,233
모든 소설 상황에서 우리가 
인공지능를 언제일지 모를 미래에

268
00:14:41,233 --> 00:14:42,790
조우하는 것처럼 말이죠.

269
00:14:42,790 --> 00:14:47,527
그리고 해결되야할 몇가지
난해한 문제들이 있습니다.

270
00:14:47,527 --> 00:14:49,616
결정 이론의 정확한 세부내용들 입니다.

271
00:14:49,616 --> 00:14:52,480
어떻게 논리적인 불확실성에
대처할 것인가 같은 문제입니다.

272
00:14:53,330 --> 00:14:56,432
해결되야할 기술적인 문제들은

273
00:14:56,432 --> 00:14:57,545
꽤 어려워 보입니다.

274
00:14:57,545 --> 00:15:00,925
슈퍼인공지능을 만드는 것만큼
어려운 것은 아니지만,

275
00:15:00,925 --> 00:15:03,793
여전히 꽤 어렵습니다.

276
00:15:03,793 --> 00:15:05,488
저는 이 점이 걱정스럽습니다.

277
00:15:05,488 --> 00:15:10,172
슈퍼인공지능을 만드는 것은
정말 어려운 도전입니다.

278
00:15:10,172 --> 00:15:12,720
게다가 그것의 안전을 위해서

279
00:15:12,720 --> 00:15:15,136
몇가지 추가적인 도전을 해야하죠.

280
00:15:16,216 --> 00:15:19,703
위험성은 만약 누군가가 다음단계의 


281
00:15:19,703 --> 00:15:22,704
안전을 보장하지 못한 상황에서

282
00:15:22,704 --> 00:15:24,605
첫번째 도전에 성공하기
시작했을 시기입니다.

283
00:15:25,375 --> 00:15:28,706
그래서 우리는 해결책을
생각해 내야 합니다.

284
00:15:28,706 --> 00:15:31,528
다음단계에 예상될 문제점을
제어하기 위해서 말이죠.

285
00:15:31,528 --> 00:15:34,188
우리가 필요할때 언제든지 사용
할수 있도록 준비해야 합니다.

286
00:15:34,768 --> 00:15:36,588
하지만 모든 문제들을 미리 예측하고


287
00:15:36,588 --> 00:15:38,275
해결하는 것은 불가능하다고 
생각할지도 모릅니다.

288
00:15:38,275 --> 00:15:41,299
왜냐하면 몇몇 요소들은 그 단계가 


289
00:15:41,299 --> 00:15:45,296
되야 알 수 있을지도 모르기 때문이죠.

290
00:15:45,296 --> 00:15:48,676
하지만 우리가 미리 문제들을
제어할 수 있을 수록,

291
00:15:48,676 --> 00:15:52,766
인공지능 시대로의 전환이

292
00:15:52,766 --> 00:15:54,306
자연스럽게 진행될 것입니다.

293
00:15:54,306 --> 00:15:58,950
저는 이것이 우리가 잘할만한 
가치가 있는 일이라고 생각합니다.

294
00:15:58,950 --> 00:16:02,282
그리고 만약 이 단계가
잘 진행된다면

295
00:16:02,282 --> 00:16:06,940
100만년 후의 인류는
지금의 시대를 회상하며

296
00:16:06,940 --> 00:16:10,942
우리가 걱정했던 문제들이
정말 잘 해결됐다고

297
00:16:10,942 --> 00:16:12,089
말할지도 모릅니다.

298
00:16:12,089 --> 00:16:14,198
감사합니다.

299
00:16:14,198 --> 00:16:17,011
(박수)