Korean feliratok

← 어떻게 문명이 스스로를 파괴할 수 있는지와 그것을 막을 수 있는 4 가지 방법

철학자인 닉 보스트롬은 인류가 스스로 모두를 파괴할 수 있는 기술적 혁신인 '검은 공'을 창조하는 과정에 있다고 말합니다. TED의 크리스 앤더슨 대표와의 이 날카롭고 놀랄 정도로 유쾌한 대화에서, 보스트롬은 우리의 발명이 그 통제를 넘어선다면 (또는 그때가 왔을 때) 우리가 직면할 수 있는 취약점을 설명하고 어떻게 미래의 종말을 막을 수 있는지를 탐구합니다.

Beágyazókód kérése
23 Languages

Showing Revision 107 created 05/20/2020 by Jihyeon J. Kim.

  1. 크리스 앤더슨: 닉 보스트롬 박사님.
  2. 박사님은 여러 가지 놀라운 아이디어를
    많이 내놨었잖아요.
  3. 몇십 년 전이었던 것 같은데
  4. 우리 모두가 가상공간 속에서
    살지도 모른다고 주장했죠.
  5. 어쩌면 이미 살고 있을 수도 있고요.
  6. 좀 더 최근에는
  7. 인공지능이 어떻게 끔찍하게
    잘못될 수 있는지에 대한
  8. 아주 생생한 예를 그렸습니다.
  9. 그리고 올해는
  10. 곧 논문을 발표하실 거고요.
  11. 취약한 세계 가설이라 부르는
    것에 관한 논문 말입니다.
  12. 오늘 저녁에는그 논문에 대해
    설명을 좀 들어 보겠습니다.
  13. 그럼, 시작해 볼까요?
  14. 그 가설은 어떤 것인가요?
  15. 닉 보스트롬: 현재 인류의 상태에 대한

  16. 일종의 구조적 특징에 대해
    생각해 보려고 합니다.
  17. 대표님은 항아리 은유법을 좋아하잖아요.
  18. 그래서 그걸로 설명해 보겠습니다.
  19. 공이 가득 든 큰 항아리를
    상상해 보세요.
  20. 공은 아이디어, 방법들,
    가능한 기술들을 나타내죠.
  21. 인류의 창의성 역사를
  22. 이 항아리에 손을 넣어 공을 하나씩
    뽑아내는 것으로 생각할 수 있습니다.
  23. 지금까지 순 효과는 큰 득이 됐고요.
  24. 우리가 뽑아낸 건 수많은 하얀 공과
  25. 축복이자 저주일지 모르는
    일부의 회색 빛깔 공이었습니다.
  26. 지금까지 검은 공을 뽑은 적이 없었죠.
  27. 검은 공은 그것을 발견한 문명을
    확실하게 파괴할 수 있는 기술입니다.
  28. 논문에선 무엇이 그런 검은 공이
    될 수 있는지 생각해 보려고 합니다.
  29. CA: 그러니까 박사님은 그 공을

  30. 필연적으로 문명의 파괴를
    초래하는 것으로 정의하는 군요.
  31. NB: 이른바 반 무정부 상태를
    벗어나지 않는다면 그렇겠죠.

  32. 어떤 조치를 취하지 않는다면요.
  33. CA: 그러니까 박사님은
    일종의 반증을 보여줌으로써

  34. 이 주장을 설득력있게 만들었군요.
  35. 즉 우리는 지금까지 운이 좋았을 뿐이고
  36. 파멸의 공을 뽑았을지도
    모른다고 생각하시는 거죠.
  37. 우리도 모르는 사이에 말이죠.
  38. 여기 인용문이 있는데,
    이 인용문은 뭐죠?
  39. [천체 물리학의 끝은 수소 폭탄이다.
    뉴튼(이 아니고) 닉 보스트롬]
  40. NB: 제 생각엔 그건 단지
    기본적인 발견이 어떤 결과를 가져올지

  41. 예측하는 것의 어려움을 보인 겁니다.
  42. 우리는 그런 능력이 없습니다.
  43. 우리는 공을 뽑는 데는 능숙하지만
  44. 공을 다시 항아리에 넣는
    능력은 정말 없거든요.
  45. 우리는 발명을 할 순 있지만
    발명한 걸 없던 걸로 할 순 없습니다.
  46. 그래서 우리 전략은 말 그대로
  47. 항아리에 검은 공이 없기를
    바라는 겁니다.
  48. CA: 일단 밖으로 나오면 나온 것이고
    그걸 다시 넣을 수는 없는데

  49. 그동안 운이 좋았다고 생각하는군요.
  50. 몇 가지 예를 살펴봅시다.
  51. 박사님은 서로 다른 유형의
    취약성에 대해 이야기합니다.
  52. NB: 가장 이해하기
    쉬운 예는 기술이죠.

  53. 대량 파괴를 매우 쉽게
    만드는 기술 말입니다.
  54. [누구나 대량 파괴 수단을 쉽게 취득]
  55. 합성 생물학은 그런 종류 검은 공의
    풍부한 원천이 될 수 있습니다.
  56. 하지만 다른 많은 것들이 가능하죠.
  57. 지구 공학에 대해 생각해 보십시오.
    정말 대단합니다.
  58. 지구 온난화와 싸울 수 있습니다.
  59. 하지만 동시에 그게 너무
    쉬워지길 원하진 않겠죠.
  60. 어떤 사람이 순진한 사람들과 함께
  61. 지구의 기후를 근본적으로 바꿀 수 있는
    능력을 가지는 걸 원하진 않죠.
  62. 치명적인 무인 드론도 가능하죠.
  63. 대량 생산된 모기 크기의
    킬러 로봇 떼 말입니다.
  64. 나노 기술이나 범용 인공 지능일
    수도 있습니다.
  65. CA: 박사님은 논문에서
    이렇게 주장했죠.

  66. 핵 연쇄반응을 이용해서
    폭탄을 만들 수 있다는 걸
  67. 우리가 알았을 때
    그건 순전히 우연이었다.
  68. 즉 누구나 쉽게 접할 수 있는
  69. 훨씬 다루기 쉬운 원료로
  70. 폭탄을 만들 수도 있었을 것이다.
  71. NB: 그렇습니다.
    1930년대를 돌이켜보세요.

  72. 처음으로 핵물리학 분야에서
    획기적인 발전을 이루었을 때
  73. 어떤 천재가 핵 연쇄 반응을
    일으킬 수도 있다는 걸 알아냈고
  74. 폭탄으로 이어질 수 있다는 걸 알았죠.
  75. 그리고 우리는 더 많은 연구를 했고
  76. 핵폭탄을 만들기 위해 필요한 것은
  77. 고농축 우라늄이나
    플루토늄이라는 걸 알아냈는데
  78. 그건 구하기 매우 어려운 재료들이었죠.
  79. 초원심 분리기가 필요하며
  80. 엄청난 양의 에너지와 같은
    반응로도 필요합니다.
  81. 하지만 그 대신에 이랬었다 가정해보죠.
  82. 원자 에너지를 방출하기 위한
    쉬운 방법이 있었다고요.
  83. 어쩌면 전자레인지로 모래를 굽는 것이나
  84. 아니면 그런 비슷한 것으로
  85. 핵폭발을 일으킬 수도 있었다고요.
  86. 우리는 그게 물리적으로
    불가능하다는 것을 알고 있습니다.
  87. 하지만 관련 물리학
    분야를 연구하기 전에
  88. 그게 어떻게 될지
    어떻게 알 수 있겠습니까?
  89. CA: 하지만 박사님은

  90. 생명체가 지구에서 진화하기 위해서는
  91. 어느 정도 안정된 환경이어야
    한다고 주장하지 않았나요?
  92. 만약 비교적 쉽게 대규모
    핵반응을 일으킬 수 있었다면
  93. 지구는 결코 안정되지 않았을 겁니다.
  94. 우리가 여기 있지도 않겠죠.
  95. NB: 그렇죠, 목적을 갖고
    하기는 쉽지만

  96. 우연히 일어나지는 않을 그런
    무엇인가가 있는 게 아니라면요.
  97. 우리가 쉽게 할 수 있는 일,
  98. 예를 들어 블록 열 개를
    쌓는 것은 쉬운 일이지만
  99. 자연에서 10개의 블록이
    쌓여있는 걸 찾진 못할 겁니다.
  100. CA: 그렇죠, 아마도 많은 사람들이

  101. 가장 걱정하는 것 중 하나일 겁니다.
  102. 합성 생물학은 가까운 미래에
    인류를 거기에 이르게 할 것으로
  103. 우리가 예상할 수 있는
    가장 빠른 길일 것입니다.
  104. NB: 네, 그러니까 그게
    무슨 뜻일지 생각해보세요.

  105. 아무나 부엌에서 한나절 작업하는 것으로
  106. 도시를 파괴할 수 있다면요.
  107. 우리가 알고 있는 현대 문명이
  108. 어떻게 살아 남을지 알기 어렵습니다.
  109. 인구가 백만 명이라면
  110. 어떤 이유로든 그 파괴력을 사용하는 걸
  111. 선택할 사람이 항상 있게 마련이니까요.
  112. 따라서 그 종말론자가
  113. 도시 하나를 파괴하기로 결정했다면
    또는 더 나쁜 걸 원한다면
  114. 도시 여러 개가 파괴될 겁니다.
  115. CA: 이건 다른 종류의 취약성이네요.
    이것에 대해 얘기해 보죠.

  116. [2A 강대국들에 대한 부정적 유인]
  117. NB: 이런 명백한 검은 공으로

  118. 많은 것들을 날려버릴 수 있는 외에도
  119. 다른 종류의 공들이 인간이
    유해한 일을 하도록
  120. 나쁜 동기를 부여하는
    방식으로 작동할 겁니다.
  121. 우리가 2A 유형이라고 부르는 것은
  122. 강대국이 그 강력한 힘을
    파괴에 사용하도록
  123. 동기부여하는 기술입니다.
  124. 그러니까 핵무기는 사실
    여기에 아주 가까운 거죠.
  125. 우리가 한 일은
    10조 달러 이상을 들여
  126. 7만 개의 핵탄두를 만들어
  127. 일촉 즉발의 위태로운
    경계 태세로 들어선 겁니다.
  128. 냉전 기간 동안 우리는 여러 번이나
  129. 서로를 거의 파멸시킬
    뻔한 적이 있었습니다.
  130. 많은 사람들이 자신을 폭파시키기 위해
  131. 10조 달러를 쏟아붓는 것을
    졸은 생각으로 여겼기 때문이 아니고
  132. 그 유인이 우리를 그렇게 만든 것이죠.
  133. 더 나쁜 경우도 가능했겠죠.
  134. 안전한 첫 번째 공격이
    있었다고 상상해 보세요.
  135. 그렇다면
  136. 위기 상황에서
  137. 모든 핵 미사일 발사를 억제하는 것은
    매우 어려웠을지도 모릅니다.
  138. 적어도 상대방이 그렇게 할까 봐
    두려울 테니까요.
  139. CA: 맞습니다. 상호 확증 파괴는

  140. 냉전을 비교적 안정적으로 유지시켰고
  141. 그게 없었다면 우린 지금
    여기 없을지도 모릅니다.
  142. NB: 더 불안정할 수도 있었겠죠.

  143. 그리고 기술의 다른 속성이
    있을 수 있습니다.
  144. 무기 조약을 맺는 것은
    어려웠을지도 모릅니다.
  145. 만약 무기가 핵보다 더 작거나
  146. 성능이 떨어지는 것이었다면요.
  147. CA: 강대국들이 나쁜 동기를
    갖는 것과 마찬가지로

  148. 2B 유형처럼 모두가 나쁜 동기를
    가지는 것도 우려하고 있네요.
  149. NB: 네, 지구온난화를 생각해봅시다.

  150. 각자가 지구온난화에 영향을
    미치는 일을 하게 만드는
  151. 작은 편의 시설들이 많이 있습니다.
  152. 그건 개별적으론 큰 영향이 없습니다만
  153. 수십억의 사람들이 그것을 한다면
  154. 누적이 되어 나쁜 영향을 끼칠 겁니다.
  155. 지구온난화는 지금보다 훨씬 더
    심각할 수도 있었을 겁니다.
  156. [2B 일반 대중에 대한 부정적 유인]
  157. 기후민감도 매개변수가 있습니다.
  158. 일정량의 온실가스를 배출하면
    얼마나 따뜻해지는지
  159. 알려주는 매개 변수 입니다.
  160. 하지만 가정해 봅시다.
  161. 우리가 배출한 온실가스의 양으로
  162. 2100년까지 3도에서 4.5도
    사이의 온도 상승 대신에
  163. 15도 또는 20도의 온도 상승이
    발생했다고 가정한다면요.
  164. 우리는 아마 매우 난처한 상황에
    처했을 수도 있을 겁니다.
  165. 혹은 재생에너지의 실현이
    훨씬 더 어려웠다거나
  166. 땅에 더 많은 화석연료가
    있었다고 가정한다면요.
  167. CA: 이런 경우는 어떤가요?

  168. 만약 우리가 오늘 하고 있는 것이
  169. 우리가 살아 있는 동안
    10도나 변화시킨다면
  170. 사실 인류는 궁지에서 벗어나
    뭔가 조치를 취했을 겁니다.
  171. 우리는 어리석지만
    그 정도로 어리석진 않죠.
  172. 아니면 그럴 지도 모르고요.
  173. NB: 장담하지 마세요.

  174. (웃음)

  175. 다른 특징들에 대해
    생각해볼 수 있습니다.

  176. 지금 당장은 재생 에너지 같은 것으로
    바꾸기가 좀 어렵긴 하지만
  177. 가능한 일입니다.
  178. 하지만 약간의 물리적 차이가
    있었을 수도 있어서
  179. 이런 것들을 하는 게 훨씬 더
    돈이 많이 들었을 수는 있겠네요.
  180. CA: 박사님의 생각은 어떤가요?

  181. 이런 가능성들을 종합해서 생각해보면
  182. 이 지구와 인류가
  183. 취약한 세계라고 생각하세요?
  184. 인류의 미래에는 죽음의 공이 있을까요?
  185. NB : 그건 말하기 어렵지만

  186. 항아리 안에는 다양한
    검은 공들이 있을 것 같습니다.
  187. 그렇게 보입니다.
  188. 어쩌면 황금 공도 들어 있어서
  189. 우리를 검은 공으로부터 보호하는 데
    도움이 될 수도 있을 거에요.
  190. 그런데 그게 어떤 순서로
    나올지는 몰라요.
  191. CA : 이 아이디어에 관해
    할 수 있는 철학적 비판 중에는

  192. 이런 생각이 미래는 본질적으로
    정해져 있다고 본다는 점이 있겠죠.
  193. 저기에 공이 있든지
    없든지 둘 중 하나죠.
  194. 그리고 어떻게 보면
  195. 그건 제가 믿고 싶은
    미래의 관점이 아니에요.
  196. 미래가 결정되지 않았다고
    믿고 싶습니다.
  197. 즉 오늘 우리가 내린 결정이
  198. 항아리에서 어떤 종류의 공을
    꺼낼지 결정하게 될 겁니다.
  199. NB: 제 말은, 우리가
    계속 발명을 한다면

  200. 결국에는 모든 공을 뽑을 거예요.
  201. 제 말은, 약한 형태의 기술 결정론이
  202. 꽤 그럴듯하다고 생각합니다.
  203. 제트기 안에서 부싯돌을 쓰는 사회가
  204. 있을 것 같지는 않습니다.
  205. 기술이 행동을 유도한다고
    생각할 수도 있습니다.
  206. 기술은 우리가 다양한
    일을 할 수 있게 하고
  207. 그로 인해 세계에
    다양한 효과를 가져옵니다.
  208. 그것을 어떻게 사용할지는
    물론 우리 선택에 달려 있습니다.
  209. 하지만 이 세 가지 유형의
    취약성에 대해 생각한다면
  210. 그것들을 어떻게 사용할 것인지에 대해
    상당히 약한 가정을 합니다.
  211. 다시 말하지만 1유형의 취약성은
    거대한 파괴력입니다.
  212. 이건 상당히 타당한 생각인데
  213. 수백만 명의 인구 중에서 어떤 사람들은
  214. 그걸 파괴적으로
    사용하길 선택할 겁니다.
  215. CA: 제게 가장 혼란스러운 주장은

  216. 우리가 항아리에 대한
    어떠한 견해를 가지는 것이
  217. 실제로 파멸할 가능성을
    높게 만든다는 것입니다.
  218. 즉, 만약 당신이 가속력을 믿는다면
  219. 그 기술은 본질적으로 가속화되며
  220. 우리를 더 강력하게 만드는
    도구를 만든다는 것입니다.
  221. 어느 순간 우리는
  222. 개인이 우리 모두를 파멸시킬 수 있는
    단계에 도달하게 될 것이고
  223. 그러면 우리는 아마도 파멸하겠죠.
  224. 그 주장은 꽤 놀랍지 않나요?
  225. NB: 아, 네.

  226. (웃음)

  227. 제 생각엔

  228. 우리는 점점 더 많은 힘을 얻고
  229. 그 힘을 사용하는 것이
    점점 더 쉬워질 겁니다.
  230. 하지만 우리는 사람들이 그러한 힘을
    어떻게 사용하는지를 통제하는 ​​데에
  231. 도움을 주는 기술도 만들 수 있습니다.
  232. CA: 그것에 대해 이야기해 보죠.
    거기에 대한 대응에 대해서요.

  233. 현존하는 모든 가능성에 대해
    생각한다고 가정해봅시다.
  234. 합성 생물학뿐 아니라 사이버 전쟁,
  235. 인공 지능 등과 같은 것들로
  236. 우리의 미래에 심각한 파멸이
    있을지도 모릅니다.
  237. 어떻게 해야 할까요?
  238. 네 가지 가능한 대응법에
    대해서 이야기하셨는데요.
  239. [대응 1: 기술 발전을 제한하기]
  240. NB: 기술 개발의 전면적인
    중단을 말하는 것이라면

  241. 기술 발전을 제한하는 것이
    유망하다고 생각되진 않네요.
  242. 실현 가능하지도 않고 가능하다고 해도
    바람직하지 않은 것 같아요.

  243. 기술 발전 속도를 늦추고 싶은 분야는
  244. 매우 제한적일 수 있습니다.
  245. 예를 들어 생물학 무기나
    동위 원소 분리에서는
  246. 더 빠른 발전을 원치 않을 겁니다.
  247. 핵무기를 만들기가 더 쉬워질 테니까요.
  248. CA: 저도 전에는
    그렇게 생각했습니다만

  249. 조금 다른 견해를 살펴보죠.
  250. 우선 지난 수십 년의 역사를 보면
  251. 아시다시피 항상 전속력으로 나아갔죠.
  252. 그게 우리의 유일한 선택이었습니다.
  253. 하지만 세계화와 그 급속한 가속화를,
  254. '빨리 움직이고 무엇이든
    혁파하십시오.'라는 전략과
  255. 그래서 무슨 일이 일어났는지,
  256. 그리고 합성 생물학의 잠재력을 본다면
  257. 모든 가정과 고등학교 실험실에서
  258. 빠른 속도로 아무 제약 없이
    DNA 프린터를 가질 수 있는 세상으로
  259. 앞으로 나아가야만
    하는 건지 의문입니다.
  260. 몇 가지 제약이 있습니다, 그렇죠?
  261. NB: 아마도 첫째는
    실현가능하지 않은 것입니다.

  262. 개발을 멈추는 게
    바람직하다고 생각하더라도
  263. 실현가능성의 문제가 있습니다.
  264. 한 국가의 경우엔 소용이 없을 거예요.
  265. CA: 그렇죠, 한 국가가
    그렇게 한다면 어쩔 수 없겠죠.

  266. 하지만 우린 전에 조약을
    맺은 적이 있습니다.
  267. 그게 우리가 핵 위협에서
    살아남은 방법입니다.
  268. 그 자리에 나가서 고통스러운
    협상 과정을 거치는 것이었습니다.
  269. 세계적으로 우선순위를 둬서
  270. 우리가 그 곳에 나가서
  271. 합성 생물 연구가 이루어지는 곳에 대한
    아주 엄격한 규칙 마련을 위한
  272. 협상을 시작하지 않으면
    안되는 거 아닐까요?
  273. 누구나 할 수 있도록 하고
    싶은 건 아니잖나요?
  274. NB: 저도 그렇게 생각합니다.

  275. 바람직하기로는 예를 들어
  276. DNA 합성 장치는
  277. 각자 실험실에서 소유하는 것이 아니라
  278. 서비스로서 갖춰지는 거죠.
  279. 어쩌면 세계에 네다섯 곳 정도가 있어서
  280. 디지털 청사진을 받아서 DNA를
    제작해주면 되지 않을까 합니다.
  281. 그러면 그걸 통제할 수 있겠죠.
  282. 언젠가 진짜로 제한이 필요한 것 같으면
  283. 제한된 수의 지점에서
    통제를 할 수 있겠죠.
  284. 좀 더 엄격하게 통제할 수 있는
  285. 특별한 기회 같은 걸
    원하는 거 같군요.
  286. CA: 박사님은 근본적으로

  287. 우리가 스스로 자제하지
    못할 거라고 생각하시네요.
  288. 어딘가의 누군가가,
    예를 들어 북한과 같은
  289. 누군가가 그곳에 가서
    이 지식을 발견하게 된다는 거죠.
  290. 만약 그것이 거기 있다면요.
  291. NB: 현재로서는 그렇게 보입니다.

  292. 단지 합성생물학만이 아닙니다.
  293. 제 말은, 세상 어떤 종류의
    심오하고 새로운 변화도
  294. 검은 공이 될 수 있다는 겁니다.
  295. CA: 다른 대응법을 봅시다.

  296. NB: 이것도 한정적이긴 합니다만

  297. [대응 2: 불량 세력을 제거하기]
  298. 1유형의 취약성에 대해서는
  299. 그런 수단을 손에 넣기만 한다면
  300. 세상을 파괴하고 싶어하는 사람의 수를
  301. 줄일 수 있다면
    그건 괜찮을 것 같은데요.
  302. CA: 박사님이 부탁한 이 영상에서는

  303. 얼굴 인식 기능이 있는 드론이
    전 세계를 날아다닙니다.
  304. 누군가가 반사회적 행동을 하려는
    조짐이 보이는 것을 발견하면
  305. 사랑을 쏟아붓고 그들을 치료합니다.
  306. NB: 복합적인 영상 같네요.

  307. 제거는 감금 또는 살해와 같은
    것을 의미할 수도 있고
  308. 더 나은 세계관을 갖도록
    설득하는 거일 수도 있습니다.
  309. 하지만 요점은
  310. 이러한 일이 매우 성공적이었고
  311. 그런 사람들의 수를 절반으로
    줄였다고 가정해보죠.
  312. 설득이라는 수단으로 이를 달성하려면
  313. 사람들을 설득하려고 하다가
    정당, 종교, 교육시스템과 같은
  314. 비슷한 목적을 갖는
    모든 다른 강력한 세력과 겨루게 됩니다.
  315. 하지만 그 인원을 절반으로
    줄였다고 하더라도
  316. 그 위험이 절반으로
    줄어들진 않을 겁니다.
  317. 대충 5%나 10% 정도겠죠.
  318. CA: 2번 대응법에 인간의 미래를
    걸라고 권하는 건 아니네요.

  319. NB: 저는 사람들을 단념시키고
    설득하는 것이 좋다고 생각해요.

  320. 하지만 그것을 유일한 안전장치로
    의존해서는 안되겠지요.
  321. CA: 세 번째는 뭐죠?

  322. NB: 두 가지 일반적인
    방법이 있을 것 같습니다.

  323. [대응 3: 대중을 감시하기]
  324. 이 방법들을 사용해서 가능한
    모든 범위의 취약성에 대해
  325. 세상을 안정시킬 수 있을 것 같습니다.
  326. 아마 둘 다 필요할 겁니다.
  327. 하나는 매우 효과적인
  328. 예방 정책입니다.
  329. 차단을 할 수 있는 거죠.
  330. 누군가 위험한 일을 시작한다면
  331. 중간에 실시간으로
    막고 저지할 수 있습니다.
  332. 그러기 위해서는 유비쿼터스 감시가
    필요하게 될 것입니다.
  333. 누구나 항상 감시당하고 있는 거죠.
  334. CA: 일종의 영화,
    '마이너리티 리포트'네요.

  335. NB: 인공지능 알고리즘이나

  336. 여러 가지 사찰을 하는 자유센터 같은
    것이 이용될지도 모릅니다.
  337. CA: 대중감시가 지금 그렇게
    인기 있는 용어는 아니라는 거 알죠?

  338. (웃음)

  339. NB: 그러니까 이 작은 장치,

  340. 다방향 카메라가 달린 목걸이를
    항상 몸에 지니고 다니는 것을 상상해보세요.
  341. (웃음)
  342. 쉽게 받아들일 수 있도록
  343. '자유의 표식' 같은
    이름을 붙이면 좋겠네요.
  344. (웃음)

  345. CA: 알았어요.

  346. 그러니까 이 대화가
  347. 깜짝 놀랄만한 이야기라고
    하는 겁니다, 여러분.
  348. NB:이것에 관해서는

  349. 당연히 많은 논란이 있습니다.
  350. 엄청난 문제와 위험이 따릅니다.
  351. 나중에 거기에 대해 다시 얘기해 보죠.
  352. 다른 하나, 마지막으로
  353. 일반적인 안정화 기능은
  354. 지배구조 격차를 막는 것입니다.
  355. [대응 4: 전 세계적 지배구조]
  356. 감시는 미시적인 수준의
    지배구조 격차일 겁니다.
  357. 어떤 개인이 불법적인 행동을
    하지 못하게 하는 것처럼요.
  358. 그러면 거시적 차원, 세계적 차원에서는
  359. 그에 상응하는 지배구조
    격차가 있습니다.
  360. 이 능력은
  361. 최악의 세계적 협력 실패에
    대비하기 위한 겁니다.
  362. 강대국 간의 전쟁,
  363. 무기 경쟁,
  364. 공유자원이 파탄나는 문제,
  365. 2A 유형의 취약성에 대한 대처입니다.
  366. CA: 세계적 지배구조는

  367. 확실히 시대에 뒤떨어진 용어지만
  368. 역사 전체에 걸쳐,
  369. 인류 역사 전체에 걸쳐
  370. 기술력이 증대될 때마다
  371. 사회는 재구성되고 그 힘은
    집중되는 걸 볼 수 있습니다.
  372. 예를 들어, 한 무리의 범죄자들이
  373. 한 사회를 장악할 수 있었을 때
  374. 그 결과는 민족 국가가 나타나고
  375. 경찰이나 군대 같은
    권력을 집중시키는 거죠.
  376. 그러니 "그래서는 안됩니다"인 거죠.
  377. 어쩌면 한 사람이나 한 그룹이
  378. 인류를 파멸시킬 수 있다는 논리는
  379. 어떤 시점에서는 이 길을 가고
    만다는 걸 의미하는 거 아닌가요?
  380. 적어도 비슷한 형태로라도요.
  381. NB: 인류 역사에 걸쳐 정치 조직의
    규모가 커진 것은 분명합니다.
  382. 예전에는 수렵 채집 집단 정도였죠.

  383. 그다음에는 군장사회,
    도시국가나 국가가 출현하고
  384. 지금은 국제 조직 등등이 있습니다.
  385. 다시 한 번 제가 강조하고 싶은 건
  386. 대중감시와 세계적 지배구조는 모두
  387. 큰 단점과 엄청난 위험이
    당연히 있다는 겁니다.
  388. 제가 말씀드리고 싶은 건
    우리가 운이 좋다면
  389. 이게 검은 공으로부터 살아남을 수 있는
  390. 유일한 방법일지도 모른다는 것입니다.
  391. CA: 즉 이 말은,
  392. 제가 보기엔

  393. 모든 것을 손에 넣을 수는 없다는 걸
    인식해야 된다는 거군요.
  394. 많은 사람들이 갖고 있는
    그런 종류의 순진한 꿈,
  395. 즉, 기술은 항상 선을 위한 힘이 되고
  396. 계속 나아가고, 멈추지 않고,
    가능한 한 빨리 나아가고
  397. 결과에 주의를 기울이지
    않아도 된다는 그런 꿈은
  398. 실제로 가능한 선택지가 아니라는 거죠.
  399. 우리가 그것을 가질 수는 있겠지만
  400. 만약 그것을 얻는다면
    다른 일들도 받아들여야만 하는 거죠.
  401. 그것과 함께 오는 아주 불편한 일들과
  402. 자신과의 무기 경쟁과 같은 것들이요.
  403. 힘을 갖고 싶다면
    제한하는 것이 좋을 것이고
  404. 어떻게 제한할 것인가에 대해
    생각하는 것이 좋을 것입니다.
  405. NB: 제 생각에 이건
  406. 아주 매력적인 선택사항입니다.

  407. 어떤 의미에서는 가장 손쉬운
    선택이고 잘 될 수도 있지만
  408. 본질적으로 검은 공을 꺼낼
    위험성이 있다는 말입니다.
  409. 제 생각엔 약간 조정을 해서
  410. 거시적 지배구조와 미시적 지배구조의
    문제를 해결한다면
  411. 항아리에서 모든 공을 빼낼 수 있고
  412. 큰 혜택을 얻을 수 있을 겁니다.
  413. CA: 우리가 시뮬레이션 안에
    살고 있다면 문제될 거 있나요?
  414. 그저 다시 시작하면 되죠.

  415. (웃음)
  416. NB: 그렇다면, 저는...

  417. (웃음)

  418. 그건 생각해 보지 않았네요.

  419. (웃음)
  420. CA: 어떻게 생각하십니까?
  421. 모든 걸 고려했을 때
    우리가 파멸할 가능성은요?

  422. (웃음)
  423. 이런 질문에 다들 웃으시니 좋네요.

  424. NB: 개인적인 차원에서

  425. 우리는 결국 종말을 맞이 하겠죠.

  426. 시간이 흐르면서 우리는
    노화되고 쇠약해져갑니다.
  427. (웃음)
  428. 사실 약간 복잡합니다.

  429. 확률을 내기 위해서 정해야 할 것은

  430. 먼저 우리는 누구인가입니다.
  431. 고령이라면 자연적으로 죽을 겁니다.
  432. 아주 어리다면 100년은
    더 살지도 모르죠.
  433. 누구에게 물어보느냐에 따라
    확률은 달라집니다.
  434. 그다음으로 문명 파괴의 기준은 뭘까요?
  435. 논문에서는 그걸 계산하기 위한
  436. 대재해는 필요없었습니다.
  437. 이건 단지 어떻게 정의하는가의 문제로서
  438. 예로서 10억 명 사망이나
    세계 GDP 50% 감소를 들겠습니다.
  439. 무엇을 한계치로 하느냐에 따라
  440. 확률 전망도 달라집니다.
  441. 저를 겁에 질린 낙관론자로
    몰아붙일 수도 있겠지만요.
  442. (웃음)
  443. CA: 겁에 질린 낙관론자라고 하는데

  444. 다른 많은 사람들을
    두려움에 떨게 만든 것 같네요.

  445. (웃음)
  446. NB: 시뮬레이션 안에서요.

  447. CA: 네, 시뮬레이션 안에서요.

  448. 보스트롬 박사님의 식견에 탄복합니다.

  449. 우리를 겁에 질리게 해줘서
    고맙습니다.
  450. (박수)