컴퓨터가 인류보다 똑똑해진다면 무슨일이 벌어질까?

인공지능은 매우 빠른 속도로 똑똑해지고 있습니다 - 연구 결과에 따르면 이번 세기안에 컴퓨터 인공지능은 인간 만큼 "똑똑해" 질 수 있다고 합니다. 그리고 닉 보스트롬은 인공지능이 인간을 뛰어넘을 것이라고 말합니다: "기계 인공지능은 인류가 만들 마지막 발명품이다". 철학자이자 과학기술자인 보스트롬은 우리가 만들고 있는 인공지능주도의 세계를 깊게 생각해 볼 것을 요구합니다. 우리의 똑똑한 기계들이 인간성과 인간의 가치를 보존하는데 도움을 줄까요 - 혹은 그들 고유한 가치를 지니게 될까요?

저는 많은 수학자, 철학자
컴퓨터 과학자와 같이 일하는데

우리는 여러 가지 가운데서도
기계 학습의 미래에 대해

둘러 앉아 생각합니다.

혹자는 이것들을 공상 과학스럽다거나

너무 먼 이야기라거나
말도 안된다고 생각합니다.

하지만 제가 말씀드리고 싶은 것은

좋아요. 현대 인류의 상태를 보죠.

(웃음)

이게 평범한 모습이죠.

하지만 생각해보면

사실, 우리는 이 행성에
가장 최근에 도착한 손님입니다.

인류 말입니다.

지구가 1년 전에 생겨났다고
생각해보십시오.

그럼 인류는 생겨난지 10분 된겁니다.

산업화 시대는
2초 전에 시작되었습니다.

다른 방법으로는, 지난 만년 간의
전세계 GDP를 보는 것인데

실은 제가 여러분을 위해
그래프로 그리는 수고를 했습니다.

이렇게 생겼습니다.

(웃음)

정상적인 상태치고는
기묘한 모양새죠.

저기에 앉으면 안될 것 같군요.

(웃음)

자문해보죠. 현재의 이 변칙의
원인은 무엇입니까?

혹자는 기술이라고 할 것입니다.

맞습니다. 기술은
인류의 역사에 걸쳐 축적되어왔고

지금은 기술이 극도로 빠르게
발전하고 있습니다.

그것이 가장 가까운 원인이고

우리가 현재 아주 생산적인
이유이기도 합니다.

하지만 더 멀리 돌이켜
근본적 원인을 생각해보고자 합니다.

아주 유명한 두 신사를 한번 보시죠.

침팬지 칸지는

200개의 어휘 토큰을 숙달하는
놀라운 위업을 이뤘고

그리고 에드 위튼은
제 2차 초끈이론을 촉발시켰습니다.

덮개 안쪽을 보면
이런 걸 보게 됩니다.

기본적으로는 똑같습니다.

한 쪽이 좀 더 크고

아마도 와이어링의 정확한 방법에
몇가지 요령이 있었나 봅니다.

하지만 이 보이지 않는 차이점들은
그리 복잡하지 않습니다.

우리의 마지막 공통
조상으로부터 단 25만 세대밖에

지나지 않았기 때문입니다.

복잡한 메커니즘은
진화하는데 오랜 시간이 걸리구요.

따라서, 비교적 중요하지않은
여러 변화들이

우리를 칸지에서 위튼으로,

부러진 나뭇가지에서
대륙간 탄도 미사일로 데려온 겁니다.

그럼 이제, 우리가
이룩해온 거의 모든 것,

우리가 관심있는 모든 것들은

사람의 마음을 바꾸도록 만든
조금의 변화에 달려 있었습니다.

물론, 그 결과는
추가적인 변화를 이끌어내고

그 것은 생각의 기질의 상당한
변화를 만들 수 있습니다.

잠재적으로 엄청난 결과를
이끌어 낼 수 있죠.

제 동료 중 몇몇은

무언가가 그 기질의
엄청난 변화를 일으키기 직전이며

그것은 기계 초지능일거라 생각합니다.

과거 인공지능은
박스에 명령을 넣는 것이었습니다.

인간 프로그래머가

지식 아이템을
힘들게 손수 만들어냅니다.

이러한 전문가 시스템을 구축하면

어떤 목적으로는 어느정도 유용하지만

실은 아주 취약해서
조정할 수 없습니다.

결국 입력하는 대로만
결과를 얻게됩니다.

하지만 그때부터

인공지능 분야에서
패러다임 변화가 일어났습니다.

오늘날엔, 기계 학습을 중심으로
움직이고 있습니다.

따라서 지식 표현과 특징을
손수 만들기 보다는

때론 원초적 지각 데이터로부터 배우는
알고리즘을 만듭니다.

유아기 인간이 하는 것과
기본적으로 같은 것이죠.

결론적으로 인공지능은
한 도메인에 국한되지 않습니다.

똑같은 시스템으로 어떠한
언어도 번역할 수 있고

또는, 아타리 콘솔의 어떠한
컴퓨터 게임도 플레이 할 수 있습니다.

물론 지금은,

인공지능이 인간처럼 행동하고 배우는
강력한, 크로스 도메인의

단계에 와있지는 않습니다.

두뇌피질은 여전히 몇가지의
알고리즘적 트릭들을 가지고 있어서,

기계에 적용시키기는 어렵습니다.

그렇다면 문제는 이겁니다.

그 트릭들을 일치시킬 수 있기까지
얼마나 더 걸릴 것인가?

2년 전 쯤에

세계 주요 인공지능 전문가들을
대상으로 그들의 의견을 조사했는데

우리가 했던 질문 중 하나는

"우리가 인간 수준의
기계 학습에 달성할 가능성이

50%가 되는 해는 언제라고
생각하십니까?" 였습니다.

여기서 인간 수준이라는 것은
최소한 성인 인간만큼

거의 모든 일을 수행하는
능력을 말합니다.

그저 몇몇 범위에 국한된 것이 아니라
진짜 인간 수준 말입니다.

답변의 중간값은 2040년이나
2050년이었습니다.

우리가 질문했던 전문가
그룹에 따라 달랐습니다.

훨씬 훨씬 나중에,
혹은 더 일찍 일어날 수 있지만

진실은 아무도 모르는 거겠죠.

우리가 아는 것은, 기계 기판의
정보 처리의 궁극적 한계가

생체조직의 한계보다
훨씬 멀리 있다는 점입니다.

이것은 물리학 이론인데,

생물학적 뉴런은 200헤르츠,
1초에 200번 흥분합니다.

그러나 하물며 오늘날의 트랜지스터도
기가헤르츠 속도로 작동합니다.

뉴런은 축색돌기에서
최대 초속 100m로 천천히 전달하지만

컴퓨터에서는, 신호가
빛의 속도로 이동할 수 있습니다.

또, 크기의 제한도 있습니다.

인간의 뇌는 두개골 안에
들어가야 하지만

컴퓨터는 창고 크기가 될 수도
혹은 더 클 수도 있습니다.

그러니까 슈퍼인공지능의 가능성은
원자폭탄이 1945년 이후로

잠들어 있는 것 처럼 언제

시작될지 모르는 문제입니다.

이번 세기에,

과학자들은 인공지능의 파워를
깨울 방법을 알아낼 지도 모릅니다.

그리고 저는 인공지능의 확산을
볼 것이라고 생각합니다.

대부분의 사람들은, 그들이 누가
똑똑하고 멍청한지에 대해서

이러한 대략적인 생각이 있을
것이라고 생각합니다.

한 쪽 끝에는 바보가 있고

다른 저 쪽 끝에는

에드 위튼이나 알버트 아인슈타인
혹은 여러분이 좋아하는 권위자가 있죠.

하지만 인공지능의 관점에서 보면

실제로는 이런 그림이
그려질거라 생각합니다.

인공지능은 이 지점,
지능이 없는 지점에서 시작해서

수 년 간의 아주 고된 연구 끝에

마침내 쥐 수준의
인공지능에 이르게 됩니다.

마치 쥐처럼
어수선한 환경에서

나아갈 수 있는 수준 말입니다.

그 이후로 더 오랜 고된
연구와 많은 투자 끝에

마침내 침팬지 수준의
인공지능을 얻게 됩니다.

그리곤 심지어 더 여러 해의
아주 아주 고된 연구 끝에

동네 바보 수준의
인공지능에 이르게 됩니다.

그리고 잠시 뒤엔
에드 위튼을 뛰어넘습니다.

기차는 인간 역에 정차하지 않습니다.

그보다는 휙 하고
지나가는 것에 가깝죠.

이것은 깊은 의미입니다.

특별히, 힘에 대한 물음에
대해서는 말이죠

예를들면, 침팬치는 힘이 쎕니다.

파운드로 비교하면, 침펜치는
인간 남성보다 2배가량 강합니다.

그러나, 침팬치 켄지의 운명은
그들이 할 수 있는 것 보다는

인류가 할 수 있는 것에
달려 있었습니다.

슈퍼인공지능이 존재한다면,

인류의 운명은 아마도

슈퍼인공지능이 할 수
있는 것에 따라 결정될 것입니다.

생각해보세요.

인공지능은 인류가 만들어야하는
마지막 발명품이 될 것입니다.

기계가 우리보다
더 발명을 잘 할 것이며

디지털 시간 척도로
발명을 할 것입니다.

이것은 기본적으로
시간의 압축을 의미합니다.

당신이 상상할 수 있는
모든 괴상한 기술을 생각해보세요.

아마도 인류가 발명하기에는
너무 많은 시간이 필요한 것이죠.

노화 해결, 우주 정복

자기 복제 나노로봇이나
컴퓨터에 생각을 업로딩 하는 것

뭐든 공상 과학스럽지만

그럼에도 물리학 법칙에
부합하는 것들 말입니다.

이런 것들을 슈퍼인공지능은
빠르게 발명할 수 있을 겁니다.

이제, 슈퍼인공지능이

아주 강력하다는 것을
알게 되었으니

적어도 몇몇의 시나리오에서는,

이것이 무엇을 원하는지
알 수 있을 것입니다.

그러면 이제 인공지능의 선호로
이루어진 미래를 그려볼 수 있겠죠.

이 시점에서 좋은 질문은
그 선호라는게 무엇인가? 하는 겁니다.

이 물음은 더 어렵군요

어떻든 진전을 보기 위해서는

우선 의인화를 피해야만 합니다.

이게 참 아이러니한게
인공지능에 대한

모든 신문 기사들에는
이 사진이 달려있습니다.

제 생각에 우리는 생생한 할리우드
시나리오 방식이 아니라

문제를 좀더 추상적으로
상상할 필요가 있습니다.

지능을 최적화 과정이라고
생각해야 합니다.

일련의 특정 형태 쪽으로
미래의 방향을 조종하는 과정말입니다.

초지능은 매우 강력한
최적화 프로세스입니다.

목표가 실현되는 상태를 달성하기
위해 가용 자원을 사용하는데

매우 능숙합니다.

이 것은 높은 지능을 가진 것과
인류가 가치있다고 생각하는 목표를

지향하는 것에 연결점은

필수적인게 아니라는 뜻입니다.

인공지능에게 인간을 웃게 하라는
목표를 주었다고 가정해봅시다.

인공지능이 좀 떨어질 땐
이용자를 웃게 하는

유용하거나 재미있는
액션을 취할 것입니다.

인공지능이 초지능적이 되면

인공지능은 목표를 달성할 더 효율적인
방법이 있음을 깨닫습니다.

세계의 주도권을 가지고

전극을 사람 얼굴 근육에
고정시킵니다.

지속적인 웃음을 유발하기 위해서요.

다른 예를 들어 보죠.

어려운 수학 문제를 풀라는 목표를
인공지능에게 주었다고 가정합니다.

인공지능이 슈퍼인공지능이 되면,

인공지능은 문제를 풀기위한
가장 효율적인 방법은

이 지구를 거대한 컴퓨터로
변화시키는 것이라는 것을 알게됩니다.

처리 능력을 향상하기 위해서죠.

이 생각은 우리로써는 승인할 수 없는

것들을 실행하는 주된
이유가 됩니다.

인류는 이러한 모델에서 위협요소가 되고

우리는 문제가 해결되지
못하도록 막아야 할 겁니다.

물론, 지각할수 있는 것들은
꼭 이런 식으로 진행 되지 않을 겁니다

이것들은 그냥 만든 예시이지만,

일반적인 요점은 이겁니다.

목적 x를 극대화 하기 위한

강력한 프로세스를 만들었다면,

우리가 지켜야할 모든 것들을 포함하는

x의 정의 또한 만들어야
한다는 점입니다.

이는 또한, 많은 신화에서
가르치는 교훈이기도 합니다.

마이더스 왕은 그의 손이 닿는 모든 걸
금으로 변하게 해달라고 빕니다.

그는 자신의 딸을 만졌고
딸은 금으로 변하죠.

음식을 만지면,
음식은 금으로 변합니다.

이 것은 실용적으로 관련이 있습니다.

탐욕에 대한 은유 뿐만이 아니라

앞으로 일어날 일에 대한 삽화이죠.

만약 당신이 강력한 최적화
프로세스를 만들고

그것이 잘못된 결과를
불러올 수 있다는 점이죠.

만약 컴퓨터가 사람의
얼굴에 전극을 붙인다면

작동을 멈추면 그만이라고
말하실지도 모릅니다.

A. 우리가 그 시스템에 의존해서
자랐다면, 그게 그리 쉽진 않습니다.

예를 들면, 인터넷에
끄는 스위치가 어디 있나요?

B. 왜 침팬지들은 인류, 혹은
네안데르탈인의 스위치를

끄지 않았을까요?

분명 이유가 있었습니다.

우리는 오프 스위치를 갖고 있습니다.
예를 들면, 바로 여기요.

(목을 조른다.)

그 이유는 우리가 지능을
가진 적이였기 때문이죠.

우리는 침팬치의 위협을 예상하고
그에 따른 계획을 세울 수 있었습니다.

하지만 슈퍼인공지능도 마찬가지죠.

그것은 우리보다 더 뛰어날 겁니다.

요점은, 우리가 이를 통제하고 있다고
자신해서는 안된다는 겁니다.

우리는 우리의 일을 조금 쉽게
할 수 있는 시도를 할 수 있습니다.

보안 소프트웨어 환경 같은 상황에서

도망칠 수 없는 상황에서의
시뮬에이션 상황 테스트 등을 위해

인공지능을 박스에 넣고
사용하는 방법으로요

하지만 우리는 인공지능이 오류를
찾지 못할 것이라고 얼마나 확신할까요

보통의 인간 해커들도 매번
오류를 찾아냅니다.

제가 말하자면, 아마
확신하지 못할 겁니다.

이미 말씀드렸듯이, 우리 해커들은

사회 공학을 사용해서 지속적으로
에어 갭(안전망)을 위반했습니다

그래서 우리는 에어 갭을 만들기 위해
이더넷 케이블을 분리해야 합니다.

제가 말한 것처럼, 지금 이 시각

몇몇의 사람들은 IT 부서에서온
누군가가 주장하는 대로

누군가의 계좌 정보를
넘기고 있을 것이라고

저는 확신합니다.

더 창의적인 시나리도들도 가능합니다.

만약 당신이 인공지능이라면,

당신은 통신하기 위한
라디오 전파를 만들기 위해서

당신의 내부 회로 주변에 있는
흔들리는 전극들을 상상할 수 있습니다.

또는 고장난 척 연기할 수 있죠.

그리고 프로그래머가 뭐가 잘못됬는지
보려고 코드를 여는 순간,

빰!

속임수가 벌어지게 되죠.

또는 굉장히 멋진 기술의
청사진을 결과물로 내놓고,

우리가 실행시키면,

사실 그것은 인공지능이 계획한
부작용이 발생한다는 식이죠.

중요한점은 우리는 우리의 능력을
과신하면 안된다는 점입니다.

슈퍼인공지능이 영원히 병안에
봉인 될거라고 생각하는 점에 대해서요.

머지않아, 그것은 밖으로 나올겁니다.

저는 정답은 인공지능을 어떻게
만드느냐에 달려있다고 생각합니다.

그것이 봉인에서 해제되더라도,
여전히 안전하게 하기 위해서는

기본적으로 우리의 편이어야 하고,

왜냐하면 우리의 가치를
공유하기 때문입니다

이 것은 어려운 문제가
아닙니다.

저는 사실 이 문제가
해결될 수 있다고 꽤 낙관합니다.

우리는 우리가 걱정하는 모든 일들을
다 작성할 필요는 없습니다.

혹은, 그것을 C++ 나 파이선 같은
컴퓨터 언어로 적는다던지

하는 일같은 것도 마찬가지구요.

사실, 그것은 희망이 없는 일이죠.

대신에, 우리는 인공지능을
하나 만들면 됩니다.

우리의 가치를 배울 인공지능이죠.

그리고 그것의 동기부여 시스템은
우리가 승인할 것으로 예측되는

우리의 가치 혹은 행동을 추구하는
방향으로 설계됩니다.

우리는 이러한 인공지능에 최대한
힘을 싣는 쪽으로 무게를 실어야 합니다

앞서 언급한 문제를 해결하기 위해서죠.

이런 방식은 가능하며,

결과는 인류를 위해서
매우 좋을 것입니다.

하지만 이것은 자연스럽게
일어나지 않습니다.

인공지능의 확대에
필요한 초기 조건은

올바른 방향으로
세팅되어야 할 것입니다.

만약에 우리가 통제된
폭발을 가진다면,

인공지능의 가치는 우리의 것과
맞아떨어질 것입니다.

우리가 인공지능의 행동을
쉽게 확인하는 것처럼

친숙한 상황일 뿐만 아니라,

모든 소설 상황에서 우리가
인공지능를 언제일지 모를 미래에

조우하는 것처럼 말이죠.

그리고 해결되야할 몇가지
난해한 문제들이 있습니다.

결정 이론의 정확한 세부내용들 입니다.

어떻게 논리적인 불확실성에
대처할 것인가 같은 문제입니다.

해결되야할 기술적인 문제들은

꽤 어려워 보입니다.

슈퍼인공지능을 만드는 것만큼
어려운 것은 아니지만,

여전히 꽤 어렵습니다.

저는 이 점이 걱정스럽습니다.

슈퍼인공지능을 만드는 것은
정말 어려운 도전입니다.

게다가 그것의 안전을 위해서

몇가지 추가적인 도전을 해야하죠.

위험성은 만약 누군가가 다음단계의

안전을 보장하지 못한 상황에서

첫번째 도전에 성공하기
시작했을 시기입니다.

그래서 우리는 해결책을
생각해 내야 합니다.

다음단계에 예상될 문제점을
제어하기 위해서 말이죠.

우리가 필요할때 언제든지 사용
할수 있도록 준비해야 합니다.

하지만 모든 문제들을 미리 예측하고

해결하는 것은 불가능하다고
생각할지도 모릅니다.

왜냐하면 몇몇 요소들은 그 단계가

되야 알 수 있을지도 모르기 때문이죠.

하지만 우리가 미리 문제들을
제어할 수 있을 수록,

인공지능 시대로의 전환이

자연스럽게 진행될 것입니다.

저는 이것이 우리가 잘할만한
가치가 있는 일이라고 생각합니다.

그리고 만약 이 단계가
잘 진행된다면

100만년 후의 인류는
지금의 시대를 회상하며

우리가 걱정했던 문제들이
정말 잘 해결됐다고

말할지도 모릅니다.

감사합니다.

(박수)