생각보다 이상한 AI의 위험성

AI 연구원 자넬 셰인은 인공지능이 위험한 이유가 그들이 우리에게 반역할 것이기 때문이 아니라, 우리가 말한 것을 아주 그대로 할 것이기 때문이라고 말합니다.
새로운 아이스크림 맛을 만들거나 도로에서 차들을 인식하는 것과 같은 문제를 풀 때 발생하는, 이상하고 때때로 놀라운 AI 알고리즘의 터무니없는 행동들을 소개하면서 셰인은 왜 AI가 실제 인간의 뇌에 미치지 못하는지 보여줍니다.

인공지능은

온갖 종류의 산업을
와해시키는 것으로 알려져 있죠.

아이스크림 시장은 어떨까요?

어떤 새롭고 놀라운 맛들을

고도의 인공지능으로 만들 수 있을까요?

그래서 저는 킬링 중학교 학생들과

이 문제의 답을 찾아 보고자 했습니다.

현재 존재하는 1600가지가 넘는
아이스크림 맛들을 모으고,

어떤 것을 만들 수 있는지 보기 위해
알고리즘을 적용했습니다.

그리고 여기 AI가 만들어낸
맛들이 있습니다.

[호박 쓰레기 브레이크]

(웃음)

[땅콩 버터 슬라임]

[딸기 크림 질병]

(웃음)

이 맛들은 저희가 바랐던 것 만큼
맛있지 않습니다.

무슨 일이 일어난 것일까요?
뭐가 잘못된 거죠?

AI가 우리를 죽이려고 하는 것일까요?

아니면 우리가 요청했던 걸 하려 했지만
문제가 있었던 걸까요?

영화에서 AI와 관련해 뭔가 잘못되면,

보통은 AI가 인간에게 더 이상
복종하기 싫다고 결정하고

AI 스스로의 목표를 가지기 때문이죠,
아주 감사하게도요.

실제 상황에서는 그러나, 실제 AI는

전혀 그렇게 똑똑하지 않습니다.

AI의 연산 능력은 대략 지렁이 정도,

아마 기껏해봐야 꿀벌 한마리,

사실, 아마 그것도 안 될 겁니다.

우리는 끊임없이 두뇌에 대해
새로운 것을 배워서

AI가 실제 두뇌에 얼마나 못미치는지
분명히 알 수 있죠.

오늘날의 AI는 사진 속의 행인을
식별하기 같은 일을 할 수 있죠.

그러나 AI는 행인이 무엇이라는
개념은 가지고 있지 않습니다.

그것은 선과 질감같은 것들의
덩어리 너머의 것입니다.

AI는 실제 인간이라는 게
무엇인지 알지 못합니다.

그래서 오늘날의 AI는
우리가 요청한 것을 수행할까요?

할 수 있다면 하겠죠,

그러나 우리가 진짜 원하는 것을
하지 않을 수도 있습니다.

가령 여러분이 AI를 이용해서
이 로봇 부품들로

로봇을 조립해서 A에서 B로
간다고 생각해 봅시다.

만약 여러분이 이 문제를 해결하기 위해

전통적인 방식의
컴퓨터 프로그래밍을 이용한다면,

이 프로그램에 단계별 지시를 주겠죠.

부품들은 다루는 방법이라든가,
다리가 있는 로봇으로 만드는 방법과,

그 다리로 B까지 걸어가는 방법을요.

그러나 AI를 이용해서
이 문제를 해결한다면,

다른 이야기가 됩니다.

어떻게 문제를 해결하는지에 대해
AI에게 알려주지 않고

여러분은 그냥 목표를 줍니다.

그리고 그것은 시행착오를 통해 스스로
목표에 도달할 방법을 알아내는 것이죠.

AI가 이 특정한 문제를 푸는 방식은

이렇습니다.

스스로를 탑으로 조립한 다음에 쓰러져서
B에 떨어지는 것이죠.

그리고, 따지고 보면,
이건 문제를 해결하긴 합니다.

기술적으로는, B까지 도달한 것이죠.

AI의 위험은 그것이
우리에게 맞설 것이라는 것이 아니라,

우리가 요청한 것을
아주 그대로 할 것이라는 겁니다.

따라서 AI를 사용할 때의 요점은

AI가 우리가 원하는 결과를 만들도록
어떻게 문제를 설정하느냐입니다.

여기 이 조그만 로봇은
AI가 조종합니다.

AI는 로봇다리의 디자인을 생각해냈고

모든 장애물들을 지나가기 위해
다리를 이용할 방법을 알아냈습니다.

그러나 데이비드 하씨가
이 실험을 고안할 때,

그는 아주, 아주 엄격한 제한을
설정해야만 했습니다.

AI가 만들 수 있는 다리의 크기에요.

그렇지 않았다면...

(웃음)

그리고 엄밀히 말하면,
이것은 장애물 코스를 통과했습니다.

이처럼 그냥 걷는 것 같은 간단한 일도
AI에게는 어렵습니다.

그래서 AI가 이러는 것을 보면,
여러분은 아마 이렇게 말할 겁니다.

규칙위반이야,
그냥 큰 탑이 돼서 넘어지면 안돼.

걸으려면 다리같은 걸 써야지.

그런데 그 방법도 항상 되지는 않죠.

이 AI의 목표는
빠르게 움직이는 것입니다.

그들은 AI에게 앞으로 달려야 하고,

팔을 사용하면 안된다고
알려주지 않았습니다.

AI에게 빨리 움직이는 것을 훈련시키면
이런 결과를 얻을 것입니다.

공중제비를 하거나
바보같은 걸음같은 것을 볼 수 있죠.

이건 아주 흔합니다.

바닥에서 웅크리고 씰룩거리는 것도요.

(웃음)

그래서 제 생각에는,
더 이상했어야 했던 것은

“터미네이터” 로봇입니다.

“매트릭스”를 해킹하는 것은
기회를 주면 AI가 할 또다른 일이죠.

만약 여러분이 시뮬레이션에서
AI를 훈련시킨다면,

시뮬레이션의 수학적 오류들을
해킹하는 것과 같은 방법을 배워서

그것들을 통해 에너지를 얻을 것입니다.

아니면 반복적으로 바닥에 고장을 내
더 빨리 움직이는 방법을 알아내겠죠.

AI와 일하는 것은
사람과 일하는 것과 다르고,

자연의 어떤 이상한 힘과
일하는 것과 더 유사합니다.

실수로 AI에게 잘못된 문제를
주는 것도 쉬운 일입니다.

보통 실제로 일이 잘못될 때까지
우리는 그걸 알아채지 못하죠.

제가 진행한 실험이 하나 있습니다.

저는 AI가 물감 색들을 복사해서

새로운 물감을 만들어내기를 원했습니다.

여기 왼쪽에 있는 목록을 주고요.

이게 AI가 실제로 만들어낸 것입니다.

[신디스 똥, 똥덩어리같은,
고생하다, 회색 음부]

(웃음)

그래서 엄밀히 말하면,

제가 요청한 것을 하긴 했습니다.

저는 제가 멋진 물감 이름들을
요청했다고 생각했는데

실제로 제가 요청했던 것은

원래에 있던 것들에 보이는 문자조합을
그냥 모방하는 것이었습니다.

그 단어들의 뜻이 무엇인지에 대해
알려주지 않았습니다.

혹은 물감에 사용하면 안되는 단어도
있을 수 있다는 것도요.

AI가 알고 있는 세계는
제가 준 데이터가 전부였지요.

아이스크림 맛처럼, 다른 것에 대해서는
전혀 아는 것이 없었습니다.

그래서 이 데이터를 통해서

우리는 AI에게 잘못된 것을 하라고
종종 실수로 말합니다.

이건 잉어라고 불리는 물고기입니다.

연구자들이 AI를 훈련시켜 사진에서
잉어를 식별하도록 했습니다.

그러나 그들이 AI에게
사진의 어떤 부분을

물고기를 식별하는데 썼는지 물어보자

이것이 나타났습니다.

네, 저것들은 사람의 손가락입니다.

왜 물고기를 식별하는데
사람의 손가락을 찾고 있을까요?

잉어는 기념사진으로
남길만한 물고기여서,

AI가 훈련동안 보았던
이 물고기의 사진들은

이러했습니다.

(웃음)

손가락이 물고기의 일부가
아니라는 것을 몰랐죠.

그래서 여러분은 진짜로
무엇을 찾고 있는지 이해할 수 있는

AI를 디자인하는 것이
왜 어려운지 알 수 있을 것입니다.

그리고 이것이 자율주행 자동차에서의
이미지 인식을

디자인하는 것이 왜 그렇게
힘든 일인 지에 대한 이유이고

많은 자율주행 자동차의 실패들의 이유는
AI가 혼란스러워했기 때문입니다.

2016년에 있었던 한 예에 대해
이야기해보고 싶습니다.

테슬라 자동조종 AI를 이용하던 사람이
아주 치명적인 사고를 당했습니다.

원래 고속도로에서 사용하도록
디자인되었는데

도시 도로에서 사용되었습니다.

그리고 어떤 일이 일어났냐면,

어떤 트럭이 차 앞으로 나왔는데,
그 차는 서지 못했습니다.

AI는 분명히 사진들에서
트럭을 인식하도록 훈련되었습니다.

그러나 좀더 들여다 보면

AI가 고속도로에 있는 트럭들을
인식하도록 훈련된 거 같아 보였습니다.

트럭의 뒷모습을 볼 것이라고
생각하도록 말이죠.

트럭의 옆모습을 보는 것은
고속도로에는 일어나지 않는 일이었고,

이 AI가 이 트럭을 봤을 땐,

아마도 트럭을 도로 표지판으로 인식하고

따라서 운전을 해도
안전하다고 판단한 것이죠.

여기, 다른 분야에서
AI의 실수가 있습니다.

아마존은 이력서분류 알고리즘을
포기해야만 했습니다.

실제 적용에서 이 알고리즘이
여성을 차별한다는 것을 발견한 것이죠.

그들이 AI 훈련용으로 사용한 이력서는

과거에 고용한 사람들의 것이었습니다.

그 예시들로부터, AI는 이런 사람들을
기피하는 것을 배웠습니다.

여대를 나온 사람들,

이력서 어딘가에
‘여성’이라는 단어가 있는 사람들,

예를 들어 '여자 축구팀',
'여성공학자협회'같은 단어말이죠.

AI는 이 특정한 행동을 따라 해선
안된다는 것을 모르고 있었죠.

인간들이 하는 걸 봤더라도요.

그리고 엄밀히 말하자면,
AI는 아마존이 요청한 것을 했습니다.

그들은 그저 실수로
잘못된 일을 시킨 것이죠.

AI에게 이런 일은 항상 일어납니다.

AI는 아주 해로운 일을 하는 와중에,
해롭다는 것을 모를 수 있습니다.

페이스북, 유튜브에서
새로운 콘텐츠를 추천해주는 AI들은

클릭 수와 조회 수를 늘리도록
최적화되어 있습니다.

그리고 불행하게도, 그들이 찾은 방법은

음모론이나 심한 편견이 있는
콘텐츠를 추천하는 것입니다.

AI들 자체에는 이 콘텐츠들이 실제로
무엇인지에 대한 개념이 없습니다.

그리고 그들은 결과가 어떨 것인지에
대한 개념도 없습니다.

이러한 콘텐츠를 추천해줌으로써
발생될 결과요.

그래서 우리가 AI와 일할 때,

문제들을 피하는 것은
우리에게 달려있습니다.

일들이 잘못되는 것을 피하는 것은,

아주 오래된 소통의 문제로 이어집니다.

인간인 우리가 AI와 소통하는
방법을 배워야하는 거죠.

AI가 할 수 있는 일과 없는 일이
무엇인지 알아야 합니다.

또한 AI는 그 조그만 지렁이같은 뇌로

우리가 어떤 것을 요청하려고 하는지
이해하지 못한다는 것을 알아야합니다.

다시 말해, 우리는 준비해야 합니다.

우리가 사용할 AI는 공상과학에나 있는
전지전능한 AI가 아닙니다.

현재 우리가 실제로 갖고 있는 AI와
함께 일하도록 준비해야 합니다.

그리고 오늘날의 AI는
대단히 이상합니다.

감사합니다.

(박수)