의료 보건계에서 빅 데이터 혁명을 일으키는 놀라운 씨앗

국제 보건에서 자료를 수집하는 일은 불완전한 과학이었습니다. 직원들이 마을을 찾아다니며 집집마다 방문해 사람들에게 질문하고, 답변을 종이에다 받아 적고, 그 내용을 컴퓨터로 옮기는 과정이었죠. 국가들은 이런 틈 투성이의 정보를 바탕으로 중대한 결정들을 내려야 했습니다. 자료 통인 조엘 셀라니키오는 지난 십년간 보건 데이터 수집에 일어난 엄청난 변화를 설명해 줍니다 -- 팜 파일럿과 핫메일에서 시작해, 이제 클라우드 기반으로 옮겨가는 변화를 말입니다. (TEDxAustin 영상)

오래된 농담 하나가 있습니다.
한 경찰이 한밤중에

순찰을 돌다가

한 남자가 가로등 아래서

땅을 보며 왔다 갔다
하는 걸 봤습니다.

경찰이 그에게
뭘 하는 중이냐고 묻자

그는 자기 열쇠를
찾는 중이라고 답합니다.

그래서 경찰이
가던 길을 멈추고

그 근처 바닥을
작은 구역들로 나눠

2-3분간 찾아보는데,
열쇠가 없는거에요.

경찰이 묻습니다.
"확실합니까? 이보세요,

여기서 열쇠를 잃어버린게
확실합니까?"

그랬더니 남자가 답했습니다.
"아뇨, 아니에요. 사실은

길 저쪽 끝에서 잃어버렸는데

여기가 더 밝잖아요."

요즘 사람들이 얘기하는

빅 데이터라는 개념은

인터넷을 통한 상호 작용으로

우리가 만들어내는
모든 정보를 일컫습니다.

페이스북과 트위터,

음악 내려 받기, 영화, 스트리밍,
다른 온갖 것들,

TED의 실시간 스트리밍도 마찬가지죠.

빅 데이터를 다루는 사람들은

그들의 가장 큰 문제가

정보가 너무 많은 것이라고 합니다.

이 모든 정보를 어떻게 정리할 것인지가
가장 문제라는 거죠.

제가 말씀 드릴 수 있는건,
국제 보건에서 만큼은

그게 제일 큰 문제가 아니라는 겁니다.

왜냐하면 인터넷의 불이

밝게 빛난다해도

국제 보건에서
우리가 해결하려는 문제들에

도움이 될 정보는
인터넷에 존재하지 않기 때문입니다.

예를 들면 우리는 현재

얼마나 많은 사람들이

자연 재해나 분쟁 상황으로
영향을 받고 있는지 모릅니다.

개발도상국들의 병원 중

어느 병원에 약이 있고

어느 병원에 약이 없는지도
알 수 없습니다.

이 병원들에 어떤 식으로
약이 공급되는지도 전혀 모르죠.

제가 더 놀랍게 생각하는 건

우리는 현재 볼리비아나

보츠와나나 부탄같은 곳에

몇명의 아이들이 있고
몇명의 아이들이 태어나는지 모른다는 겁니다.

이런 나라들에서는

지난 주 몇명의 아이들이 사망했는지도
알 수 없습니다.

노령 인구나 정신 질환 인구에
필요한 요구가 무엇인지도 모릅니다.

결정적으로 중요한
이 모든 문제들

혹은 우리가 문제를 해결하는데 있어
결정적인 지역들에 대해

우리는 기본적으로
아무것도 모릅니다.

우리가 아무것도 모르는
이유 중 하나는

국제 보건계가
문제 해결을 위해

자료를 수집할 때 사용하는
정보 기술 시스템이

여기 보시는
바로 이것이기 때문입니다.

약 5,000년 전에 고안된 기술이죠.

여러분 중 몇분도 전에
써 보셨을지 모르겠습니다.

이제는 구식이 되가는 방법이지만

저희가 가진 정보는
99 퍼센트가 여전히 이런 형태입니다.

바로 종이 문서입니다.
화면에 보시는 이것은

인도네시아의 시골을 돌아다니는

인도네시아 보건부 간호사의 손에 들린
종이 문서 입니다.

분명 아주 덥고 습한 날이겠죠.

이 간호사는 이렇게
수주 혹은 수개월간

수천개의 문을 두드릴겁니다.

이렇게 말하면서요.
"죄송합니다만,

몇가지 질문을 드리고 싶은데요.

아이가 있으신가요?
아이들이 예방 접종을 했나요?"

왜냐하면 우리가 실제로

몇명의 인도네시아 시골 아이들이
예방 접종을 받았는지

몇 퍼센트가 예방 접종을 받았는지
알 수 있는 방법은

인터넷이 아니라
집집마다 찾아다는 것이기 때문입니다.

어떤 때는
수만 가구를 방문하고

어떤 때는 수개월
심지어 수년이 걸립니다.

이렇게 정보를 모으기 위해서는요.

인도네시아에서 인구 조사를 하려면

아마 약 2년이 걸릴거에요.

그리고 이 모든 것에서 문제는
당연히 뭘까요.

종이 문서의 문제요.

우리에겐 온갖 종이 문서가 있습니다.

예방 접종 조사지

병원에 오는 사람들을
추적하기 위한 조사 용지

약이나 혈액 공급 체계를
추적하기 위한 서류,

온갖 종이 서류가

수많은 주제 아래 존재합니다.

이 모든 서류는 결국
한 종점에 모이게 되는데

그 종점은 흔히
이렇게 생겼습니다.

여기 보시는 것은
트럭 하나를 가득 채운 자료입니다.

이 자료는 제가 몇 년전 참가한

잠비아의 한 구역에서 행했던

예방 접종 현황 조사 내용입니다.

우리가 알고 싶었던 건 단지

잠비아 아동의 몇 퍼센트가
예방 접종을 받았는지 였을 뿐이었는데요.

이게 바로 그 자료를
수주동안 종이 서식을 이용해

한 구역에서 수집한 결과입니다.

여기서 구역은 미국의
카운티 같은 개념인데요.

그렇다면 잠비아 전역에서

예방 접종 현황 하나만
조사하려고 해도

이렇게 될 거라는 건
상상이 가시겠죠.

트럭, 트럭, 또 트럭이

무더기, 무더기, 또 무더기의
자료로 꽉 차있을 겁니다.

그런데 이게 끝이 아니에요.

이건 단지 시작일 뿐입니다.

왜냐하면 이 모든 데이터를
모으고 난 후에는

어떤 운 나쁜 사람이

이 자료를 컴퓨터에
입력시켜야 할테니까요.

실은 제가 대학원생이었을 때

종종 그 운 나쁜 사람이
되곤 했습니다.

하지만 저는 자주
딴청을 피웠어요.

아마 수많은 입력 오류가 있었을테고

아무도 발견하지 못했을 겁니다.
그렇게 자료의 질이 떨어지게 되죠.

하지만 결국 어떻게서든
자료가 컴퓨터에 입력되면

누군가가 그 자료를
분석할 수 있고

분석 결과와
보고서가 나오면

자료 수집의 결과로

잘하면 아이들의 예방 접종을
개선할 수 있을 겁니다.

세계 보건의 관점에서 봤을 때

이 지구상의 아이들이

백신으로 예방 가능한 질병으로
죽어가는 것보다

더 나쁜 일이 어딨을까요.

고작 1달러밖에 안하는
백신인데 말입니다.

매년 수백만명의 아이들이
이런 질병으로 사망합니다.

하지만 사실 '수백만명' 은
어림짐작일 뿐

실제로는 매년 몇명의 아이들이
이런 질병으로 사망하는지 모른다는 게 현실입니다.

그보다 더 답답한 건

제가 대학원생때 했다고 한
그 자료 입력만 해도

어떤 때는 6개월이 걸린다는 겁니다.

어떤 때는 정보를
컴퓨터에 입력시키는데만

2년이 걸리고,
그리고 어떤 때는, 실제로 드물지 않게

수집된 자료가
아예 컴퓨터에 입력되지 않기도 합니다.

잠깐 여기에 대해
한번 생각해보세요.

여러분이 수백명의 사람들을 모집해

현장에 보내서
어떤 특정 질문에 대해 조사하게 합니다.

아마 수십만 달러를 들여

기름값, 복사비, 일당을 충당하겠죠.

그러다 어떤 이유로
일 진행의 탄력이 떨어지거나

자금이 동나서

그 모든 노력이
물거품이 됩니다.

자료가 컴퓨터에
입력되지 않기 때문에요.

거기서 끝나는 거에요.
늘상 있는 일입니다.

그렇게 우리가 세계 보건에 관해
결정을 내릴 때

적은자료, 오래된 자료,
혹은 자료 없이 결정하게 됩니다.

그래서 저는 1995년부터
이 과정을 개선하기 위한

방법에 대해
생각하기 시작했습니다.

1995년, 확실히 지금으로부터
상당히 오래 전이죠.

얼마나 오래전인지 생각하니
왠지 무섭네요.

그 해 최고의 영화는

"다이 하드 3" 이었습니다.

보시다시피 당시의 브루스 윌리스는
훨씬 풍성한 모발을 갖고 있었죠.

저는 당시 질병 관리 센터에서
일하고 있었는데

저도 그때는 머리카락이
훨씬 많았습니다.

하지만 제가 1995년에 본 것 중
가장 중요했던 건

바로 이것이었습니다.

지금의 우리는 상상하기 힘들지만,
1995년에는

이게 궁극의 최고급 무선 기기였어요.

맞죠? 아이폰도 아니고
갤럭시도 아닌

팜 파일럿이었습니다.

팜 파일럿을 처음 본 순간, 저는

'이 팜 파일럿에 서식을 저장하면 어떨까?

팜 파일럿 하나만 들고 현장에 나가면

수만장의 문서를
여기에 저장할 수 있는데,

이걸 시도해보면 어떨까?'
하고 생각했습니다.

그렇게 할 수 있다면

정말 아예 처음부터 데이터를

디지털 형식으로 수집할 수 있다면

누군가가 문서 내용을

컴퓨터에 입력해 옮겨야 하는

과정 자체를 없애고

바로 분석으로 들어가서

데이터를 그대로 사용해
사람들의 생명을 구할 수 있을테니까요.

그래서 전 그 일을
실제로 시작했습니다.

질병 관리 본부에서 일하면서
세계 곳곳의 프로그램을 방문해

종이 대신 팜 파일럿으로

데이터를 수집하는 법을
가르치기 시작했어요.

실제로 좋은 결과가 나왔습니다.

누구든 예측할만한 방식으로
잘 되었어요.

세상에, 디지털 데이터 수집이

종이를 쓰는 것보다
더 효과적이잖아요?

지금 이 강연에
남편 매튜와 함께 와 있는

저의 사업 동업자 로즈는

제가 그 일을 하는 동안
미국 적십자사에서 비슷한 일을 하고 있었죠.

그런데 저는 이 일을 수년간 하다가

문제가 있음을 깨달았습니다.

그 수년간 저는 아마
여닐곱 프로그램을 방문했는데

이 속도라면
제 평생 일하면서

아마 20개에서 30개 정도의

프로그램을 방문할
상황이었습니다.

하지만 문제는,
20에서 30개의 프로그램,

단 20에서 30개의 프로그램에서
이런 기술을 훈련시키는 건

정말 새발의 피일 뿐이었어요.

개발도상국에서
이런 기술에 대한 요구,

프로그램을 향상시키기 위한
데이터의 필요성은

다른 분야는 고사하고
보건 분야만 해도 엄청났어요.

수많은 프로그램들이 진행중이고

수많은 병원들이
약의 사용과

수많은 예방 접종 프로그램을
추적해야 합니다.

출석률을 조사해야 하는
학교들은 어떻습니까.

우리가 해야 하는 수많은 일들 중

자료 수집이 필요한 일들이
이렇게 많은 겁니다.

저는 제가
이 속도로 일하면

제가 은퇴할 때 쯤 남을 영향은

아주 미미할 것이라는 걸
깨달았습니다.

그래서 저는 생각하기 시작했어요.

제가 지금 하고 있는 일이 무엇이고

제가 어떻게 사람들을 훈련시키고

문제점들은 무엇이며

속도가 더 빨라지지 않는
이유는 무엇인지

어떻게 하면 더 효율적으로
일 할 수 있는지를요.

이것들에 대해 한동안 생각한 뒤
저는 불행히도

가장 중대한 장애물을
파악했습니다.

그 장애물은

슬픈 깨달음이었지만

바로 제 자신이었습니다.

이게 무슨 말일까요?

제가 고안한
기술 배포 과정에서

이 기술의 중심은
바로 제 자신이었다는 말입니다.

이 기술을 사용하려면
일단 저와 연락이 되어야 했습니다.

그 전에 저란 사람이
존재한다는 것부터 알아야 했죠.

그 다음엔
제가 그곳에 찾아갈 수 있도록

제게 비행기 삯과

호텔비와

식비와 일당을 지불할
자금도 있어야 합니다.

그렇게 만, 이만, 삼만 달러가 필요한데

그것도 제가 시간이 있거나

휴가 중이 아닐 때 가능하죠.

즉 요점은
한명의 개인,

혹은 두명 세명
아니면 다섯명에 의존하는 시스템은

규모를 늘릴 수 없다는 겁니다.

그리고 문제는
이 기술은

규모가 더 늘어나야만 했고
지금 당장 늘어나야 했다는 겁니다.

그래서 저는
기본적으로

제 자신을 과정에서
뺄 수 있는 방법을 찾기 시작했어요.

저를 어떻게 하면
과정에서 제외할 수 있을지

꽤 오랜 시간동안

생각했습니다.

제가 받은 교육에 의하면

국제 개발에서
기술을 배포하는 방법은

늘 컨설턴트를 통한
방법이었어요.

언제나 저같은 사람들이

이곳 같은 나라에서

피부색이 좀 더 어두운 사람들이 사는
다른 나라로 날아가는 방식인 겁니다.

그렇게 되면 비행기 표값이 들고

여행 시간을 쓰며
식비가 들고

호텔비를 내야 되고
온갖 종류의 지출이 생깁니다.

제가 아는 한
기술을 배포시키는데는

그 외 다른 방법이 없었고,
이 문제를 돌아갈 방법이 생각나지 않았습니다.

그런데 기적이 일어났어요.

짧게 줄여 핫메일이라고 하죠.

아마 핫메일이 기적같다고
생각하진 않으시겠지만

저한테는 기적적이었어요.

제가 이 문제로
씨름하고 있었을 때

저는 주로 사하라 남부
아프리카에서 일하고 있었습니다.

그러다 저는 같이 일하고 있던
사하라 남부 아프리카의

보건 요원들이 모두
핫메일 계정을 가지고 있다는 걸 발견했습니다.

그리고 문득 그런 생각이 들었습니다.

'잠깐만, 핫메일 직원들이

비행기를 타고
케냐 보건부로 와서

사람들에게 핫메일 사용법을
가르쳐 주지는 않았을텐데.

그런데도 핫메일은
기술을 퍼트리고 있다.

이 소프트웨어 기능은
멀리 타국에서도 쓰이는데

핫메일 직원이 비행기를 타고
세계를 돌아다지는 안잖아.

생각을 좀 해봐야겠다.'

제가 그것에 대해 생각하는동안

아프리카의 사람들은 점점 더 핫메일 같은
도구들을 쓰기 시작했어요. 우리처럼요.

링크드인이나 플릭커,

지메일과 구글맵, 이런 것들요.

물론 이 모든 건 클라우드 기반이고

어떤 교육도 필요하지 않죠.

프로그래머도 필요없고

컨설턴트도 필요없는 이유는

이 모든 사업의 모델은

훈련이 거의 필요 없을 정도로

사용하기 아주 간단한
제품을 만들기 때문입니다.

이런게 있다는 걸 듣고
해당 웹사이트로 가면 되는 겁니다.

그렇게 저는 생각하게 됐습니다.
제가 자문하던 일을

대신할 수 있는 소프트웨어를 만들면
어떨까? 하고요.

사람들에게 무선 기기에

서류를 입력하는 방법을
가르쳐 주는 대신

훈련이나 제가 없이
그들이 직접 할 수 있는

소프트웨어를 만들자고요.

우리가 한 일이 바로 그겁니다.

저희는 매그파이라는
소프트웨어를 만들었습니다.

이 소프트웨어에는
온라인 서류 작성 도구가 포함되어서

저와 연락해야 될
필요가 없게 됐습니다.

그냥 이런 도구가 있다는 걸 알고
웹사이트에 가면 됩니다.

서류를 작성한 다음에는

대중적인 여러 무선 기기들에
전송할 수 있습니다.

물론 요즘에는 팜 파일럿이 아니라

무선 전화기가 되겠죠.

하지만 스마트폰이 아니어도 됩니다.

저 오른쪽에 보시는 것 같은
기본적인 휴대 전화도 됩니다.

개발도상국에 아주 흔한

기본적인 심비안 체계 단말기죠.

이 소프트웨어의 큰 장점은
마치 핫메일 같다는 거에요.

클라우드 기반이고,
훈련이나 프로그래밍,

자문역이 따로 필요없이
사용할 수 있습니다.

다른 부수적인 장점도 있습니다.

저희가 맨 처음
이 시스템을 만들었을 때

그 목적은
팜 파일럿을 쓰던 때와 마찬가지로,

자료를 수집하고
수집하는 즉시

자료를 업로드해
저장하는 것이었습니다.

하지만 이런 시스템에서는
자료가 즉석에서 컴퓨터에 저장되기 때문에

그 자리에서 지도와 분석과
도표를 그려 보일 수 있습니다.

2년이 걸리던 과정을

5분으로 단축시킬 수 있는 것입니다.

효율성이 믿을 수 없을 만큼
향상된 것이지요.

클라우드 기반에, 훈련도 필요없고,
자문역도 필요없고, 저도 필요없게 됐어요.

우리가 이전의 방법대로

각국을 찾아다니며 일하던

그 초반의 몇년간

훈련시킨 사람들은 아마

1,000명 정도 될거에요.

그런데 이 소프트웨어가 생기고 나서는
어떻게 되었을까요?

두번째 3년 분기에서,
14,000명의 사용자가

웹사이트를 찾아 가입했고
매그파이를 이용해 자료를 수집하기 시작했습니다.

재해 대응을 위한 자료,

캐나다의 양돈업자들이
돼지떼와 질병을 추적하기 위한 자료,

약 공급 과정을 추적하기 위한
자료와 같은 것들이요.

제가 제일 좋아하는 예는 IRC, 즉

국제 구조 위원회로

그들은 반문맹의 산파들이

10 달러짜리 무선 전화기로

우리의 소프트웨어를 사용해

출산과 사산의 숫자를

문자로 전송하게 하는
프로그램을 진행하고 있습니다.

이로서 IRC 는 세계 보건에서
그 누구도 얻지 못한 자료를 얻게 됬죠.

실사간으로 신생아 숫자를 계산하게 된 겁니다.

이 프로그램이 진행되고 있는

시에라 리온에
얼마나 많은 아이들이 태어나고

얼마나 많은 아이들이 살고 있으며

얼마나 많은 아이들이 사망하는지
알게 된 겁니다.

인권 의사회의 경우는

보건에서 조금 벗어나는 예지만

성폭행이라는 아주 끔찍한 유행이
돌고 있는 콩고에서

성폭행 검사 방법을 훈련시키고
그에 관련한 자료를

수집하고 있는데요.

그들은 우리 소프트웨어를 사용해

사진을 포함한 성폭행 증거물을
모으고 기록해

가해자들이
법적으로 심판받도록 하고 있습니다.

영국에 기반을 둔
또 다른 자선 단체인 캄페드는

여자 아이들이 학교를 다닐 수 있도록
가정들에 재정 지원을 합니다.

이것이 그들이 할 수 있는

가장 중요한 중재 방법이라는 걸
이해하기 때문이죠.

캄페드는 자금 분배와
아이들의 출석률, 성적을 종이에 기록하곤 했는데

당시 선생님이 성적이나 출석을

종이에 쓰는 순간부터

기관의 보고서가 작성되기까지 걸리는 시간은
약 2년에서 3년이었습니다.

이제 그게 실시간으로 되고 있어요.

이 시스템은 클라우드 기반에
비용이 매우 저렴하기 때문에

캄페드가 이 프로그램을 진행중인
5개국 전체

수만명의 여학생들을 추적하는데

총 비용이 일년에 만불 밖에 들지 않습니다.

이건 제가 컨설팅을 위해

2주간 여행하는데 들던 비용보다도
더 작은 숫자에요.

아까 말씀 드렸듯이

예전의 방식으로 일하고 있었을 때

우리가 미치는 결과는
새발의 피같다는 걸 깨달았어요.

10개, 20개, 30개의 프로그램 정도였죠.

그 후로 우리는 많이 발전해왔지만

현재 14,000 명의 사람들이

이 소프트웨어를 쓰는 지금도
우리가 하는 일은 여전히

새발의 피라는 걸 인정합니다.
하지만 뭔가가 달라졌습니다.

분명히 보일 거라고 생각합니다.

지금이 이전과 다른 것은

파급 속도가 정말 느려서

우리를 필요로 하는 모든 사람들에게
닿을 희망이 전혀 없는 프로그램 대신

사람들이 우리에게 닿을
필요조차 없게 만든 겁니다.

우리는 아이들이
학교에 출석하게 하고

신생아들의 숫자와

아동 사망 수치를 추적하며

범죄자들을 잡아
성공적으로 유죄 판결을 받게 하고

이 모든 것을 통해서

정말로 무슨 일이 일어나고 있는지
더 많이 이해하고 더 많이 보고

생명을 살리고 삶의 질을 향상시키는
도구를 창조해냈습니다.

감사합니다.

(박수)