타드 마초버와 댄 엘세이가 새로운 음악을 연주합니다.

MIT 미디어 랩의 타드 마초버는 거장 연주가부터 아마추어까지,또 오페라에서 비디오 게임까지 다양한 형식의 음악적 경험을 모든 이에게 선사하기 위해 애쓰고 있습니다. 타드와 작곡가 댄 엘세이는 다음 단계를 선보입니다

제가 먼저 말씀드리고 싶은 것은

우리 모두 음악을 사랑 한다는 사실입니다. 우리에게 큰 의미가 있죠

하지만 음악을 단순히 듣기보단 직접 만들면 더 큰 힘을 발휘합니다

이것이 제가 우선 드리고픈 말씀이었고, 모두 모차르트 효과를 아실겁니다

최근 5-10년 정도 우리가 주위에서 들은 내용이죠.

산모의 복중 태아에게 음악을 들려주거나 연주를 해주는 것만으로도

아이의 IQ가 10-30% 높아진다는 이론이죠

훌륭한 이론입니다만 실존하지 않는 효과입니다

음악을 그저 듣지만 말고 스스로 만들어 보세요

더불어, 그저 음악을 만드는 것이 아닙니다

누구나, 전세계 모두가

음악을 만들 수 있고, 역동적으로 음악의 일부가 될 수 있습니다

이것이 제 작업의 가장 중요한 부분입니다

요즘 MIT 미디어 랩에서

능동적인 음악이라는 작업을 하고 있습니다

어떻게 하면

사람들이 음악에 흠뻑 빠지고

단지 수동적인 감상자가 아닌 음악 창조자가 될 수 있을까요?

그래서 우린 위대한 음악가용 악기를 만들기 시작했습니다

소위 "전자 악기"라고 합니다. 요요마, 피터 가브리엘, 프린스

오케스트라. 록밴드 등이 사용하죠. 악기에 다양한 센서가 부착되어

악기는 연주법을 자각하죠

단지 해석과 느낌만 조절해도

첼로 소리가 사람 목소리 혹은 오케스트라 연주,

심지어 처음 들어 보는 소리로 변합니다

우리가 처음 이 악기를 만들었을 때 든 생각은

왜 모두를 위한 멋진 악기를 만들 수 없는가?

요요마나 프린스가 아닌 평범한 사람을 위한 악기 말이죠

그래서 우린 다양한 악기를 만들었습니다

가장 사이즈가 큰 악기가 바로 "브레인 오페라"입니다

100개 악기로 구성된 오케스트라로

자연스러운 기술로도 누구나 연주할 수 있습니다

여러분은 비디오 게임을 즐길 수도 있고 음악에 흠뻑 빠질 수도 있고

몸동작으로 거대한 사운드를 컨트롤 할 수도 있습니다

특정 표면을 터치해서 멜로디를 만들고 여러분의 목소리에 아우라를 실어 줍니다

우리가 브레인 오페라를 만들때 일반인들을 초청해서

함께 이 악기를 연주해서

브레인 오페라 공연을 완성합니다

우린 오랫동안 순회 공연을 다녔습니다. 비엔나에서는 상설 공연을 하고 있죠

비엔나 근교에 공연장을 설립했습니다

여러분이 잘 아시는 작품이 탄생하기도 했죠

기타 히어로(비디오 게임)이 저희 랩에서 개발되었고

제 두 10대 딸과 MIT 미디어 랩 학생들이 산 증인입니다

여러분이 적절한 인터페이스만 사용하시면 확인 할 수 있습니다

사람들은 음악의 일부가 되고 싶어하고

계속 연주하길 원합니다

이 모델은 가능하지만, 빙산의 일각에 불과합니다

왜냐하면 제 두번째 생각인데, 단지 기타 히어로 같이

음악 만들기에 그쳐서는 안되기 때문이죠

음악은 재미있지만, 변화를 일으킵니다

이건 아주 중요한 사실입니다

음악은 여러분의 삶을 가장 잘 바꿀 수 있습니다

여러분의 의사소통 방식

여러분의 심신까지 모두 바꿀 수 있습니다

그래서 기타 히어로를 능가하는 대중용 음악 작업법을 고민하고 있습니다

우린 교육분야에도 관심이 있습니다. 현재 장기 프로젝트로

토이 심포니를 진행중인데 중독성이 강한 악기를 만들고 있습니다

어린이용으로 아이들이 음악을 좋아하게 되고

즐기고,연주법을 배우고 싶어할 것이며

음악을 더 만들고 창작법을 배우고 싶어할 것입니다.그래서 간편한 악기를 만들었는데

음악 셰이퍼로 손가락의 전류를 측정합니다

비트 버그로 리듬을 따라 움직이고 그 리듬을 기록하죠

뜨거운 감자처럼, 이 리듬을 친구들한테 보낼 수 있습니다

그러면 친구는 여러분을 따라하거나 대답을 해야 합니다

컴퓨터작곡프로그램이라는 소프트웨어로 누구나 선과 색을 통해

정교한 음악을 만들 수 있습니다. 사용법이 매우 간단하고, 한번 써보면

어떤 스타일로도 전문적으로 작곡할 수 있습니다. 버튼을 누르면

음악 기호로 변해 라이브 연주자들이 여러분의 곡을 연주해 드릴 수 있습니다

전세계 어린이들에게 대단한 영향을 미쳤고

남녀노소 모두가 컴퓨터작곡프로그램을 사용합니다

그래서 우린 창의적 활동을 하는 아이들에게 더 폭넓은

관심을 갖게 되었습니다. 남녀노소를 위해서죠.

대부분 사람들은 작곡기회가 없습니다

그래서 요즘 미디어 랩이 작업하는 분야 중 하나가

음악, 마인드, 그리고 건강입니다

여러분 대다수께서 올리버 색의 신작 "뮤지코필리아"를 읽어보셨을 겁니다

지금 판매중인 훌륭한 책입니다

아직 읽지 않으셨다면 추천합니다. 저자는 피아니스트로

그동안 관찰한 음악의 엄청난 영향력을 자세히 기술했습니다

특수한 사람들에게 주는 효과에 대해 묘사했습니다

예를 들자면, 알츠하이머 환자들이

마지막으로 반응하는 자극이 음악입니다

많은 분들께서 사랑하는 사람이

거울에 비친 자신을 못알아보거나

가족을 못알아 보는 경험을 하셨을 겁니다. 그러나 음악 한 소절만 듣고도

알츠하이머 환자는 벌떡 일어나 노래를 합니다

그래서 음악으로 환자들의 기억이나 성격을 끄집어 낼 수 있습니다

음악은 뇌졸증 환자의 언어 능력을 회복하는 최고의 방법이며

파킨슨 환자의 거동 회복도 돕습니다

우울증, 정신분열증 치료에도 효력이 있습니다

그래서 우리는 잘알려지지 않은 원리들을 연구하고 있고

사람들의 건강에 도움이 되는 음악 활동을 마련할 것입니다

우리는 여러 병원과 협력을 하고 있습니다

그중 하나가 보스톤의 턱스베리 병원입니다

오래된 주립병원으로 몇년전부터

컴퓨터작곡프로그램으로 신체, 정신적으로 고통받는 환자들을 돕고 있습니다

이 방법은 턱스베리 병원 치료에서 중요한 역할을 담당하고 있습니다

모두가 음악 활동에 참여하고 싶어합니다

환자의 치료 효과를 극대화한다는 평가를 받고 있습니다

병원 젠체가 음악 공동체로 탈바꿈했습니다

다음 발표로 넘어 가기 전, 짧은 영상을 보여드리겠습니다

서로의 리듬을 바꾸고 있습니다

실제이며, 박자를 맞추고 감상하는 법을 배울 뿐 아니라

음악 기억력 훈련을 하고 그룹 연주를 합니다

스스로 음악을 만들려면, 바꾸고,

실험하고, 직접 작곡을 해야합니다

컴퓨터작곡프로그램으로 단기간 음악 공부를 할 수 있습니다

누구나 훌륭한 방법으로 음악을 경험할 수 있습니다

단지 다른 도구를 만들어야 할 뿐입니다

세번째 제 생각은 음악은 역설적으로

언어보다도 우리를 잘 보여주는 방법이라는 것입니다

저는 말하는 것을 좋아하기는 하지만,

희한하게 연주때 보다 말할 때가 더 긴장됩니다

만약 제가 여기에서 첼로나 전자 악기를 연주한다면,

그 어떤 말보다도 저를 잘 표현할 수 있습니다

아주 개인적인모습 그 이상을 보여드릴 수도 있죠

여러분도 마찬가지입니다. 두가지 예를 소개하겠습니다

음악이 얼마나 강력한 인터페이스로써

우리를 외부 세계로 이어주는가를 보여드리겠습니다

첫번째는 현재 우리가 진행중인 엄청난 프로젝트로

"죽음과 파워"라는 대규모 오페라입니다

현재 세계적으로 진행중인 오페라입니다

부,명예,권력을 모두 갖추고 불멸을 갈망하는 한 남자의 이야기입니다

이 남자는 주변 환경으로 자신을 다운로드 하는 방법을 알아냅니다

즉, 책 속 세계로 들어가는 거죠

불멸을 원한 남자는 책 속 세계로 들어갑니다

메인 싱어는 오페라 초반부에 사라지고

무대 전체가 주인공이 됩니다. 무대가 남자의 소유가 되는거죠

이 오페라는 우리가 무엇을 타인과 사랑하는 사람에게

나눌 수 있고 없는가를 다룹니다

오페라에 등장하는 모든 물체가 살아있으며 거대한 악기입니다

예를 들어 이건 무대 전체를 차지하는 샹들리에 같지만

사실은 로봇 악기입니다

여기 원형을 보시다시피 거대한 피아노 줄이 있는데요

작은 로봇이 피아노 줄을 조절합니다

작은 활이나 프로펠러가 피아노 줄을 당기거나

음향신호가 피아노줄을 진동시킵니다. 다수의 로봇이 무대에 설치되어 있죠

로봇이 주인공 시몬 파워스와 가족간의 매개체 역할을 하는 거죠

그리스 코러스처럼 이와 유사한 시리즈가 많습니다

로봇들은 움직임을 관찰합니다. 현재 MIT에서 테스트 중인 사각형 로봇은

"오페라봇"이라고 부르는데, 제 음악을 연주합니다

제 특징을 따라하는거죠. 이 로봇은 똑똑해서

서로 부딪치지도 않습니다. 각자 방향에 맞게 움직이는 거죠

스냅 사인을 보내면, 여러분이 원하는 방향으로 정확이 돌아갑니다

단순한 주사위모형이라도 많은 특징을 갖고 있습니다

가장 큰 오페라 세트가 "시스템"입니다. 여기 책들이 있죠

모든 책이 로봇으로, 움직이고 소리를 냅니다

다시 책을 원상태로 돌려 놓으면, 벽으로 변합니다

바로 시몬 파워스의 제스처와 성격을 나타내는 거죠. 시몬이 사라졌습니다

하지만 모든 물리적 환경이 바로 주인공이 되는 겁니다

시몬이 선택한 자기 표현 방법인 것입니다

책등에는 LED가 장착되어 이처럼 디스플레이가 가능합니다

보시다시피 위대한 바리톤 제임스 마다레나씨나 시스템에 들어오죠

오페라 공개 시사회 모습입니다

2009년 9월 모나코에서 프리미어가 열리지만, 만약 참석하실 없다면

다른 프로젝트가 있습니다. 이 분은 자신의 자산을

음악과 환경을 통해 모든 형태로 만들고 있습니다

이 프로젝트는 온라인과 공공장소에서 모두 가능합니다

음악과 우리 삶의 이미지를 사용해서

자신이나 사랑하는 사람을 위해 선물을 만들어 주는 겁니다

장엄한 오페라를 만드는 대신,

개인 오페라를 만드는 것입니다

개인 오페라를 만든다면, 개인 악기는 어떻게 구할까요?

제가 지금까지 소개한 악기는 요요마나 어린이용이었고

설치용인데다가

유명한 연주가나 아이들처럼 소수를 위한 것이었습니다

그렇다면 새로운 악기를 만들어 보면 어떨까요?

내 행동, 손짓, 기술, 때론 서툰 기술등에

적응할 수 있는 악기를 만드는 건 어떨까요?

바로 인터페이스, 음악, 악기의 미래 모습인거죠

지금부터 아주 특별한 두분을 무대로 모시겠습니다

개인 악기를 직접 보여드리기 위함입니다

박수로 맞이주시겠습니까? MIT 미디어 랩 박사 과정 아담 볼랭어씨와

댄 엘세이씨입니다. 댄!

봄바디어 플렉제트와 TED관계자 분 감사합니다. 댄이 오늘 함께 합니다

댄은 턱스베리 병원에서 여기까지 왔습니다

병원에서 이만큼 멀리 온 적이 없었죠

댄은 여러분을 만나 자신의 음악을 들려주고 싶어했거든요

댄, 일단 인사하고 자기소개 좀 해주시겠어요?

안녕하세요. 댄 엘세이며 34세 뇌성마비 환자입니다

음악을 사랑하고 연주를 하게 되어 기쁩니다

새 소프트웨어로 제 음악을 들려드리겠습니다

댄, 오늘 함께 해줘서 정말 기뻐요

우린 3년반 전에 댄을 처음 만났습니다

우리가 턱스베리 병원에 처음 일했을 때죠. 병원분들은 모두 훌륭하셨습니다

멋진 음악을 연주하셨죠. 댄은 자신의 적성을 발견하기 전까지는

한번도 작곡 한 적이 없었습니다. 댄은 타고난 작곡가입니다

그리고 매우 수줍어 합니다

우린 댄이 타고난 작곡가란 걸 알게됐고 지난 수년 동안

우리와 함께 일했습니다. 댄은 정말 많은 작품을 만들었습니다

CD도 만들었고 보스턴에서는 이미 유명인사입니다

작곡에 있어서는 병원 멘토들과 보스턴 어린이 사이에는 유명인이라 할 수 있죠

MIT 박사 과정 음악 전문가 아담이 이제부터 말씀을 드릴 겁니다

아담과 댄은 절친한 조력자로서

아담이 중점을 두는 것은

댄이 쉽게 작곡하고

개인 악기로 연주할 수 있게끔 돕는 것입니다

작업 방법을 알려주시겠어요?

네. 타드와 저는 턱스베리 병원 활동 이후

댄에 대해 이야기했습니다.

댄은 똑똑하고 표현력과 창의력이 뛰어났기 때문이죠. 댄의 얼굴,

호흡, 눈에서 알 수 있습니다. 그런 댄이 왜 음악 연주를 못하는 걸까요?

이건 우리의 책임이고 말도 안된다고 생각했습니다

그래서 기술을 개발해서 댄이 신체적 장애가 있더라도

모든 뉘앙스, 정확성, 조절을 담아

연주할 수 있도록 도왔습니다

우선, 프로세스와 기술적인 측면에서

기술 문제를 해결해야 했습니다. 보시다시피,

이 파이어와이어 카메라는 적외선포인터를 주시합니다

그래서 댄의 익숙한 제스처를

음향 컨트롤러와 연결시켰습니다

하지만 이 작업엔 훨씬 흥미로운 기술이 많습니다

디자인 프로세스의 경우 인풋과 지속적인 카메라 이동이 필요했습니다

소프트웨어에서는 댄의 제스처를 볼 수 있습니다

기술 문제를 해결한후 또 흥미로운 점을 발견했는데요,

병원에서 댄의 어깨 움직임을 코딩할때 였습니다

어떻게 댄이 움직이는지 알아내기 위해서였죠

댄이 표현력이 강한 모션을 취할땐 어떻게 해야할까?

즉, 공연을 위해 어떤 제스처를 만들어야 할까?

한 곡에서 댄은 어떤 부분을

중요하다고 여겨서 컨트롤해서 전달할까?

그래서 모든 변수와 기술을

댄에 맞추어서 최적화했습니다

기술이 아닌 관점의 변화가

이 창조적인 작품의 탄생을 가능케하였습니다

하지만 표현은? 아티스트가 연주하는 그 순간은 어떻게 할까요?

이 기술로 표현이 가능할까요?

기술이 표현 방법을 보여줄 수 있을까요? 기술의 영역은

개인 표현력을 묘사하는데에는 역부족입니다.

그래서 댄과 함께 새로운 디자인 엔지니어링 프로세스를 구축했습니다

댄의 움직임과 표현 방법을 파악해 연주를 돕기 위해서죠

오늘 바로 연주를 할겁니다

그럼 시작해봅시다. 댄 오늘 어떤 연주를 할건지

소개해 주겠어요?

"내 독수리 노래"를 연주할겁니다

댄은 "내 독수리 노래"라는 곡을 연주할 것입니다

댄이 직접 작곡한 곡이며

컴퓨터 작곡 프로그램으로 만든 작품입니다

댄이 적외선 트래커로 컴퓨터 작곡 프로그램을 작동했습니다

실은 저보다도 빨리 기계를 다루더군요

(웃음)

댄은 겸손하기까지 합니다

댄이 이 프로그램을 사용할 수 있고 멜로디와 리듬을 만들며 시작합니다

댄이 원하는 대로 멜로디와 리듬을 정확히 배치할 수도 있습니다

각각 색을 부여받고 작곡 윈도우로 돌아가면

선을 그려가죠. 댄이 원하는 대로 배치할 수 있죠. 이 프로그램을 보시면

섹션이 어디있는지 아실 수 있습니다

한동안 지속되다가 변하기도 하고 정말 복잡해지다가

끝에는 "뱅!" 하고 끝맺습니다

이렇게 댄이 작품을 완성합니다. 아담이 말했듯이

다음 우리는 댄을 위한 최적의 연주 방법을 모색합니다

카메라가 촬영을 하고 댄의 움직임을 분석합니다

그래서 댄이 원하는 모든 작품의 요소를 쏟아냅니다

곧 스크린 영상을 보실 겁니다

한 학생에게 카메라가 분석하는 것을 주시하도록 시켰습니다

카메라가 촬영하는 대상을 그대로 보여주지 않았습니다

기본 모션을 나타내는 그래픽으로 전환해서

우리의 분석방법을 보여준 것이지요

댄의 움직임 묘사 방법을 이해하는 데 도움이 될 것 같습니다

그런데 이 움직임을 보시면

댄이 작곡을 할때, 움직임이 아주 의미심장하고, 정확하고,

훈련을 받았고 아름답다는 걸 알 수 있습니다

말씀드렸다시피 음악을 감상하실 때 포인트는

작품이 훌륭하고 댄이 어떤 사람인지 아실 수 있다는 겁니다

아담, 준비 됐나요?

네

지금부터 댄이 "나의 독수리 노래"를 연주해 드리겠습니다

(박수)

브라보

(박수)