Tod Machover i Dan Ellsey grają nową muzykę

Tod Machover z MIT Media Lab poświęcił się poszerzaniu możliwości ekspresji muzycznej dla wszystkich, od wirtuozów do amatorów, w najbardziej różnorodnych formach, od opery do gier wideo. Z pomocą kompozytora Dana Ellseya, rzuca nieco światła na przyszłość swoich projektów.

Pierwszą ideą, jaką chciałbym zasugerować jest to, że wszyscy

bardzo kochamy muzykę. Ona wiele dla nas znaczy.

Ale muzyka ma jeszcze większą moc, jeśli się jej nie tylko słucha, ale też tworzy się ją samemu.

Taka jest moja pierwsza myśl. Wszystkim nam znany jest efekt Mozarta,

pomysł, który krążył wśród ludzi przez ostatnie pięć do dziesięciu lat,

według którego przez samo słuchanie muzyki lub granie muzyki dziecku w łonie matki

można zwiększyć punkty ilorazu inteligencji o 10, 20, 30 procent.

Świetny pomysł, ale w ogóle się nie sprawdza.

Nie można jedynie słuchać muzyki, trzeba ją też jakoś tworzyć.

Dodam, że nie chodzi tylko o tworzenie,

ale też o to, że każdy z nas, wszyscy ludzie na świecie

są zdolni do tworzenia i uczestniczenia w muzyce w bardzo dynamiczny sposób

i to jest jedno z głównych założeń mojej pracy.

Pracując z MIT Media Lab już jakiś czas,

zaangażowaliśmy się w dziedzinę określaną jako aktywna muzyka.

Jakie jesteśmy w stanie wymyślić możliwości

wciągnięcia wszystkich w sam środek muzycznego doświadczenia,

nie tylko przez słuchanie, ale też przez tworzenie muzyki?

Zaczęliśmy od tworzenia instrumentów dla wielkich artystów

(nazywamy je "Hiper Instrumentami"), dla Yo-Yo Ma, Petera Gabriela, Prince'a,

dla orkiestr, zespołów rockowych. To instrumenty z wszystkimi rodzajami czujników

wbudowanych w sam instrument, tak aby instrument wiedział jak się na nim gra.

I wystarczy zmienić interpretację i wyczucie,

żebym mógł zmienić swoją wiolonczelę w głos, albo w całą orkiestrę,

albo w coś, czego nikt wcześniej nie słyszał.

Gdy zaczęliśmy to produkować, zacząłem się zastanawiać, dlaczego nie możemy

tworzyć takich wspaniałych instrumentów dla wszystkich,

dla ludzi, którzy nie są fantastycznymi Yo-Yo Ma'mi czy Prince'ami?

Stworzyliśmy więc całą serię instrumentów.

Jedna z największych kolekcji nazywa się Brain Opera (Opera Mózgowa).

To cała orkiestra, złożona z ok. 100 instrumentów,

zaprojektowanych tak, żeby każdy mógł na nich grać dzięki naturalnym umiejętnościom.

Można więc grać w grę wideo, przechodzić przez utwór muzyczny,

używać gestów do kontrolowania wielkich zasobów dźwięku,

dotykać specjalnej powierzchni, aby tworzyć melodie, używać głosu, aby tworzyć całe aury.

I kiedy tworzymy Brain Opera, zapraszamy wszystkich

do wypróbowania tych instrumentów, a potem do współpracy

i do pomocy w tworzeniu każdego występu Brain Opera.

Po długim okresie tras koncertowych projekt osiadł w Wiedniu,

gdzie wybudowaliśmy poświęcone mu muzeum.

Doprowadziło to do czegoś, co pewnie znacie.

Guitar Hero powstało w naszym laboratorium,

a moje dwie nastoletnie córki i większość studentów MIT Media Lab

dowiedli, że jeśli stworzy się odpowiedni interfejs,

ludzie naprawdę zechcą być wewnątrz utworu muzycznego

i grać go raz po raz.

Tak więc ten model działa, ale to tylko wierzchołek góry lodowej,

ponieważ według mojej drugiej idei nie wystarczy jedynie chcieć

tworzyć muzykę w czymś takim jak Guitar Hero.

Muzyka daje radość, ale ma też moc zmieniania świata.

To naprawdę ważne.

Muzyka może zmienić wasze życie bardziej niż prawie wszystko inne.

Może zmienić sposób, w jaki porozumiewacie się z innymi,

może zmienić wasze ciało i wasz umysł. Więc próbujemy

przejść do następnego etapu budowania na podstawie czegoś takiego jak Guitar Hero.

Jesteśmy bardzo zaangażowani w edukację. Mamy długoterminowy projekt

zatytułowany Toy Symphony (Symfonia Zabawek), gdzie tworzymy wiele wciągających instrumentów,

tyle że dla dzieci, aby mogły pokochać tworzenie muzyki,

chcieć spędzać w ten sposób czas, poczuć potrzebę poznania jej struktury,

by móc tworzyć jeszcze wiecej. Więc produkujemy instrumenty do ściskania,

jak te Music Shapers, które mierzą elektryczność w waszych palcach,

Beat Bugs, pozwalające na wystukiwanie rytmu - pobierają wasz rytm

i możecie posłać wasz rytm do przyjaciół, jak piłkę,

a oni muszą wtedy powtórzyć lub odpowiedzieć na to, co robicie -

czy pakiet programów o nazwie Hyperscore, który pozwala każdemu na użycie linii i barw

w tworzeniu dość złożonej muzyki. Bardzo łatwy w obsłudze, ale gdy się go użyje,

można zajść daleko - muzyka w dowolnym stylu. A potem, po naciśnięciu guzika,

przekształca się to w partyturę, dzięki czemu prawdziwi muzycy mogą grać wasze utwory.

Osiągnęliśmy dobre, znaczące efekty w pracy z dziećmi

na całym świecie, a teraz także z ludźmi w każdym wieku używającymi Hyperscore.

Zaczęliśmy się więc interesować jeszcze bardziej użyciem tego typu twórczych zajęć

w dużo szerszym kontekście, dla wszystkich ludzi,

którzy zwykle nie mają możliwości tworzenia muzyki.

Jedną z rozwijających się dziedzin, nad którymi pracujemy

obecnie w Media Lab jest muzyka, umysł i zdrowie.

Wielu z was zna pewnie doskonałą książkę Oliviera Sacksa pod tytułem

"Musicophilia" ("Muzykofilia"), dostępną w księgarniach. To świetna książka.

Jeśli jeszcze jej nie czytaliście, to naprawdę warto. Autor sam jest pianistą

i zdradza szczegóły całej swojej kariery, związane z patrzeniem i z obserwacją

niesamowicie silnego wpływu muzyki na życie ludzi w niezwyczajnych okolicznościach.

Wiemy więc, przykładowo, że muzyka jest prawie zawsze ostatnią rzeczą,

na jaką ludzie z postępującą chorobą Alzheimera mogą wciąż reagować.

Być może wielu z was zauważyło to u swoich bliskich,

możecie znaleźć kogoś, kto nie potrafi rozpoznać własnego odbicia w lustrze,

ani skojarzyć kogokolwiek ze swojej rodziny, ale i tak można znaleźć fragment muzyki,

przy którym taka osoba wstanie z krzesła i zacznie śpiewać. I w ten sposób

można przywrócić ludziom część wspomnień i osobowości.

Muzyka najlepiej przywraca mowę ludziom, którzy stracili ją przez wylew,

a ludziom z chorobą Parkinsona - ruch.

Działa bardzo silnie na depresję, schizofrenię i wiele innych schorzeń.

Pracujemy więc nad zrozumieniem tych ukrytych zasad,

a następnie nad zajęciami, które pozwolą na faktyczne poprawienie zdrowia ludzi przez muzykę.

Robimy to na wiele sposobów. Współpracujemy z różnymi szpitalami.

Jeden z nich jest tuż obok Bostonu, nazywa się Tewksbury Hospital.

To państwowy szpital długoterminowy, w którym parę lat temu

zaczęliśmy używać Hyperscore w pracy z pacjentami niepełnosprawnymi fizycznie i umysłowo.

Stało się to centralnym elementem leczenia w szpitalu w Tewskbury,

więc każdy tam domaga się zajęć muzycznych.

To właśnie aktywne zajęcia wydają się najlepiej przyspieszać leczenie.

To również łączy wszystkich w szpitalu w coś w rodzaju muzycznej wspólnoty.

Chciałem pokazać wam krótki film o części tej pracy, zanim przejdę dalej.

Film: Oni manipulują nawzajem swoimi rytmami.

To prawdziwe doświadczenie, nie tylko uczyć się grania i słuchania rytmów,

ale też trenować pamięć muzyczną i grać muzykę w grupie.

Brać muzykę w swoje ręce, kształtować ją samodzielnie, zmieniać ją,

eksperymentować z nią, tworzyć własną muzykę.

Tak więc Hyperscore pozwala wam zacząć od zera bardzo szybko.

Każdy może dogłębnie doświadczyć muzyki,

musimy tylko opracować różne narzędzia.

Trzecia idea, którą chcę się z wami podzielić głosi, że muzyka paradoksalnie

chyba jeszcze bardziej niż słowa, służy nam jako najlepszy sposób

pokazywania, kim naprawdę jesteśmy. Uwielbiam dawać wykłady, chociaż,

co dziwne, jestem bardziej podenerwowany kiedy to robię niż kiedy gram muzykę.

Gdybym grał tutaj na wiolonczeli lub na syntezatorze, albo gdybym dzielił się z wami moją muzyką,

byłbym w stanie pokazać wam to, co jest we mnie, a czego nie mogę wyrazić słowami,

rzeczy bardziej osobiste, być może głębsze.

Myślę, że to odnosi się do wielu z nas i chcę wam podać dwa przykłady

na to, że muzyka jest jednym z najpotężniejszych posiadanych przez nas łączników

między nami a światem zewnętrznym.

Pierwszy przykład to naprawdę szalony projekt, nad którym teraz pracujemy, zatytułowany

"Death and the Powers" (Śmierć i Siły). To wielka opera,

jeden z większych projektów operowych obecnie na świecie.

Opowiada o człowieku bogatym, odnoszącym sukcesy, potężnym, który chce żyć wiecznie.

Odkrywa więc sposób na zapisanie siebie samego w swoim otoczeniu,

dokładniej w serii książek.

Czyli ten facet chce żyć wiecznie, zapisuje siebie samego w swoim otoczeniu.

Śpiewak grający główną rolę znika na początku opery,

a cała scena staje się głównym bohaterem. Staje się jego spuścizną.

Opera opowiada o tym, czym możemy się dzielić, co możemy przekazać innym,

ludziom, których kochamy, a czego nie możemy.

Każdy element opery ożywa i jest gigantycznym instrumentem muzycznym,

na przykład ten żyrandol. Zajmuje całą scenę. Wygląda jak żyrandol,

ale tak naprawdę to zautomatyzowany instrument muzyczny.

Jak więc widzicie w tym prototypie, są też gigantyczne struny fortepianu,

z których każdą kontroluje mały zautomatyzowany element -

albo małe smyczki przesuwające się po strunach, albo śmigła, które muskają struny,

czy sygnały akustyczne, które wprawiają struny w wibracje. Mamy też na scenie armię robotów.

Roboty te są kimś w rodzaju pośredników między głównym bohaterem, Simonem Powersem,

a jego rodziną. Występują całą serią, trochę jak grecki chór.

Obserwują akcję. Zaprojektowaliśmy te kwadratowe roboty, które teraz testujemy

w MIT, nazwane OperaBots. Podążają za moją muzyką.

Podążają za postaciami. Są, miejmy nadzieję, dość mądre,

żeby nie wpadać na siebie. Wyłączają się same.

A potem mogą też, kiedy się pstryknie, ustawić się dokładnie tak jak chcecie.

Chociaż to tylko sześciany, mają niezłą osobowość.

Największy element scenografii w operze nazywa się "System". To seria książek.

Każda książka jest zautomatyzowana, więc wszystkie się ruszają, wszystkie wydają dźwięki,

a kiedy zbierze się je razem, zmieniają się w te ściany,

które posiadają gesty i osobowość Simona Powersa. Więc on zniknął,

ale całe jego fizyczne otoczenie staje się jego osobą.

Taką postać postanowił przyjąć.

Książki posiadają też mocno naładowane diody na grzbietach. Chodzi o pokaz.

A to wielki baryton, James Maddalena, wstępujący do systemu.

To krótka zapowiedź.

Premiera będzie w Monako, we wrześniu 2009 roku. Jeśli nie uda się wam tam być,

oto kolejny pomysł związany z tym projektem. Mamy tego gościa budującego swoją spuściznę

w tej bardzo nietypowej formie, w muzyce i w otoczeniu.

Ale udostępniamy to także zarówno w sieci, jak i w przestrzeni publicznej,

jako sposób, w jaki każdy z nas może używać muzyki i obrazów z naszego życia,

aby tworzyć własną spuściznę, lub aby tworzyć spuściznę ukochanej osoby.

Więc zamiast stać się Wielką Operą, ta opera stanie się czymś,

co uważamy za taką właśnie osobistą operę.

A jeśli zamierzacie stworzyć osobistą operę, co powiecie na osobisty instrument?

Wszystko, co wam do tej pory pokazałem - czy to hiper wiolonczela dla Yo-Yo Ma,

czy ściskana zabawka dla dziecka - te instrumenty są niezmienne i wartościowe

dla danej kategorii - człowieka, wirtuoza, dziecka.

A jeśli mógłbym stworzyć instrument, który można dostosować

do mojego osobistego zachowania, do pracy moich rąk,

do tego, w czym jestem dobry i może do tego, w czym radzę sobie gorzej?

Taka jest chyba przyszłość interfejsu, przyszłość muzyki, przyszłość instrumentów.

A teraz chciałbym zaprosić na scenę dwóch wyjątkowych ludzi,

aby podać wam przykład tego, jak mogą wyglądać instrumenty osobiste.

Powitajcie więc Adama Boulangera, doktoranta

z MIT Media Lab i Dana Ellseya. Dan,

dzięki TED i dzięki Bombardier Flexjet, przyjechał dziś do nas

aż z Tewksbury. Jest pacjentem Tewksbury Hospital.

To zdecydowanie jego najdalsza podróż od Tewksbury Hospital, tego możecie być pewni,

ponieważ jest on zmotywowany do spotkania dzisiaj z wami i do zaprezentowania wam własnej muzyki.

Dan, na początek, może przywitasz się ze wszystkimi i przedstawisz się wszystkim?

Dan Ellsey: Cześć. Nazywam się Dan Ellsey. Mam 34 lata i cierpię na porażenie mózgowe.

Zawsze uwielbiałem muzykę i jestem podekscytowany tym, że mogę dyrygować

własną muzyką dzięki temu nowemu programowi.

Tod Machover: A my jesteśmy naprawdę podekscytowani tym, że tu jesteś, naprawdę, Dan. (Aplauz)

Poznaliśmy Dana jakieś trzy, trzy i pół roku temu,

kiedy zaczęliśmy pracę w Tewksbury. Wszyscy, których tam spotkaliśmy byli wspaniali,

tworzyli wspaniałą muzykę. Dan nigdy wcześniej nie tworzył muzyki, ale okazało się,

że jest w tym naprawdę świetny. To urodzony kompozytor.

Jest też bardzo nieśmiały.

Więc okazało się, że to świetny kompozytor i od kilku ostatnich lat

stale z nami współpracuje. Skomponował bardzo wiele utworów.

Nagrywa swoją płytę. Tak się składa, że w okolicach Bostonu jest dość znany,

uczy pacjentów szpitala i miejscowe dzieci jak tworzyć własną muzykę.

Adam powie wam więcej. Adam jest doktorantem w MIT, ekspertem od muzyki,

technologii i medycyny. Adam i Dan blisko ze sobą współpracują.

Przez ostatni okres czasu Adam pracował nie tylko nad tym, żeby Dan

był w stanie łatwo komponować swoje utwory,

ale też nad tym, żeby mógł wykonać swój utwór przy pomocy tego osobistego instrumentu.

W takim razie może opowiesz trochę o tym jak wygląda wasza praca?

Adam Boulanger: Tak. Więc Tod i ja zaczęliśmy dyskutować

w związku z pracą w Tewksbury i skupiliśmy się na tym, że Dan jest osobą

ekspresywną, osobą inteligentną i kreatywną. Można to zauważyć na jego twarzy,

w jego oddechu, w jego oczach. Dlaczego nie może wykonać

któregoś ze swoich utworów muzycznych? Musimy robić to za niego, a to bez sensu.

Zaczęliśmy więc opracowywać technologię, która pozwoliłaby mu ze szczegółami,

z precyzją, z kontrolą i pomimo niepełnosprawności, móc to robić,

móc wykonać swój utwór muzyczny.

Jeśli chodzi o proces i o technologię,

przede wszystkim na początek potrzebujemy rozwiązania technicznego.

Mamy więc kamerę FireWire, skierowaną na wskaźnik podczerwieni.

Pracowaliśmy z rodzajem metafory gestów, do której już się przyzwyczaił

przez swój kontroler mowy.

To była właściwie najmniej interesująca część pracy, wiecie,

proces projektowania. Potrzebowaliśmy danych wejściowych, potrzebowaliśmy ciągłego śledzenia.

Program obserwowałby tworzone przez niego kształty.

Ale po części technicznej przyszedł czas na naprawdę interesujący aspekt pracy,

w którym, upraszczając, kodujemy ruchy Dana,

żeby dokładnie określić, wiecie, jak się porusza.

Co jest dla niego użyteczne jako ruch ekspresyjny?

Jaka jest jego metafora wykonania utworu?

Jakie rzeczy uważa za

istotne do kontrolowania i przekazania w utworze?

Tak więc dopasowanie parametrów i cała technologia

były w tym momencie ukształtowane tak, żeby pasować do Dana

I, wiecie, sądzę, że to taka zmiana perspektywy. Nie chodzi tylko o technologie,

o to, że zapewniają dostęp, że pozwalają nam na tworzenie dzieł.

A co z ekspresją? Co z tą chwilą, gdy artysta przekazuje

to dzieło? Czy nasze technologie dają nam możliwość ekspresji?

Czy mamy potrzebne do tego struktury? I to jest osobisty stosunek

do ekspresji, którego brakuje w sferach technologicznych.

W przypadku Dana potrzebowaliśmy nowego procesu projektowego i technicznego,

aby jakoś poznać jego ruch i jego drogę do ekspresji, która pozwala mu wykonywać utwory.

I to właśnie dziś zrobimy.

TM: A więc zaczynajmy. Dan, może powiesz wszystkim

co teraz zagrasz?

DE: To utwór "My Eagle Song" ("Moja Orla Piosenka")

TM: A więc Dan wykona własny utwór pod tytułem "My Eagle Song".

A to jest zapis utworu Dana,

skomponowanego w całości przez Dana w Hyperscore.

Dan może używać czujnika podczerwieni, żeby dotrzeć prosto do Hyperscore.

Jest w tym niesamowicie szybki, właściwie to szybszy ode mnie.

(śmiech)

TM: I jest do tego naprawdę skromny.

Czyli może włączyć Hyperscore. Zaczyna się od tworzenia melodii i rytmów.

Może je porozmieszczać dokładnie tam gdzie chce.

Każdy element dostaje kolor, wraca do okna kompozycji,

rozrysowuje linie, rozmieszcza wszystko tak jak chce. Patrząc na Hyperscore,

wy też możecie to zobaczyć, możecie zobaczyć gdzie są sekcje,

coś może trwać przez chwilę, zmieniać się, nabrać szaleńczego tempa i skończyć się

wielkim wybuchem.

W taki właśnie sposób stworzył ten utwór i, jak mówi Adam,

znaleźliśmy wtedy najlepszy sposób, żeby mógł wykonać swój utwór.

Utwór będzie obserwowany przez tą kamerę, będzie analizował jego ruchy,

pozwoli Danowi ukazać wszystkie różnorodne aspekty muzyki, którą chce pokazać.

Zobaczycie także wizualizację na ekranie.

Poprosiliśmy naszego studenta, aby patrzył na to, co mierzy kamera.

Ale zamiast dosłowności i pokazywania wam dokładnie

ścieżki kamery, zmieniliśmy to w grafikę, która pokaże wam podstawowy

ruch i sposób jego analizowania.

Myślę, że to daje pojęcie o tym jak wybieramy ruchy w tym,

co robi Dan, ale sądzę, że to także pokaże wam,

że kiedy Dan tworzy muzykę, jego ruchy są bardzo celowe, bardzo precyzyjne,

bardzo zdyscyplinowane, a także bardzo piękne.

W słuchaniu tego utworu, jak już wspomniałem, najważniejsze jest to,

że muzyka jest wspaniała i że pokaże wam kim jest Dan.

A więc, możemy zaczynać, Adam?

AB: Tak.

TM: OK, teraz Dan wykona dla was swój utwór "My Eagle Song"

(Aplauz)

TM: Brawo

(Aplauz)