Тод Маковер и Дэн Элси создают новую музыку

Тод Маковер из Медиа-лаборатории Массачусетского технологического института работает над созданием музыкальных технологий, которые помогут выразить себя в музыке каждому желающему — от любителя до виртуоза, в самых разных жанрах — от оперы до видео игр. Тод и композитор Дэн Элси показывают нам будущее в развитии музыки.

Я хотел бы начать с того, что каждый из нас

очень любит музыку. Музыка очень много значит для нас.

Но музыка имеет ещё большее значение, если мы не только её слушаем, но даже сами её создаём.

Это то, с чего я хотел бы начать. Мы все знаем об «эффекте Моцарта»,

идее, которая была представлена нам в последние 5 - 10 лет:

просто слушая музыку или играя музыку для ребёнка в утробе матери,

можно повысить коэффициент интеллекта (IQ) на 10, 20, 30 процентов.

Прекрасная идея, но, на самом деле, всё обстоит иначе.

Недостаточно просто слушать музыку, её нужно создавать.

И я хотел бы добавить, что не просто творить,

но каждый из нас, каждый в мире

имеет способности создавать музыку и быть частью музыки в очень динамичной форме,

и это одно из основных направлений моей работы.

В Медиа-лаборатории МТИ мы довольно долго

работаем в сфере интерактивной музыки.

Каковы возможные пути

привлечь каждого к музыкальному творчеству?

Не просто слушать, но и творить музыку.

Мы начали с изобретения инструментов для некоторых знаменитых музыкантов,

мы назвали их «Гиперинструменты»: для Йо-Йо Ма, Питера Гэбриэла, Принса,

оркестров, рок-групп, - инструментов с самыми разными сенсорами,

встроенными прямо в инструмент таким образом, что инструмент знает, как на нём играют.

И просто изменяя интерпретацию и чувства,

я могу заставить мою виолончель издать звук голоса или целого оркестра,

или любой друг звук, который никто никогда не слышал.

Когда мы начали разрабатывать эти инструменты, я подумал,

почему бы не создать такие инструменты для каждого,

не только для Йо-Йо Ма или Принса?

Мы разработали несколько серий инструментов.

Одна из самых больших коллекций называется «Разумная Опера».

Это целый оркестр, в котором около 100 инструментов.

Человек с любыми способностями может играть на них.

Вы можете играть в видео игру, двигаясь сквозь музыкальный отрывок

и движением своего тела контролируя разные звуки,

создавать мелодии, дотрагиваясь до специальной поверхности, используя свой голос, создавать ауру.

Работая над «Разумной Оперой», мы приглашаем публику использовать

наши инструменты и сотрудничать с нами

в создании каждого исполнения «Разумной Оперой».

Мы довольно долго гастролировали. Сейчас всё это находится в Венне,

в специально построенном музее.

И эта работа привела нас к чему-то, о чём вы, возможно, уже знаете.

Игра Guitar Hero («Герой Гитары») вышла из нашей лаборатории.

Мои две дочери-подростка и большинство студентов из лаборатории —

вот доказательство, что, если создать правильный интерфейс,

людям действительно интересно быть частью музыки,

играть снова, и снова, и снова.

Итак, подход работает, но это всего лишь вершина айсберга,

потому что моя следующая идея в том, что не достаточно только желать

воспроизводить музыку, как в Guitar Hero ,

что музыка – это не только очень весело, но музыка ещё и развивает.

Это очень-очень существенно.

Музыка может изменить нашу жизнь, более чем что-либо другое,

может изменить наши взаимоотношения с другими людьми,

может изменить наше тело и разум. Мы пытаемся

выйти на следующий уровень, нечто большее, чем Guitar Hero.

Мы работаем в сфере образования. У нас есть долгосрочный проект,

называется «Игрушечная Симфония», мы создаем очень разные инструменты, к которым очень легко привыкнуть,

для маленьких детей, чтоб они полюбили создавать музыку,

желали тратить на это время и интересовались тем, как это работает,

как сделать больше, как творить. Мы разработали инструменты, которые легко сжимать,

«Музыкальные Генераторы», которые измеряют электрозаряд ваших пальцев;

«Ритмичные жучки», которые помогают войти в ритм: они снимают ваш ритм,

а потом, как горячую картошку, вы посылаете ваш ритм своим друзьям,

которые, в свою очередь, имитируют или отвечают на то, что делаете вы;

и программа «Hyperscore», которая позволяет каждому, используя линии и цвет,

создавать довольно изысканную музыку, она очень легка в использовании, но, начав ей пользоваться,

вы можете довольно глубоко проникнуть в музыку любого стиля. Одним нажатием кнопки,

программа превращает нарисованное в ноты, так что настоящие музыканты смогут сыграть ваше произведение.

У нас довольно неплохие, на самом деле, даже очень хорошие результаты с детьми

по всему миру, а теперь и с людьми любого возраста, которые используют «Hyperscore».

И мы очень заинтересованы в использовании таких творческих игр

в более широком контексте, людьми с любыми способностями,

теми, кто обычно не имеет возможности создавать музыку.

Одно из направлений, над которым мы сейчас работаем

в Медиа-лаборатории, — это музыка, разум и здоровье.

Многие из вас, наверняка, знакомы с книгой Оливера Сакса

«Музыкофилия». Она сейчас в продаже. Необыкновенная книга.

Стоит прочитать, если вы её ещё не читали. Он сам пианист,

и всю свою карьеру он наблюдает,

сколь сильный эффект может иметь музыка на жизнь людей в очень разных ситуациях.

Например, мы знаем, что музыка – это всегда последняя вещь,

на которую всё ещё реагируют люди в последней стадии болезни Альцгеймера.

Возможно, многие из вас замечали у своих близких,

что те, кто не могут узнать своё собственное лицо в зеркале,

или не узнают своих родственников, могут распознать музыку,

вскочить со своего кресла и начать петь, и вместе с музыкой

мы можем вернуть часть воспоминаний человека, часть его личности.

Музыка лучше всего помогает восстановить речь тем, кто пережил удар,

движение тем, у кого болезнь Паркинсона.

Музыка очень помогает в лечении депрессии, шизофрении и многих других болезней.

Мы исследуем эти основополагающие принципы в музыке

и создаём инструменты, которые позволяют музыке улучшить состояние человека.

Мы многое делаем в этом направлении. Мы работаем с больницами.

Одна из них находится около Бостона - больница в Туксбери.

Эта государственная больница длительного пребывания, где вот уже несколько лет,

как мы начали использовать программу «Hyperscore» для пациентов с физической и умственной недостаточностью.

Наша работа стала главной частью лечебного процесса в больнице,

каждый пациент пытается работать с музыкой.

Именно эта деятельность сильно ускоряет лечение пациентов.

Таким образом, больница стала, в каком-то смысле, музыкальным сообществом.

Я хотел бы показать короткое видео об этой работе прежде, чем я продолжу.

Пациенты манипулируют музыкальными ритмами.

Это живой опыт, они не только обучаются воспроизводить и слушать ритмы,

но и тренируют свою музыкальную память, и исполняют музыку вместе.

Используют свои руки чтобы сохранять их форму, изменяют музыку,

экспериментируют и создают свою собственную музыку.

Таким образом, «Hyperscore» позволяет очень быстро начать писать музыку безо всякой подготовки.

Каждый может в полной мере прикоснуться к музыке,

мы всего лишь должны создать необходимые условия и инструменты.

Третья идея, которой я хочу поделиться, в том, что, парадоксальным образом, музыка,

я думаю, даже лучше, чем слова, помогает нам показать,

кто мы есть на самом деле. Я, например, люблю читать лекции, хотя

я нервничаю больше, когда читаю лекции, нежели когда играю музыку.

Если б я сейчас играл на виолончели или синтезаторе,

я бы мог показать вам то, что не мог бы рассказать о себе словами,

более интимные и глубокие вещи.

Я думаю, это верно для многих из нас, и я хочу привести два примера того,

как сильно музыка связывает

нас с окружающим миром.

Во-первых, очень необычный проект, над которым мы сейчас работаем,

называется «Смерть и Силы». Это большая опера,

один из самых больших оперных проектов в мире на данный момент.

Опера о человеке богатом и успешном, который желает жить вечно.

Он изобретает способ погрузить себя в окружающую среду,

на самом деле, в книги.

Итак, этот человек, желающий жить вечно, погружает себя в эту окружающую среду.

Солист исчезает в начале оперы,

и вся сцена становится главным героем, становится его продолжением.

Опера о том, чем мы можем поделиться с другими, что можем оставить после себя

людям, которых мы любим, и о том, чего мы не можем сделать.

Каждый предмет в опере оживает и огромные музыкальные инструменты,

как канделябры занимают всю сцену. Они выглядят, как канделябры,

но, на самом деле, это музыкальный инструмент-робот.

Вы видите прототип, огромные струны пианино,

каждая струна контролируется маленьким элементом-роботом.

Маленькие смычки играют на струнах, пропеллеры щекочут струны,

акустические сигналы вибрируют на струнах. Целая армия роботов на сцене.

Роботы представляют связь между Симоном Пауером, главным героем,

и его семьей. Целая серия роботов, вроде греческого хора.

Они наблюдают за развитием событий. Мы создали этих квадратных роботов и

назвали их «операботы». Эти операботы следуют за моей музыкой.

Следуют за исполнителями. Они достаточно сметливые, мы надеемся,

чтобы не столкнуться друг с другом. Они действуют самостоятельно.

Они также могут, одним нажатием кнопки, выстроиться, как вы захотите.

Они всего лишь кубики, но у них есть свой характер.

Самая большая часть оперы называется «Система». Это книги.

Каждая книга-робот может передвигаться и издавать звуки,

когда они все вместе, они превращаются в стену,

у которой повадки и характер Симона Пауера, который исчез,

но вся физическая среда становится этим человеком.

Это то, как он захотел сам себя представить.

На корешках книг также множество светодиодов. Так что это ещё и дисплей.

Слышится красивый баритон Джеймса Маддалены, когда он входит в систему.

Это предварительный показ.

Премьера в Монако в сентябре 2009 г., если вам не удастся её посмотреть,

вот вам другая идея этого проекта: этот человек создаёт своё наследие

в очень необычном виде: через музыку и окружающую среду.

Но мы и сами загружаем он-лайн и в социальные сети

наши фотографии и музыку,

создавая наше наследие и наследие наших любимых людей.

Вместо большой оперы, эта опера превращается, как мы представляем,

в нашу личную оперу.

Если мы собираемся создать личную оперу, как насчет персональных инструментов?

Всё, что я вам показывал: виртуальная виолончель для Йо-Йо Ма,

игрушка-сжималка для ребёнка, — эти инструменты остаются одинаковыми и подходят

только для конкретных людей, виртуоза или ребёнка.

Но что если я смог бы создать инструмент, который бы адаптировался

к тому, как человек ведёт себя, как работают его руки,

к тому, что я могу делать с лёгкостью и не очень?

Я думаю, это будущее интерфейса, будущее музыки и музыкальных инструментов.

Я хочу пригласить на сцену двух очень дорогих мне людей,

чтобы продемонстрировать, как работают персональные инструменты.

Поприветствуйте Адама Буланже, аспиранта из

Медиа-лаборатории МТИ, и Дэна Элси.

Спасибо TED и Bombardier Flexjet, Дэн сегодня с нами,

он пациент больницы в Туксбери.

Это поездка - самая дальняя для Дэна;

он очень хочет встретиться с вами и поделиться своей музыкой.

Дэн, хочешь сказать всем привет и рассказать немного о себе?

Дэн Элси: Привет. Меня зовут Дэн Элси. Мне 34 года, у меня церебральный паралич.

Я очень люблю музыку и очень рад, что могу создавать

свою собственную при помощи новой программы.

Тод Маковер: Мы очень рады тебя видеть Дэн. (Аплодисменты)

Мы познакомились с Дэном около трёх лет назад, три с половиной года назад,

когда начали работать в Туксбери. Мы встретили замечательных людей,

создали красивую музыку. Дэн никогда не занимался музыкой до этого, но оказывается,

он очень талантлив. Он прирождённый композитор.

Он также очень скромный.

Итак, оказалось, что Дэн необыкновенный композитор, и вот уже несколько лет

он работает с нами. Он создал много произведений.

Записал собственный диск. Он довольно известен в Бостоне,

помогает другим пациентам и детям создавать музыку.

Адам, аспирант из МТИ, эксперт в музыкальных технологиях и медицине,

Адам и Дэн работают вместе.

Адам в последнее время работал с Дэном не только над тем, как с

легкостью создавать музыку,

но и как её исполнять, используя персональные инструменты.

Расскажите нам как вы вместе работаете?

Адам: Тод и я начали работать

в Туксбери и увидели насколько Дэн эмоциональный,

умный и творческий человек. Это у него в лице,

в дыхании, в глазах. Почему у него нет возможности исполнять

собственную музыку? Мы решили ему в этом помочь.

Мы разработали технологии, которые позволят ему в нюансах,

с точностью контролировать, несмотря на физическую недостаточность,

исполнение собственных произведений.

Чтобы разработать процесс и технологию,

сначала нам необходимо было найти техническое решение:

у нас была камера, похожая на инфракрасный указатель.

Мы адаптировали её к жестам Дэна, он уже был знаком с голосовым

контролем.

Эта часть работы была наименее увлекательной,

разработка процесса. Нам нужно было больше информации, нам нужны были непрерывное наблюдение

и программное обеспечение, которое могло бы записывать тип движений Дэна.

Но по-настоящему интересной работа стала после создания технической части,

кода мы наблюдали за Дэном в больнице

буквально день и ночь, чтобы понять, как он двигается.

Что ему необходимо для выражения эмоций?

Для исполнения музыки?

Что ему необходимо

для контроля и передачи произведения?

С этими данными мы разработали технологию,

которая удовлетворяет все потребности Дэна.

Это очень перспективное направление. Это не только технология, чтобы

обеспечить условия для создания творческих произведений.

Как насчет эмоций? Как насчет момента, когда артист выступает?

Помогают ли наши технологии в выражении эмоций?

Обеспечивают ли они платформу для этого? Личное отношение к

выражению эмоций – это то, чего не хватает технологиям.

Необходимо было разработать новые решения для Дэна,

чтобы раскрыть его движения и его эмоции при исполнении,

это то, чем мы сейчас занимаемся.

Тод: Итак, давайте посмотрим. Дэн, ты хотел бы рассказать всем,

что ты собираешься исполнить?

Дэн: «Моя орлиная песня».

Тод: Дэн исполнит произведение «Моя орлиная песня».

Вот ноты этого произведения;

полностью написанные Дэном в «Hyperscore».

Он использует инфракрасный луч, чтобы воспользоваться «Hyperscore».

Он очень быстро ей пользуется, гораздо быстрее, чем я.

Дэн: Так точно.

Тод: он очень скромный.

Он открывает «Hyperscore». Начинает создавать мелодии и ритмы,

и связывает части своего произведения, как ему угодно.

Каждая часть имеет свой цвет и передвигается обратно в композиторское окно,

Дэн рисует линии, кладёт всё вместе, как ему угодно. Используя «Hyperscore»

вы тоже можете видеть, где расположены секции,

продолжать начатое произведение, изменять и делать что вам угодно и,

в конце-концов, создать нечто сверхъестественное.

Таки образом Дэн создал своё произведение, и, как Адам уже сказал,

мы нашли самый лучший для Дэна способ исполнить своё произведение.

При помощи камеры, которая анализирует его движения,

Дэн сможет выразить любые аспекты своей музыки.

Вы также увидите визуализацию на экране.

Мы попросили нашего студента наблюдать за измерениями камеры.

И вместо того чтобы показывать вам буквальные движения

камеры, мы отобразили графически основные

движения, и покажем, как это всё анализируется.

Это поможет вам понять, как мы исследуем движения

Дэна, но ещё, я надеюсь, вы сможете увидеть, что,

когда Дэн создаёт музыку, его жесты имеют конкретную цель, очень чёткие,

отточенные и очень красивые.

Слушая это произведение, самое главное понимать,

что музыка необыкновенна и помогает нам узнать, каков Дэн на самом деле.

Мы готовы, Адам?

Адам: Да.

Тод: Дэн, исполни нам своё произведение «Моя орлиная песня».

(Аплодисменты)

Тод: Браво.

(Аплодисменты)