新しい音楽の可能性を開く楽器を作る

MITメディアラボのトッド・マコーバーは音楽表現を大音楽家からアマチュアまで、誰にでもできるものとし、オペラからテレビゲームまで、あらゆる形態で可能とすべく研究しています。トッド・マコーバーと作曲家ダン・エルシーが次に何が可能になるかを紹介します。

最初にお話ししたいことは　
みんな音楽が大好きだ　ということです

これはとても大事なことです

聞くだけでなく　
自分で音楽を作ることができれば

もっと音楽は力強いものになります

これが最初のテーマです　

さて皆さん「モーツァルト効果」をご存知ですね？

10年ほど前から良く聞かれる話です

胎内の赤ちゃんに音楽を聞かせたり
音楽を演奏してあげたりするだけで

IQが10から30も良くなると言うのです

素晴らしい考えなんですが そうはいきません

ただ音楽を聞くだけではダメなんです　

何らかの方法で音楽を創る必要があるんですよ

そして付け加えたいことは

これはただ単に音楽を創るというのではなく

われわれは皆 誰でも

非常にダイナミックな方法で音楽を創造し

音楽そのものの一部となる能力が
ある ということなんです

これが私の研究の大事なテーマです

MITメディアラボでこれまで長期に渡り

我々が取り組んできたのが

能動的音楽（アクティブ・ミュージック）
と呼ばれるプロジェクトです

誰にでも音楽体験に
参加できるようにするためには

どんな方法があるか？　というのがテーマです

単に音楽を聞くだけでなく

音楽を創造することを可能にする方法が
あるのでしょうか？

まず最高の音楽家向けの特別な楽器を
開発することから着手しました

我々が「ハイパーインスツルメント」と
名付けた楽器は ヨー・ヨー・マ

ピーター・ガブリエル、プリンスや

オーケストラやロックバンド向きに開発されました

楽器には
あらゆる種類のセンサーが組み込まれて

楽器がどのように演奏されているのかを
把握することが出来るわけです

把握した演奏状態データの
解釈や感覚を変えて

チェロの音色を人の音声に変換することや

大きなオーケストラの演奏に

また誰も聞いた事がない音楽にも変換できます

これらの楽器を開発するようになったとき

このような素晴らしい楽器を一般の人向けに

つまり ヨー・ヨー・マやプリンスのように

才能ある音楽家ではない一般の人向けにも

作ってみようと考えるようになったのです

その結果 我々は一連の楽器を開発しました

これらを集大成したものの一つが
「ブレイン・オペラ」です

100種類もの楽器からなる
オーケストラのようなものです

全て 特別な練習をすることなく

誰もが演奏できるように設計されています

つまりテレビゲームで遊ぶように

音楽の中を車で駆け抜けたり

身振りで大量の音をコントロールしたり

特殊加工された表面に触れて
メロディーを創り上げたり

自分の音声で音楽に独特の雰囲気を加えたり
することが可能になります

ブレイン・オペラの公演では 一般の観客を招き

この楽器を使ってもらい

我々と共演してもらうことで

毎回の公演を
一緒に創り上げることにしたのです

ブレイン・オペラは長期に渡って
公演ツアーされました

現在ではウィーンに常設されていて

そこでは博物館の中にあります

これは皆さんが良くご存知の
あるモノにつながりました

ギター・ヒーロー（Activision社のゲームソフト）は

我々の研究から生まれたものでした

私の二人の十代の娘や

MITメディアラボの多くの学生たちを見れば

適切なインターフェイスを創れれば

どんな人でも
音楽の中に身を置くことに興味を持ち

何度も繰り返し演奏することができる
ということが分かると思います

これで基本的なモデルが
うまくいくことは分かりましたが

これはまだ氷山の一角です

つまり私の二番目のアイディアでは

ギター・ヒーローのようなゲームの中で

単に音楽を作りたい
というだけでは不十分だからです

つまり 音楽はとても楽しいものではありますが

もっと変化させる力を持つものでもあるからです

これはとても大事なことです

音楽は他の何にも増して

人生を変えるような力を持っています

音楽は人々がお互いにコミュニケートする仕方を

変えることができます

音楽は人の身体を変えることも
心を変える力も持っています

そこで 我々は

ギター・ヒーローの次の段階に進むべく
プロジェクトを開始したのです

我々は教育と深い関係があります　

トイ・シンフォニーという長期間のプロジェクトでは

幼い子供は別として
小さな子供たちが夢中になってしまうような

様々な楽器を開発しました

知らず知らずに
音楽を作ることに引き込まれてしまい

時間を忘れてのめりこみ

しかも「この楽器はどうして音が出るのだろう」
とか

「もっと音楽を作るにはどうすれば
よいのだろう？」と

要求するものを開発したのです　
その一つが握ることで音の出る楽器で

「ミュージック・シェイパー｣と名付けたものです
これは指に流れる電流を測って音楽にします

これは指に流れる電流を測って音楽にします

「ビート・バグ」と名付けた楽器は
軽く叩くとそのリズムを自動的に拾い上げ

バトンタッチをするようにそのリズムを
人から人へと受け渡します

受け取った人は

そのリズムを真似したり
反応したりしなければなりません

「ハイパー・スコア」という名のソフトウェアも
開発しました

これを使うとどんな人でもディスプレイ上に
線を引いたり それに色をつけたりする事で

相当に高度な音楽を作り出すことができます　

また極めて操作が容易で 一度使えば

どんなスタイルの音楽にも
のめりこむことが可能になります　

しかも ボタン一つで

譜面に変換して プロの演奏家が
演奏することだって出来るんです

世界中の子供たちに大きな影響がありました

あらゆる年代の人が
「ハイパー・スコア」を使います

このような創造的な活動をもっと広い領域で
しかもあらゆる人々に対して

展開することに益々興味がわいてきたのです

普段 音楽を作るチャンスなどないような人達に対して使うことに関心が湧いてきたわけです

MITメディアラボにおいて我々が取り組んでいて

しかも拡大している領域の一つが

音楽と心と健康の領域です

多くの方が オリバー・サックスの
素晴らしい新刊をご存知と思います

「ミュジコフィリア―音楽嗜好症」
素晴らしい本です

是非お読み下さい　
著者自身 ピアニストです

この本で彼は 自らの体験から
尋常でない境遇におかれた人々に対して

音楽がいかに大きな影響を与えたか
述べています

例えば
アルツハイマー症患者で症状が進行しても

最後まで音楽には反応することが
知られています

皆さんのご家族でこのような経験を
お持ちの方がいらっしゃるのではないでしょうか？

例えば鏡に映った自分を見ても
誰か認識できないような症状であったり

家族も認識できなくなった患者でも
音楽には反応することがあります

突然椅子から飛び起きて
歌い出すこともあります

このように記憶や人格を
一部でも取り戻すことがあるのです

脳卒中のために言語障害のある人でも

音楽は言語能力を取り戻すのに
最も良い方法なんです

あるいは パーキンソン病の人に運動能力を
取り戻す方法としても です

うつ病や統合失調症など
いろいろな病状の改善に音楽は大変役立ちます

そこで 私たちはなぜこういう効果があるのか

その根本原理を理解しようと研究を進めています

音楽を用いて人々の健康を改善するような
活動を開発しようとしています

様々なアプローチからこれに取り組んでいます　

例えば複数の病院と
共同研究に取り組んでいます

一つが
ボストン近郊の テュークスベリー病院です

ここは長期療養の州立病院ですが
数年前から

この病院の身体や精神に障害をもった患者達に
ハイパー・スコアを使った取り組みをはじめました

テュークスベリー病院における治療の
中心を占めるようになって

皆が音楽活動をしたくて
ウズウズしている状態なんです

これは患者に対する治療を
最も向上させる活動と言えると思います

これが病院中に音楽活動で結びついた
共同体意識をもたらしているのです

これまでのプロジェクトをまとめた
短い映像をご覧に入れましょう

これは子供たちがリズムを
操作しているところです

リズムを演奏したり聞いたりすることを
学ぶだけでなく

音楽的な記憶力や 人に合わせて
合奏することを学べるのです

自分自身で曲を作ったり 変えたり

自分自身の曲にしていくことも出来るんです

つまりハイパースコアでは
まったくゼロの状態から

短期間で始める事ができるのです

誰もが非常に深いレベルで音楽を
体験することが出来るのです

それには今までにない道具を作る
必要があります

今日お話ししたい三つ目のテーマは
ちょっと逆説的ですが

自分自身について語るためには音楽の方が

言葉よりもすぐれた方法だ ということです　

私自身皆さんの前でお話しするのは好きですが

音楽を演奏するのに比べれば
少しドキドキしてしまいます

もしチェロやシンセサイザーを弾いたり
私の曲をみなさんに披露するのであれば

言葉では伝えきれない
もっと個人的でより深いことも

皆さんにお伝えすることができるでしょう

多くの人もそうだと思います　

ここで音楽が我々と自分以外とを

結びつける最も有力な道具であるという
二つの例を

お話しましょう

最初の例は 今我々が取り組んでいる
変わったプロジェクトで

Death and the Powers（死とパワーズ）という
大きなオペラです

おそらく現在作られているオペラの中で
大規模なものの一つになるでしょう

大成功し権力もある富豪で
不死の力を手に入れたいと願う男の物語です

男は自分自身に関わるあらゆるデータを

一連の本の中にダウンロードしようとします

これで男は永遠の命を
手に入れようとするのです

オペラの最初に主演歌手が舞台から姿を消すと

舞台全体が主人公の人格そのものになります

このオペラは 他人とそして愛する人と
何を分かち合えるのか

何を伝えることが出来るのか
そして何を伝えられないかについてです

オペラの中では
あらゆるモノが命をもった巨大な楽器になります

例えば 舞台全体を覆うような
巨大なシャンデリアに見えるものは

実はロボット化された楽器なんです

この巨大なピアノの弦は

小さなロボットによって制御されます

小さな弓が弦を弾き プロペラは弦を叩き

音が弦を震わせ
ステージ上には多数のロボットも登場します

これらのロボットは
主人公のサイモン・パワーズと

家族との仲介役で
古代ギリシャ劇の合唱隊のようなもので

舞台上の演技を見守っています　

現在MITでテスト中のこの四角いロボットは

オペラボットと呼ばれています

オペラボットは音楽に合わせて作動します

登場人物を追いかけます

また 知的にできているので

お互い衝突しないはずです

ロボットは自動的に動き出し

そして勿論 お望みのように
指を鳴らすと整列させることもできます

単なる立方体に過ぎませんが
実際には個性を持っていると言えます

オペラの中で最も大きな舞台装置は
「システム」と呼ばれる 大量の本です

本は全部がロボットで
動いたり音を出すことが出来ます

全体が一体化するとこのような壁になります

サイモンパワーズの
身振りや個性を表現するのです

主人公は舞台上から姿を消しましたが

舞台全体が主人公そのものに変化するのです

このように自分自身を変身させるのが
主人公の意思だったからです

本の背表紙には大量のLEDが仕掛けてあり

映像を写すことができます

これは著名なバリトン歌手
ジェームズ・マダレーナが

システムに入るところです

予告編をご覧ください

このオペラは2009年９月に
モナコで初演の予定です

万一モナコに来られない方のために

このプロジェクトの
もう一つの応用例をご紹介しましょう

このオペラは
自分自身の全てを音楽や環境によって

遺産として残そうとする男の話です

この作品をオンラインや
公共の場所で見られるようにしています

自分自身や愛する人の遺産を残すために

音楽や我々自身の映像を使うことです

つまり 大仕掛けのオペラの代わりに

パーソナル・オペラと言うべきものに
なるわけです

パーソナル・オペラを開発する場合

楽器はどうすればよいでしょう？

ご覧に入れた ヨー・ヨー・マ用の
ハイパー・チェロにしても

子供用の握る楽器にしても

大演奏家か子供なのかは別として

みなある種のレベルの人のためのものでした

もし私が普段通りの
身振り手ぶりだけで演奏できる

楽器を開発したとしたらどうでしょう？

身振りや手振りは
とてもうまくできるかも知れないし

そうでないかも知れません

これは未来のインターフェイスであり 未来の音楽

そして未来の楽器になると思います

ここで 二人の特別なゲストを招きたいと思います

きっとパーソナル楽器とは一体どんなものなのか
お分かりいただけると思います

MITの博士課程の学生 アダム・ブランジェーと

ダン・エルシーを拍手でお迎えください

ダンは TEDと
ボンバルディア・フレックスジェット社のおかげで

テュークスベリー病院から
今日ここまで来ることが出来ました

彼はテュークスベリー病院の入院患者なんです

これまでで最も病院から離れたところまで
足を伸ばしたことになると思います

それは 彼が皆さんの前で
是非自分の音楽を披露したかったからなんです

ダン まずは皆さんに一言ご挨拶をお願いします

こんにちは　私はダン・エルシーといいます　
34歳で 脳性麻痺の患者です

私はずっと音楽が好きで
この新しいソフトウェアを使って自分の曲を

演奏出来るのでとてもワクワクしています

私たちもみな 君が今日ここに来てくれて
ワクワクしていますよ

私たちがダンと出会ったのは
３年半ほど前のことで

テュークスベリー病院で
研究を始めたときでした　

病院で出会った人はみな素晴らしく

音楽の才能に溢れていました　

ダンはそれまで
作曲をしたことがありませんでした

素晴らしい才能を持っていることが
分かったのです

生まれつきの作曲家なんです

とても恥ずかしがり屋なんですよね

素晴らしい作曲家だと分かり

その後数年に渡り
我々と一緒に仕事をしています

彼は多くの曲を作曲してきました

CDも出しました　

彼はボストン地区では相当に有名なんです

病院の患者たちや地域の子供たちに
作曲を教えています

ここでMIT博士課程の学生で音楽 技術 医学が専門のアダムをご紹介しましょう

アダムはダンと一緒に研究してきました

最近アダムが研究しているのは
ダンが自分自身で作曲するために

何をすれば良いのか
と言うことだけではありません

ダン自身がそれを演奏するのに
個人の楽器を使うということも研究してきました

どんな研究をしているか
簡単に説明してくれるかい

ええ　テュークスベリー病院で研究をしていて

ダンが大変表現豊かで知的で
かつ創造的であるということを

トッドと私で話したんです　
ダンは顔の表情や

呼吸のしかた あるいは目でそれを表すんです　

それなのに 彼自身の曲を
なぜ自分で演奏できないのか？

それをできるようにするのが
我々の仕事だと思ったんです

ダンが身体的な障害を持っていても
微妙なニュアンスを表現し

正確に彼自身の曲を演奏できるような技術を

開発することにしたんです

まずは処理過程と技術が必要です

基本的には工学的な解決策が必要でした

ご覧のようにコンピューターに接続されたカメラが赤外線による位置指示信号を関知します

身振りや表情など ダンがすでに会話支援装置で使い慣れている方式を

音楽表現のための方法として採用しました

設計は一番面白くない部分でした

何を入力信号にし 持続的追跡はどうするのか

ソフトウェアはダンの動作のパターンを
認識していました

しかし本当に面白い仕事は
技術的な問題の次にやってきます

我々は病院でダンの肩越しに
ダンがどんな風に動くのか

見守りながら プログラムを書いていたんです

音楽表現をするために
どんな動作が彼にとって役立つのか？

つまり 彼にとっての音楽表現とは何なのか？
ということです

ダンにとって音楽のニュアンスを表現したり
伝えるためには

どんなことが重要なのでしょうか？

変数の計算や技術を限界まで利用し

ダンが音楽をぴったり表現できるようにしました

これは考え方の転換です　
つまりこの技術さえあれば誰でも創造的な

音楽を作れるようになるわけではありません

表現とは一体なんでしょう？
音楽家が素晴らしい曲を演奏する

瞬間の表現はどうなるのでしょう？
技術によって表現が可能になるのでしょうか？

技術でそんなことを可能にする
仕組みを作れるでしょうか？

技術に欠けている音楽表現と

どう個人的にかかわっていくかということです

そこでダンのために
我々には新しい設計方法や技術が必要でした

ダンの動作や表現を演奏に結びつけるための
仕組みを発見する必要があったのです

今日はそれをご披露します

ダン 今日これから君が演奏する曲について

説明してくれるかい？

これは「マイ・イーグル・ソング」といいます

これからダンが演奏するのは彼が作曲した
「マイ・イーグル・ソング」です

これはダンの曲の楽譜です

ハイパースコアを使って
完全に一人で作曲しました

彼は赤外線追跡装置を使って
ハイパースコアを直接使うことが出来るんです

実に素早く使うことが出来ます　
私よりも速いくらいです

（笑）

彼は謙虚ですしね

ハイパースコアを使って
まずはメロディーやリズムを作ります

これを好きなところに動かすことが出来ます

それぞれには色がついており
作曲ウィンドウにもどれば

線をひいたり あらゆる要素を思いのままに
配置できます　ハイパースコアをみれば

これがお分かりいただけると思います　
それぞれのセクションがどこにあるか

ある部分はしばらく続き 変化したり
激しくなったり 最後には

大きく爆発して終わったりします

こうやって彼は作曲したんです　
アダムがご説明したように

私たちはダン自身が演奏できるようにするための
最良の仕組みも開発しました

このカメラが 彼の動きを観測 分析し

ダンが望むように
彼の曲の色々な特徴を引き出すことが出来ます

スクリーン上の映像にお気づきになると思います

学生に指示して カメラがどのように動作を
測定しているのかを映すことにしました

カメラの映像そのままをお見せするのではなく

画像を加工処理し グラフィックス表現にし

どのように動作を分析しているのかを
分かり易くして見ました

これでダンの動作をどんな風に拾い上げているのか 分かっていただけると思います

それだけでなく
ダンが演奏する時の動作を見れば

彼の動作が大変はっきりとして 正確で

良く統制がとれており
その上大変美しいことが分かると思います

この曲を聞いていただければ
最初に申し上げた 音楽は素晴しい という

ことがお分かりいただけると思います

そしてダンがどんな人間であるかということも

アダム 用意はいいかい？

はい

OK　それではダンが「マイ・イーグル・ソング」を
皆さんのために演奏します

(音楽)

（拍手）

ブラボー！

（拍手）