Brein-tot-brein-communicatie is er al. Hoe we dit gedaan hebben

Wellicht herinner je je neurowetenschapper Miguel Nicolelis - hij bouwde het hersen-gestuurde exoskelet dat een verlamde man in staat stelde de aftrap te doen van het WK 2014. Waar is hij nu mee bezig? Met het bouwen van een manier om gedachten (voorlopig die van ratten en apen) direct van brein tot brein te laten sturen. Kijk tot het einde om een experiment te zien dat, zoals hij zegt, tot "het uiterste van je verbeelding" gaat.

Op 12 juni 2014, om precies 3 uur 33

op een zwoele wintermiddag
in São Paulo in Brazilië,

een typisch Zuid-Amerikaanse wintermiddag,

heeft deze jongen,

die je hier ziet juichen
alsof hij een goal heeft gescoord,

heeft Juliano Pinto, 29 jaar oud,
iets ongelofelijks volbracht.

Ondanks zijn verlamming

en het ontbreken van gevoel
van halverwege zijn borst tot zijn tenen

als gevolg van een auto-ongeluk zes jaar
geleden dat zijn broer het leven kostte

en een complete dwarslaesie veroorzaakte

waardoor hij in een rolstoel terecht kwam,

oversteeg Juliano zichzelf
en deed die dag iets

wat niemand die hem
in die zes jaar had gezien,

voor mogelijk had gehouden.

Juliano Pinto deed de aftrap

van het WK voetbal 2014 in Brazilië

alleen met zijn gedachten.

Hij kon zijn lichaam niet bewegen,

maar kon zich de bewegingen voorstellen
die nodig waren om een bal te trappen.

Hij was een atleet vóór de dwarslaesie.
Hij is nu een para-atleet.

Hij zal hopelijk over een aantal jaar
bij de Paralympische Spelen zijn.

Maar wat de dwarslaesie
Juliano niet heeft afgenomen,

is zijn vermogen om te dromen.

En dromen deed hij die middag
in een stadion met zo'n 75.000 mensen

en een TV-publiek van bijna een miljard.

En die trap was de kroon
op bijna 30 jaar basisonderzoek,

onderzoek naar hoe het brein,

hoe dit ongelofelijke universum
dat we tussen onze oren hebben,

dat alleen vergeleken kan worden
met het universum boven onze hoofden,

want het heeft ongeveer
100 miljard elementen

die met elkaar praten
via elektrische hersengolven,

wat Juliano heeft bereikt,

is het resultaat van 30 jaar
denken in laboratoria

en zo'n 15 jaar planning.

Toen John Chapin en ik 15 jaar geleden
in een artikel voorstelden

dat we iets zouden bouwen wat we
een hersen-machine-interface noemden,

wat betekende dat we de hersenen
verbonden aan apparaten

zodat dieren en mensen
deze apparaten konden bewegen

ongeacht hoe ver weg
ze fysiek waren,

alleen door te bedenken
wat ze wilden doen,

zeiden onze collega's dat we
professionele hulp nodig hadden,

psychiatrische hulp welteverstaan.

Ondanks dat hielden een Schot
en een Braziliaan vol,

want zo waren we opgevoed,

en 12, 15 jaar lang

maakten we demonstratie na demonstratie
die liet zien dat dit mogelijk was.

Een hersen-machine-interface
is geen raketwetenschap,

het is slechts hersenonderzoek.

Het is niets anders dan sensoren gebruiken

om elektrische hersengolven
te lezen die het brein produceert

om motorcommando's te genereren

die naar de ruggengraat
gedownload moeten worden.

Dus hebben we sensoren geplaatst

die honderden, inmiddels duizenden,
hersencellen simultaan kunnen lezen

en deze elektrische signalen omzetten

naar de motorische planning
die de hersenen genereren

om ons daadwerkelijk
in de ruimte te laten bewegen.

En door dat te doen, hebben we deze
signalen omgezet naar digitale commando's

die alle mechanische, elektronische
en virtuele apparaten kunnen begrijpen,

zodat de deelnemer zich kan voorstellen
wat hij, zij of het wil laten bewegen

en het apparaat gehoorzaamt
die hersenopdracht.

Door deze apparaten uit te rusten
met veel verschillende typen sensoren,

zoals je zo meteen zult zien,

hebben we boodschappen echt naar het brein
teruggestuurd om te bevestigen

dat die vrijwillige motorische wens
werd uitgevoerd, ongeacht waar --

vlakbij de deelnemer, in de ruimte ernaast
of aan de andere kant van de planeet.

En omdat deze boodschap
terugkoppeling gaf aan de hersenen

volbracht het brein zijn doel:
ons in beweging zetten.

Dit is een experiment dat wij
een paar jaar geleden hebben gepubliceerd

waar een aap,
zonder zijn lichaam te bewegen,

geleerd heeft om de bewegingen
van een 'avatar-arm' te beheersen,

een virtuele arm die niet bestaat.

Wat je hoort is het geluid
van de hersenen van deze aap

terwijl hij drie verschillende
visueel identieke gebieden onderzoekt

in een virtuele ruimte.

En om een beloning te krijgen,

een druppel sinaasappelsap,
waar apen dol op zijn,

moet dit dier een van
deze voorwerpen selecteren

door het aan te raken,

niet door kijken, maar door aanraken,

want elke keer dat deze virtuele hand
een voorwerp aanraakt,

gaat er een electrische trilling
terug naar het brein van het dier

dat de fijne textuur van het oppervlak
van dit voorwerp omschrijft,

zodat het dier kan bepalen
welk object het juiste is om te pakken.

En als hij dat doet,
krijgt hij een beloning.

Zonder een spier te vertrekken.

De perfecte Braziliaanse lunch:

geen spier vertrekken
en toch je sinaasappelsap krijgen.

Toen we dit zagen gebeuren,

hebben we het idee dat we 15 jaar geleden
hadden gepubliceerd weer voorgesteld.

We bliezen het idee nieuw leven in.

We hebben het uit de lade gehaald

en we stelden voor dat we wellicht
een mens met een verlamming moesten zoeken

om de hersen-machine-interface
te gebruiken om mobiliteit te herwinnen.

Het idee was dat als je --

en het kan ons allemaal overkomen.

Ik zeg je, het gebeurt heel plotseling.

In de milliseconde van een botsing,

een auto-ongeluk dat je leven
totaal op zijn kop zet.

Als je een complete dwarslaesie hebt,

kan je niet bewegen, want hersengolven
kunnen je spieren niet bereiken.

Maar de hersengolven
worden nog wel aangemaakt in je hoofd.

Patiënten met hoge en lage dwarslaesies
dromen elke avond over bewegen.

Ze hebben dat in hun hoofd.

Het probleem is deze code
uit het hoofd te krijgen

en het om te zetten in beweging.

Dus we stelden voor
een nieuw lichaam te maken.

Laten we een robotvest maken.

En dat is precies waarom Juliano die bal
kon trappen door er alleen aan te denken,

want hij droeg het eerste
hersenbestuurbare robotvest

dat gebruikt kan worden door
dwarslaesiepatiënten om te bewegen

en om terugkoppeling te krijgen.

Dat was het oorspronkelijke idee,
15 jaar geleden.

En wat ik je nu laat zien
is hoe 156 mensen uit 25 landen

van alle continenten
op deze prachtige aarde

hun leven en patenten opgaven,

hun honden, vrouwen, kinderen,
scholen, banen opgaven

en samenkwamen in Brazilië om dit
in 18 maanden voor elkaar te krijgen.

Want een paar jaar nadat Brazilië
de WK was toegewezen,

hoorden we dat de Braziliaanse
regering iets van betekenis wilde doen

bij de openingsceremonie

in het land dat voetbal opnieuw
had uitgevonden en had geperfectioneerd,

tot we de Duitsers tegenkwamen natuurlijk.

(Gelach)

Maar dat is een andere presentatie

en een andere neurowetenschapper
moet daarover praten.

Maar wat Brazilië wilde doen,
was een heel ander land laten zien,

een land dat wetenschap
en technologie waardeert

en een geschenk kan geven
aan 25 milioen mensen over de hele wereld

die niet langer kunnen
bewegen door een dwarslaesie.

Dus we gingen naar de Braziliaanse
regering en de FIFA en stelden voor

om de aftrap voor het WK 2014

te laten doen door een verlamde Braziliaan

via een hersenbestuurbaar exoskelet,

waardoor hij de bal kan trappen
en het contact met de bal kan voelen.

Ze keken naar ons
alsof we compleet gestoord waren

en zeiden: "OK, laten we het proberen."

We hadden 18 maanden
om alles van de grond af te bouwen.

We hadden geen exoskelet,
we hadden geen patienten,

we hadden niets af.

Deze mensen kwamen allemaal samen

en binnen 18 maanden hadden
acht patienten een trainingsschema

en bouwden vanaf de basis dit ding,

dat we Brazil-Santos Dumont 1 noemen.

Het eerste hersen-gestuurde
exoskelet ooit gebouwd

is genoemd naar de beroemdste
Braziliaanse wetenschapper aller tijden,

Alberto Santos Dumont,

die op 19 oktober 1901
het eerste bestuurbare luchtschip maakte

en er in Parijs voor het oog
van een miljoen mensen mee vloog.

Met excuses aan mijn Amerikaanse vrienden,

ik woon in North Carolina,

maar dit was twee jaar
voordat de gebroeders Wright

bij de kust van North Carolina vlogen.

(Applaus)

Het vermogen om te vliegen is Braziliaans.

(Gelach)

Dus samen met deze mensen

hebben we het exoskelet gemaakt,

15 graden vrijheid, hydraulische machine

die bestuurd kan worden
door hersensignalen die zijn opgenomen

met een niet-invasieve technologie,
electro-encephalography,

die er voor zorgt dat de patient
zich de bewegingen kan voorstellen

en dan deze opdrachten naar
de controllers, de motoren, kan sturen

zodat ze uitgevoerd worden.

Dit exoskelet werd bedekt
met een kunsthuid

uitgevonden door Gordon Cheng,
een van mijn beste vrienden, in München,

om de sensatie van beweging van gewrichten
en het met de voet raken van de grond

terug te sturen naar de patient
via een vest, een shirt.

Dit is een slim shirt
met microvibrerende elementen

dat feitelijk terugkoppeling geeft en
het brein van de patiënt voor de gek houdt

door een gevoel te creëren
dat het geen machine is die hem draagt,

maar dat hij weer loopt.

Dus we zetten dit in gang
en wat je hier ziet,

is de eerste keer
dat een van de patiënten, Bruno,

voor het eerst echt loopt.

En het kost een paar seconden,
omdat we alles nog programmeren,

en je zal een blauw lichtje zien
dat voor de helm langsgaat,

want Bruno moet zich eerst voorstellen
welke bewegingen nodig zijn.

Dan analyseert de computer het,
Bruno bevestigt het,

en als het dan bevestigd is,

begint het apparaat te bewegen
op bevel van Bruno's hersenen.

En hij had het net goed
en nu begint hij te lopen.

Na negen jaar zonder te kunnen bewegen,

loopt hij zelfstandig.

En meer dan dat --

(Applaus)

meer dan alleen lopen,

hij voelt de grond

en als de snelheid van de exo toeneemt,

vertelt hij ons dat hij weer loopt
op het zand van Santos,

het strandresort waar hij
naartoe ging voor zijn ongeluk.

Daarom maakt het brein
nieuwe sensaties aan in Bruno's hoofd.

Hij loopt dus, en na zijn wandeling --
ik ben al bijna door mijn tijd heen --

zegt hij: "Weet je,

ik moet dit ding van jullie lenen
als ik ga trouwen,

want ik wil naar de priester lopen

en er alleen staan als ik mijn bruid zie."

Natuurlijk kan hij
het krijgen wanneer hij wil.

En dit is wat we wilden laten zien
tijdens het WK, maar dat kon niet,

want om onduidelijke redenen
halveerde de FIFA de uitzending.

Wat je nu gaat zien, is Juliano Pinto
in de exo, die aftrapt,

een paar minuten
voordat we naar het veld gingen

en het echt deden voor het hele publiek,

en de lichten die je zal zien
laten alleen zien hoe het werkt.

Het blauwe flikkerlicht betekent
dat de exo klaar is voor gebruik.

Het kan gedachten ontvangen
en kan terugkoppeling geven.

En als Juliano de beslissing neemt
om de bal te trappen,

zal je twee banen geel en groen licht zien

die uit de helm komen
en naar de benen gaan

wat illustreert dat de exo
commando's verstuurt

zodat dit daadwerkelijk gebeurt.

En in 13 seconden

deed Juliano dit ook echt.

Je kan de commando's zien.

Hij bereid zich voor,
de bal wordt neergelegd, en hij trapt.

En het meest verbazingwekkende is,

10 seconden nadat hij dit had gedaan
en naar ons keek op het veld

vertelde hij ons, terwijl hij juichte:

"Ik voelde de bal."

En dat is onbetaalbaar.

(Applaus)

Maar waar gaat dit heen?

Ik heb twee minuten om je te vertellen

dat het tot aan de uitersten
van je voorstellingsvermogen gaat.

Hersengestuurde technologie bestaat.

Het meest recente: we hebben
vorig jaar gepubliceerd

over de eerste brein-tot-brein-interface

die twee dieren in staat stelt
mentale boodschappen uit te wisselen,

zodat één dier dat iets ziet
dat uit de omgeving komt

een mentaal SMSje, een torpedo,
een neurofysiologische torpedo kan sturen

naar het tweede dier

en het tweede dier voert de opdracht uit
die hij uit moest voeren,

zonder zelfs maar te weten
wat voor boodschap er gestuurd was,

want de boodschap kwam
uit de hersenen van het eerste dier.

Dus dit is de eerste demonstratie.

Ik doe dit snel omdat ik jullie
het meest recente wil laten zien.

Maar wat je hier ziet,
is de eerste rat die geinformeerd wordt

door middel van een licht
aan de linkerkant van de kooi

dat hij de linker kooi moet aanraken
om een beloning te krijgen.

Hij gaat erheen en doet het.

En tegelijkertijd stuurt hij
een mentaal signaal

naar de tweede rat
die geen licht heeft gezien,

en de tweede rat,
in 70 procent van de gevallen,

drukt het linker pedaal in
om een beloning te krijgen

zonder ooit het licht te hebben gezien.

Dus we hebben dit
op een hoger plan getrokken

door apen mentaal samen
te laten werken in een hersennetwerk,

zeg maar hun hersenactiviteit te doneren,

en daarmee de virtuele arm
die ik eerder heb laten zien te bewegen.

Wat je hier ziet is de eerste keer
dat de twee apen hun brein combineren,

hun hersenen perfect synchroniseren
om deze virtuele arm te laten bewegen.

Één aap bestuurt de x-dimensie,

de andere aap bestuurt de y-dimensie.

Maar het wordt nog interessanter
als je het met drie apen doet

en je vraagt één aap x en y te besturen,

de ander y en z,

en de derde x en z,

en je laat ze samen spelen

om de 3D arm zo te bewegen
dat ze hun sinaasappelsap krijgen.

En het lukt ze ook.

De zwarte stip is het gemiddelde
van al deze hersenen,

een live representatie daarvan.

Dat is de definitie
van een biologische computer:

samenwerken door hersenactiviteit
en een motorisch doel bereiken.

Waar gaat dit heen?

We hebben geen idee.

We zijn maar wetenschappers.

(Gelach)

We worden betaald om kind te zijn,

om tot het uiterste te gaan
en te ontdekken wat er nog meer is.

Maar ik weet één ding:

op een dag, binnen een paar decennia,

als onze kinderen op internet surfen
door er alleen aan te denken

of een moeder haar zicht geeft
aan een autistisch kind dat niet kan zien

of iemand spreekt
dankzij een brein-tot-brein-bypass,

dan zullen sommigen zich herinneren
dat het allemaal begon op een wintermiddag

op een Braziliaans voetbalveld
met een onmogelijke trap.

Dank je wel.

(Applaus)

Bruno Giussani: Dank je.

Miguel, bedankt dat je
binnen de tijd bent gebleven.

Ik wilde je eigenlijk een paar
minuten langer geven,

want er zijn wat punten waar we
dieper op in willen gaan en natuurlijk

zouden we verbonden hersenen moeten
hebben om te weten waar dit heen gaat.

Dus laten we dit allemaal verbinden.

Als ik het goed begrijp,

krijgt één van de apen
daadwerkelijk een signaal

en de andere aap
reageert op dat signaal

alleen omdat de eerste het ontvangt
en de neurologische impuls verzend.

Miguel Nicolelis:
Nee, het ligt iets anders.

Geen enkele aap weet van het bestaan
van de andere twee apen.

Ze krijgen visuele terugkoppeling in 2D,

maar de opdracht die ze
moeten uitvoeren is in 3D.

Ze moeten een arm
in drie dimensies bewegen.

Maar elke aap krijgt alleen de twee
dimensies op het videoscherm

dat de aap bedient.

En om het gedaan te krijgen

heb je tenminste twee apen nodig
die hun hersenen synchroniseren,

maar drie is ideaal.

Wat we uitvonden is dat als
één aap begint te verslappen,

de andere twee apen juist
beter hun best gaan doen

om die ene weer terug te laten komen.

Dit past zich dynamisch aan,

maar de globale synchroniteit
blijft hetzelfde.

Maar als je het omdraait
zonder het de aap te vertellen

welke dimensies
ieder brein moet besturen,

zoals degene die x en y bestuurt,

maar nu moet hij y en z besturen,

vergeet het brein van dat dier
onmiddelijk de oude dimensies

en concentreert het zich
op de nieuwe dimensies.

Dus ik moet wel zeggen
dat geen enkele Turing-machine,

geen enkele computer kan voorspellen
wat een breinnetwerk gaat doen.

Dus we absorberen technologie
als onderdeel van onszelf.

Technology zal ons nooit absorberen.

Dat is simpelweg onmogelijk.

BG: Hoe vaak heb je dit getest?

En hoe vaak was het
succesvol versus mislukt?

MN: Oh, tientallen keren.

Met de drie apen?
Verscheidene keren.

Ik zou er hier niet over kunnen praten
als ik het niet een paar keer had gedaan.

En ik was vergeten te zeggen

dat drie weken geleden een Europese groep

de eerste mens-naar-mens,

brein-tot-brein-connectie
heeft laten zien.

BG: En hoe gaat dat?

MN: Een klein stukje informatie
-- grote ideeën beginnen bescheiden --

maar de hersenactiviteit van een deelnemer

werd verzonden naar een andere deelnemer,
met non-invasieve technologie.

De eerste deelnemer kreeg een boodschap,
net als onze ratten, een visuele boodschap

en verzond het naar de andere deelnemer.

Deelnemer twee ontving een magnetische
trilling in het visuele hersencentrum,

of een andere trilling,
twee verschillende trillingen.

In één trilling zag de deelnemer iets.

Bij de andere trilling
zag hij iets anders.

En hij was in staat te verwoorden

welke boodschap
de eerste deelnemer stuurde

via internet,
over verschillende continenten.

BG: Wauw, OK.
Dus daar gaat het naartoe.

Dat is de volgende TED Talk
op een volgend congres.

Miguel Nicolelis, dank je wel.

MN: Dank je wel Bruno.