J. Alex Halderman: Eesti internetihääletuse süsteemi turvaanalüüs

Eesti on ainus riik maailmas, kes kasutab märkimisväärses ulatuses internetihääletust õiguslikult siduvatel riiklikel valimistel — kuni 30% kõigist valijatest on oma hääle andnud interneti teel. See teeb Eesti internetihääletuse süsteemi turvalisuse huvipakkuvaks tehnoloogia asjatundjatele ja tavakodanikele üle kogu maailma. Viimase aasta jooksul aitasin ma juhtida selle süsteemi esimest ranget ja sõltumatut turvalisuse hindamist, mis põhines valimiste vaatlemisel, koodi läbivaatamisel ja laboratoorsetel testidel. Leiud on alarmeerivad: Eesti protseduurilises ja operatiivses turvalisuses on uskumatud lüngad ja süsteemi arhitektuur on jäänud avatuks võõrvõimude küberrünnakutele. Meie uuring kinnitas laboritingimustes selliste rünnakute võimalikkust, kuid Eesti valitsus on otsustanud neid alahinnata. Me soovitame tungivalt, et Eesti lõpetaks süsteemi kasutamise enne, kui riiki tabab suurem küberrünnak.

J. Alex Halderman

Tänan teid, ja tänan eriti selle eest, et

olete siin nii varajasel hommikusel ajal.

Tean, et CCC standardi järgi on veel

varane koiduaeg.

(aplaus)

Niisiis, mina olen Alex Halderman.

Ma olen arvutiteaduste professor

Michigani ülikoolis, USA-s.

Töö, millest hakkan teile täna rääkima,

on olnud eelkõige koostöö teistega.

Ma pean eriti tänama minu tudengeid -

Drew Springall, Travis Finkenauer ja
Zakir Durumeric,

ning meie kaastöötajaid -

Jason Kitcat, Harri Hursti ja
Margaret MacAlpine.

See töö poleks valminud ilma nendeta!

Tegelikult on kolm minu tudengit,

kellega ma e-valimiste uuringut tegin,

täna koos minuga siin.

Eric Wustrow, Zakir Durumeric,
Drew Springall,

kas te tõuseksite, palun, püsti!

Hästi! Aplaus tudengitele!

Nemad tegidki seda tööd!

(aplaus)

Hüva! Niisiis on e-valimised midagi,

mis on mind huvitanud viimased 10 aastat.

Ja see pakub mulle huvi eriti seetõttu,

et see kõlab justkui midagi imelist,

mis võimaldaks kasutada arvuteid

häälte turvaliseks kokkulugemiseks,

laseks valida üle interneti,

koos kõigi mugavustega,

mida see tehnoloogia kaasa toob.

Võib-olla saaksime vähendada kulusid,

võib-olla saaksime suurendada osavõttu.

Samal ajal esitavad e-valimised

mõned kõige raskemad väljakutsed

andmeturbe vallas.

Ja ma näen selles motiveerivat näidet

ja motiveerivat probleemi

kõiksugu edasiarenguteks krüptograafias,

süsteemiehituses ja kasutatavuses.

E-valimised on väga keeruline

turbeprobleem ebaharilike nõuete tõttu.

Turvalisteks e-valimisteks on

ennekõike vaja kaht asja.

Üks neist on terviklus,

ja selle all pean silmas seda,

et valimistulemus vastaks valija tahtele.

See on üsna nõrk tervikluse definitsioon.

Lihtsustatult: et õige kandidaat võidaks.

See tähendab loomulikult,

et hääled on antud

vastavalt valija tahtele,

ja et valimistulemus on kokku loetud

vastavalt sellele, kuidas hääled anti.

Kuid teine nõue, ja põhjus,

miks see on palju keerulisem

kui teised probleemid,

millega me igapäevaselt tegeleme,

nagu netipangad ja ostmine e-kaubanduses,

seisneb selles, et meil on vaja tagada

ka valimissaladuse nõue.

Valimissaladus, mis on üheks tähtsaimaks

tehnoloogiliseks edusammuks

valimistehnoloogia ajaloos.

Valimissaladus, mis kaitseb sind sunni

eest anda oma hääl nõutud moel.

Ja kaitseb meid sinu hääle müümise eest.

Valimissaladuse nõude järgi ei tohi keegi

teada saada, kuidas sa valisid, isegi,

kui sa püüad talle oma valikut tõestada.

Sellega tahame vältida valimiste

survestamist ja takistada häälte müüki.

Põhjus, mis teeb e-valimised keeruliseks,

on suuresti selles, et need kaks omadust,

terviklus ja valimissaladus,

on vastandlikud.

Paljud kaitsemeetmed, mida me tavaliselt

püüaksime kasutada tervikluse tagamiseks,

meetmed, mida me kasutame e-kaubanduses -

saata kviitung või pangaväljavõte,

või tehes arvepidamist suure tabeliga,

kus kogu raha sisse ja välja liikumine

on kokku võetud, ja me veendume,

et kõik klapib.

Selliseid asju on väga-väga keeruline

või võimatu rakendada, kui me tahame

hoida ranget valimissaladust,

samal ajal kui püüame tagada terviklust.

Seega vajame väga erinevaid mehhanisme,

saavutamaks e-valimiste süsteemi,

mis tagaks need kriitilised nõuded.

Loomulikult pole see takistanud inimesi

elektroonilisi valimissüsteeme ehitamast.

Paljud riigid üle kogu maailma kasutavad

elektroonilisi valimisi või on hakanud

proovima internetivalimisi.

Mul on viimastel aastatel olnud õnne

osaleda mõnedes esimestes erinevate

süsteemide praktilistes uuringutes.

Näiteks 2007. aastal osalesin Princetonis

meeskonnas, mis tegi esimest praktilist

sõltumatu osapoole turvaanalüüsi USA

valimistel kasutatud valimismasinale.

See asjandus, Diebold AccuVote-TS, oli

toona USA-s levinuim e-valimismasin.

Selle tootja oli tehnoloogia osas
väga salatsev.

Nad veensid rahvast, et loomulikult on

see täiesti turvaline, kuid seda,

kuidas see töötab, hoiti saladuses.

Loomulikult on see väga harva hea märk.

Alles pärast mitmeid aastaid ilma fakte

teadmata peetud arutelu, andis lõpuks

keegi vilepuhuja ühe neist masinatest

meie uurimisrühmale Princetonis.

Ja mõned neist lugudest on sellised,

et ise välja mõelda ei oskakski.

Pärast eilset filmi Citizenfour,

näib see pärinevat otse sellest filmist.

Ma pidin minema sellele masinale järgi

ja selle kätte saama otse allika käest.

See kiskus naeruväärseks -

pidin sõitma New Yorki,

kus parkisin auto Times Square hotelli

juures tänaval teise sõiduritta

ja läksin hotelli taha teenindusteele,

kus vihmamantlis mees andis mulle

musta nahast kohvri valimismasinaga.

(aplaus)

Igatahes veetsime suve, töötades salaja

masinat pöördkodeerides, ja ma ei tea,

mis seal nii salajast oli -

see oli olemuselt imelikus korpuses ja

puuteekraaniga personaalarvuti, millel

eemaldatav mälukaart sedelivormi üles

ja häälte alla laadimiseks.

Igatahes saime teada paar huvitavat asja
selle turvalisuse kohta.

Selgus, et sellel oli lihtsalt tavaline

operatsioonisüsteemi tuum, ja rakendus,

mis luges ja summeeris hääli.

Tehes mälukaardiga paar lõbusat trikki,

sai masina panna asendama oma tarkvara,

millel puudusid krüptograafiakontrollid,

ükskõik, mis tarkvaraga, mida sa tahtsid.

Nii tulime välja rakendusega Stuffer
(Koosseisuline Töötaja),

mille sai masinasse laadida,

mis näitas puuteekraanil ilusat liidest,

lasi sul valida, kelle poolt hääletada

ja mil määral,

ning muutis siis vastavalt kõiki hääli,

sest see masin hoidis hääli lihtsalt
elektroonilises mälus.

Sellisel viisil on võimalik korraldada

valimised George Washingtoni

ja Benedict Arnoldi
(kuulus Ameerika revolutsiooni reetur)

vahel selliselt, et ükskõik,

millal me seda hääletust korraldame,

võidab alati Benedict Arnold,

sest oleme masinat salaja mõjutanud.

Seda on nii lihtne teha, et minu juhtumil

isegi kamp naiivseid bakatudengeid

saaks mõne nädalaga hakkama,

tänu valimiste automatiseerimisele.

Me avastasime ka, et tänu selle

tehnoloogia automatiseerimisele

saame luua valimismasinaviiruse,

mis levib nendel mälukaartidel

masinast masinasse

normaalse valimistsükli käigus.

Seega saab keegi, kel õnnestub mõni minut

mõne valimismasina juures omaette olla,

muuta valimistulemust kogu osariigis.

See on e-valimiste tõeline oht.

Mitte lihtsalt see,

et võltsimine on võimalik -

ka paberhääletust on võimalik võltsida,

kuid automatiseerimise pakutav võimsus

võimaldab seda märksa ulatuslikumalt

ja vaid väikse salasepitsuse teel,

mida on ka väga raske avastada.

Aga see pole ainus uuring,

mis on näidanud e-valimiste probleeme.

Ma olin osaline uuringus, mille tellis

California osariigi kantsler Debra Bowen,

samuti 2007. aastal, ja mis analüüsis

kõiki e-valimiste tehnoloogiaid,

mida Californias kasutatakse.

Me uurisime kolme tootja masinaid:
Hart, Sequoia ja Diebold.

Uskuge või mitte, kuid kõik need masinad

põhinesid lähtekoodil, mis koosnes

sadadest tuhandetest koodiridadest.

Liiga keeruline, et olla turvaline.

Seega polnud üllatus, et kõiki neid

masinaid ohustas häälte varastamise kood

ja rünnakud, mis lasevad valimisametnikel

rikkuda hääletamise salajasuse nõuet

ja saada teada kuidas keegi hääletas.

Uuringu tulemusena kaotasid need masinad

sertifikaadi ja nende kasutamine keelati
California osariigis.

(aplaus)

Kuid see pole vaid USA probleem.

Ka Euroopas katsetatakse e-valimistega

ja ühe esimese uuringu Euroopas

korraldas minu sõber Rop Gonggrijp,

kes istub siin esimeses reas.

Aplausiraund Ropile!

(aplaus)

Niisiis Rop ja tema kaastöötajad uurisid

Nedap ES3B masinaid, mis olid kasutusele

võetud Hollandis, ja nad avastasid,

et vahetades lihtsalt EEPROM-i kiibi,

mis, nagu nad demonstreerisid,

on hõlpsasti tehtav vähem kui minutiga,

saavad nad panna masina varastama hääli,

tegema sohki ja isegi mängima malet.

(naer ja plaksutamine)

Inspireerituna Ropist, võtsime kolleeg
Ariel Feldmaniga masina,

mis siiani kasutusel paljudes USA osades,

ja mõned aastad hiljem muutsime selle
päris heaks Pac-Mani masinaks.

(naer ja plaksutamine)

Kuid pole üksnes USA ja Euroopa.

Ka India kasutab elektroonilisi valimisi.

See on nii maailma suurim demokraatia

kui ka suurim e-valimiste kasutaja.

Neil on sellised kodumaised

väga ilusad ja väga lihtsad

varjatud süsteemiga valimismasinad.

Läheks liiga pikale rääkida täna
kogu lugu,

kuid praeguseks umbes 4 aastat tagasi

andis anonüümne allikas, vilepuhuja,

ühe neist salajastest valitsuse
tehtud masinatest

uurimiseks sellele keskmisele mehele
(Hari Prasad).

Ja ta helistas mulle ja Ropile,

ning me läksime Indiasse
ja uurisime seda.

Nagu ma ütlesin, läheks kogu lugu pikale,

kuid lühidalt kokkuvõttes lõppes see nii,

et Hari pandi mõneks ajaks vangi,

Ropit ja mind oleks maalt peaaegu
välja saadetud.

Ja just äsja tegi India ülemkohus reegli,

et nad peavad kasutusele võtma

paberil väljatrüki, et India valijad

saaks mõistliku tagatise, et nende hääled

on turvaliselt kokku loetud.

(aplaus)

Aga internetivalimised?

Kuid internetivalimine on veel keerulisem

kui e-valimine eraldiseisvas masinas,

mis asub valimisjaoskonnas,

sest internetivalimistel on probleem,

et valijad kasutavad oma arvuteid,

väljaspool turvalist keskkonda, kus

need võivad olla haavatavad survestamise,

kasutajanimede ja paroolide varguse,

valimisserverit teeskleva libaserveri,

masinaid nakatava pahavara või isegi juba

paljusid masinaid nakatanud botnettide

poolt, kompromiteerides valimistulemust.

Ja see pole veel kõik -

ka server peab olema suuteline

vastu pidama teenusetõkestusrünnetele.

Pidagem meeles, et valimised toimuvad

kindlal perioodil, seega ei saa öelda,

et meie süsteem on sel nädalal maas

ja me lükkame internetivalimiste osa

edasi järgmisesse kuusse.

See lihtsalt ei sobi!

Tuleb muretseda siseringirünnakute pärast,

välise sissetungi pärast

ja veelgi keerukamate rünnakute pärast,

nagu mõne riigi poolt toetatud ründed.

Kui mitu riiki sinu arvates võib soovida

mõjutada mõne suurriigi valimistulemusi?

Sellise soovi ja võimetega arenenud

riikide arv tõenäoliselt kasvab.

Kuid samal ajal on internetivalimiste

süsteeme keerukam uurida.

Ei saa lihtsalt loota kellelegi,

kes tooks sulle keset ööd ühe masina,
kui sul raskeks läheb.

Ei saa serverisse häkkida valimiste ajal.

See oleks eetiliselt sobimatu:

sest teadlasena, kes püüab parandada

demokraatliku tehnoloogia olukorda,

ei saa ma õigustada midagi,

mis võiks sekkuda valimiste

läbiviimisesse ja tulemustesse.

Seepärast pidime otsima muid võimalusi

ja üks parimaid näiteid,

mis mul on õnnestunud siiani leida,

on intsident aastast 2010,

kus Washington DC otsustas

juurutada internetivalimiste süsteemi.

Nad said suure valitsuse toetuse,
et seda ehitada.

Ja see oli mõeldud sõjaväes

ja välismaal viibivatele valijatele

kodukohas mittevalija hääle andmiseks.

Nad tegid palju asju õigesti -

nad tegid avatud lähtekoodiga süsteemi,

nad palkasid mõned suurte kogemustega
veebiarendajad,

nad kaasasid isegi turbeeksperte

ja küsisid neilt, kuidas peaks uut

internetivalimiste süsteemi tegema.

Ja turbeeksperdid isegi hoiatasid,

et internetihääletus on liiga ohtlik,

et ei-ei, ärge tehke seda!

Kuid DC tegi seda ikkagi.

Kuid võib-olla kompromissina,

võib-olla selleks, et meid paika panna,

et tõestaksime oma väiteid,

otsustasid nad korraldada avaliku

katsetuse ja ütlesid,

et nädal enne valimisi

korraldatakse testhääletus,

ja igaüks, kes tahab proovida sisse murda

ja näidata, kui haavatav see süsteem on,
võib seda teha.

(naer)

Mitte iga päev ei kutsuta sind

häkkima valitsuse arvutitesse

ilma vangi minemise ohuta.

Ma sain kokku meeskonna oma tudengeid

ja me otsustasime üleskutsele vastata.

Niisiis, nende süsteem nägi välja nii:

logid ilusa veebiliidese kaudu sisse,

laed alla hääletussedeli,

täidad selle PDF-Readeriga,

laed selle taas üles,

ja ongi kõik -

"Täname hääletamast!" ja "Teata ka oma

sõpradele Facebookis ja Twitteris!"...

Ilus ja särav! See on...

(naer ja aplaus)

Igatahes nädal enne valimisi need kutid,

Eric Wustrow, Scott Wolchok, ja mina,

kogunesime ühel õhtul minu kabinetti,

jäime üles päris kauaks, lugedes meile

avaldatud lähtekoodi ja kena GitHubi kogu.

Olime DC lähtekoodi paar tundi lugenud,

umbes 3-4 paiku hommikul, kui uurisime

seda protseduuri siin, mis on tehtud

veebirakenduste raamistikus
Ruby On Rails,

mida keegi meist polnud varem näinud.

Kuid suutsime siiski enamvähem aru saada.

Sellest esiletõstetud reast siin selgub,

et see valimissüsteem kasutab GPG-d

üles laetava sedeli krüpteerimiseks,

et see oleks turvaline ja salajane,

kuni tuleb aeg häälte kokku lugemiseks.

Siis liigutatakse need teise masinasse

ja avatakse seal hoitava privaatvõtmega.

Probleem peitub siin - nad kasutavad

topelt jutumärke ühekordsete asemel.

Sellest piisas, et me saime sisse häkkida

ja varastada kõik hääled.

(naer)

Probleem on selles, et see võimaldab

skriptisüstirünnakut, kuna see teek,

mida kasutati, see versioon,

mida kasutati, laseb lihtsalt koostada

koodijupi ja kasutada süsteemipöördumist,

et sisestada see käsureale.

Hea seegi,
et nad kontrollisid failinime põhiosagi,

ent laiend jäi kontrollimata.

Seega, kui sa kasutasid laiendit,

mis sisaldas käsurea käske,

siis põhjustas see nende käskude

käivitumise veebiserveri protsessile

antud kasutajaõigustes,

mis olid: hääletussedelite vastuvõtt

ja valimiste läbiviimine.

See oli esimene asi, mida me proovisime,
ja see toimis!

Igatahes...

(aplaus)

Me leidsime samas võrgus ka teisi

huvitavaid seadmeid, sealhulgas mitmeid

veebikaameraid, mis polnud kasutajanime

ja parooliga kaitstud.

Need olid andmekeskuses,

seega siin on masinad,

millel käivad e-valimised,

siin töötajad..., siin turvamees,

kes ei tea, et me häkime serverisse...

Kuid see oli tegelikult väga kasulik,

sest me saime neid mehi jälgida,

kas nad kahtlustavad,

et miskit on puudu.

Ja me nägimegi olulist muutust

nende käitumises ja hoiakutes -

kui nad viimaks avastasid, et olime

saavutanud kontrolli süsteemi üle,

siis polnud nad eriti õnnelikud.

(naer ja aplaus)

Igatahes, ma hüppan nüüd loos

jupp maad edasi, viimaks oli aeg

DC-s küps süsteemi ründamiseks.

Seega ootasime kuni kella viieni, millal,

nagu ma turvavideote põhjal teadsin,

läksid süsteemiadministraatorid

tavaliselt ööseks koju.

Sellest hetkest hakkasime seda

käsuliidese süstimise turvaauku kasutama,

et käivitada väliseid käsklusi.

Tegelikult me ehitasime mingit laadi

simuleeritud käsuliidese,

mis teeks vajalikke asju,

et kompileerida miskit valimissedelile,

laadida see üles, käivitada käsud

ja lekitada see tagasi välja,

pannes midagi veebiserveri avalikku kausta.

Ja põhimõtteliselt luua mulje,

nagu me oleksime käsureal.

Igatahes jätkasime rünnet süsteemi vastu,

mängides reaalse ründaja rolli.

Niisiis, kui sa reaalse ründajana

oled valimissüsteemi sisse häkkinud,

siis mida sa esimesena teeksid,

kas varastaksid kõik hääled?

Ei! Esimese asjana varastaksid

sa kõike muud, mida õnnestub,

ja mis võib aidata sul

süsteemi tagasi pääseda.

Sa lood järjepidevuse.

Alles teine asi, mis me tegime,

oli kõigi häälte varastamine...

(naer)

Me asendasime need oma valimissedelitega,

kus kõigil oli kandidaadiks

nimekirjaväline kandidaat -

ulmejutu või -filmi kuri robot,

kes võiks olla see,

kelle poolt arvutid hääletaks,

kui nad tahaks võimule tulla.

Siis seadistasime süsteemi asendama

kõik uued hääled meie eelistusega.

Siis lisasime tagaukse,

mis teeks avalikuks kõigi teiste valijate

salajased valimiseelistused,

ja kustutasime logid,

püüdes varjata oma tegevuse jälgi.

Nüüd oli meil veel üks dilemma,

mis seisnes selles, et olime saavutanud

süsteemi üle täieliku kontrolli,

kuid kuna pärisvalimised

olid nädala pärast tulemas,

siis tahtsime DC-le teada anda,
mis on juhtunud.

Aga me ei tahtnud neile helistada,

sest arvasime, et oleks põnev testida,

kui hästi suudavad valimisametnikud

rünnakuid tuvastada ja neile

simuleeritud valimiste käigus reageerida.

Iial pole olnud head näidet ega uurimust,

kuidas see välja mängitakse.

Seega neile lihtsalt helistamise asemel

otsustasime jätta oma arvates mitte eriti

tagasihoidliku visiitkaardi.

Niisiis muutsime valimisprotseduuri lõpus

valijat tänava ja sõpru Facebookis ja

Twitteris teavitada soovitava lehekülje

koodi, lisades sinna mõne rea. Just siia!

See käivitas valija arvutis mõnesekundise

pausi järel Michigani ülikooli jalgpalli

võitluslaulu "Tervitus võitjatele".

(naer ja aplaus)

Nii kulus ikkagi peaaegu kaks päeva,

enne, kui valimisametnikud märkasid.

Ja see juhtus alles siis,

kui keegi helistas neile ja tõstis esile,

et süsteem ise meeldib talle,

kuid talle ei meeldi see muusika,

mis lõpus mängib - see olevat häiriv!

(naer)

Arvan, et alles siis vaatasid nad ringi,

said aru, et nad kõik on

konkureeriva jalkameeskonna fännid.

Ja tundsid siis jubedat uppumise tunnet.

Igatahes tegi DC lõpuks targasti -

nad loobusid internetivalimiste süsteemi

häälte kogumiseks kasutamisest.

Selle asemel lasid nad võõrsil viibivail

valijatel õigeaegselt valida aitamiseks

alla laadida tühja valimissedeli,

selle välja printida,

ja saata see tagasi postiga.

Sellega kõrvaldasid nad enamiku riske

ja tulid poolele teele vastu valijaile,

kelle hääl vajas õigeaegset tagastamist.

Hüva! See oli senini meie parim uuring.

(aplaus)

Ja see toob meid tänase ettekande

peateema juurde.

Internetivalimised Eestis.

Eesti on väga-väga huvitav juhtum,

ja olen aastaid jälginud, mis on toimunud

Eesti internetivalimiste süsteemiga, sest

Eesti on maailma riikidest enim suutnud

internetivalimisi juurutada ja kasutada.

Neile, kes ei tea, kus Eesti asub,

sh enamik publikus olevaid ameeriklasi,

siis see asub siin.

Nagu näete, piirneb see Venemaaga.

Ameeriklastele: see on ka Euroopa Liidu
ja NATO liige.

Niisiis, Eesti on tegelikult

tehnoloogiliselt üsna arenenud riik.

Nad on liidrid e-valitsuse osas,

nad teevad palju huvitavaid katseid,

kuidas pakkuda avalikke teenuseid
üle interneti.

Selles kontekstis on pisut vähem üllatav,

et üks selline riik, nagu Eesti,

eksperimenteerib internetivalimistega.

Siiski on Eesti teinud rohkem,

kui kõigest mõned katsed.

Viimase kümne aastaga on nad, ma usun,

korraldanud internetis seitse valimist,

sealhulgas kõige hiljutisemad, mais 2014

toimunud Euroopa parlamendi valimised,

kus rohkem kui 30% kõigist häältest

anti interneti teel.

See on lihtsalt imeline!

Mitte ükski teine riik ei saa lähedalegi

nii tugeva internetist sõltumise poolest

riiklikel valimistel - üle 30 protsendi!

Ja ometi, kas Eesti süsteem on turvaline,

on küsimus, millele pole antud
adekvaatset vastust.

Tegelikult polnud meie sinna sattumiseni

sõltumatut rahvusvahelist uuringut,

mis oleks detailselt kontrollinud

seda tehnoloogiat ja selle turvalisust.

Ja seepärast paljudes teistes riikides,

sealhulgas minu kodumaal, oli inimesi,

kes imetledes vaatasid: ohhoo, Eesti,

vaadake seda, nad hääletavad internetis,

miks meie seda teha ei saa?

Kas poleks tore, kui me saaks
internetis hääletada?

Seepärast tahtsin ma teada saada,

nagu ka mu tudengid ja paljud mu sõbrad,

kas Eesti on tõesti lahendanud

internetivalimiste turvalisuse probleemi?

Kas nad on oma süsteemi loonud viisil,

mis arvestab kõiki neid reaalsete

ohtude liike, mida suured riigid

valimiste korraldamisel kohtavad?

Ja mida võiks minu riik, ja kõik teised,
Eesti näitest õppida?

Seega ootasin ma mitu-mitu aastat

võimalust minna Eestisse,

kohtuda seal nende inimestega,

et uurida seda süsteemi

ja püüda saada vastused neile küsimustele

e-valimiste uuringu kontekstis.

Viimaks oli mul see võimalus,

oktoobris 2013, kui mind kutsuti kaasa

rahvusvahelise teadlaste meeskonnaga

Tallinna linnavalitsuse poolt -

et tulla Eestisse,

rääkida meie kogemustest e-valmistega

ja olla riiklike valimiste vaatleja,

et reaalselt näha seda e-valimiste

süsteemi administreerimise protsessi.

Seega olime valimiste ametlikud
akrediteeritud vaatlejad.

Me pidime külastama andmekeskust,

kus majutatakse valimiste servereid.

Me pidime kohtuma süsteemi arendajatega

ja intervjueerima neid põhjalikult,

sealhulgas süsteemi isa Tarvi Martensit,

kes tegelikult tegi sellest ettekande ka

vist 25. C3 kongressil aastaid tagasi.

Tarvi on üks juhtivatest arendajatest,

see on tema lapsuke ja mul oli hea meel

temaga silmast silma pikemalt vestelda,

veeta koos temaga üks päev

ja tutvuda süsteemi toimimisega.

Saime tutvuda ka lähtekoodiga, sest Eesti

avaldas just eelmisel aastal esmakordselt

osa oma valimissüsteemi lähtekoodist.

Nad avaldasid serveripoolse lähtekoodi.

Kliendi lähtekood on endiselt kinnine.

Nad paluvad sul oma arvutisse paigaldada

suletud koodiga rakendus, et vältida sama

ilmega ebaausa libarakenduse loomist

või vähemalt teha see raskemaks.

Me pidime ka läbi vaatama, ja see on väga

huvitav asi, mis nad teevad, me pidime

vaatama kümneid tunde videosalvestisi,

mida Eesti valimiste ajal teeb.

Näiteks valimiseelne serverite seadistus

ja igapäevane varundamine andmekeskuses.

Tõesti huvitav, et nad seda pakuvad,

see võimaldas meil täita mitmeid lünki,

kuidas süsteemi tegelikult kasutatakse.

[Valija kogemused]

Järgmise asjana tahan teile näidata,

milline see süsteem näeb välja
valija vaatenurgast.

Kui sa oled Eesti valija,

kes kavatseb oma e-hääle anda,

siis on sul selleks umbes nädal aega

enne kohaleminemisega valimispäeva.

Sa logid oma arvutist sisse,

laadid alla rakenduse,

ja on vaid üks asi sellel pildil,

mis võib tunduda teistele ebatavaline.

Ja see on see asi! Mis see on?

Eestis on üks väga huvitav asi nende poolt

arvutitehnoloogia vallas tehtu seas -

kõik nende ID-kaardid on kiipkaardid

ja igal kodanikul on selline ID-kaart,

mille kiibis on RSA võtmepaar.

Neid saab kasutada autentimiseks veebis,

kasutades HTTPS TLS klienti Auth.

Nad on ainuke riik,

kus see on laialt kasutusele võetud.

Või dokumentide allkirjastamiseks,

ja neil on seaduslik, riigi tunnustatud

elektroonilise dokumendi vorming,

mis toetab selle kaardiga antud allkirju.

Mitu riiki on püüdnud sellist asja teha,

kuid Eesti on ainulaadne, sest seal on

see laialt kasutusel - paljud inimesed,

suur osa eestlastest, kasutab seda kaarti

internetipangas, nad kasutavad seda

tuludeklaratsiooni esitamiseks,

nad kasutavad seda, et pääseda ligi

online tervishoiuteenustele.

See on tõesti laialt kasutusel,

ja minu arvates on see fantastiline,

et neil on õnnestunud luua rahvuslik

avaliku võtme infrastruktuur

ja näha selle omaks võtmist.

Seega pole üldse üllatav, et nad rajasid

kogu valimissüsteemi ülesehituse nende

kaartide võimetele ja funktsioonidele.

Seega tuleb e-valima mineva eestlasena

esmalt ametlikust veebist alla laadida

kliendirakendus, ja see on saadaval

Windowsile, Macile ja Linuxile.

Siis paigaldada see oma arvutisse

ja edasi järgida rakenduse juhiseid,

kasutada oma kiipkaarti, riiklikku ID-d,

et anda oma hääl.

Siin on see, kuidas see käib:

Esmalt käivitad sa rakenduse,

ja see küsib sinult neljakohalist koodi.

See kood on vajalik kiipkaardile,

et aktiveerida kaardi autentimis-
ja allkirjastamisfunktsioonid,

ning lubada kasutada võtmeid.

Pärast seda ühendub see valimisserveriga,

autendib TLS kliendiga Auth,

otsib välja, kus sa elad,

ja saadab rakendusele valimissedeli.

Sa pead rakenduses lihtsalt valima,

kelle poolt sa hääletad.

Muide, igaks valimiseks on uus rakendus.

Siis klõpsad nuppu "Valin", ja edasi

tarkvara tegeleb natuke krüpteerimisega.

Siin on see, mida see teeb - kaht asja.

Esiteks krüpteerib see su valimissedeli,

kasutades RSA-d ja kliendi genereeritud

juhuslikku polsterdavat teksti.

Siis võtab see selle krüpteeritud sedeli

ja allkirjastab digitaalselt

sinu ametliku ID-kaardiga.

Seega teine, allkirjastamise etapp,

annab tulemuseks allkirjastatud

krüpteeritud valimissedeli.

Allkirjastatud krüpteeritud valimissedel

läheb valimisserverisse, mis hoiab seda,

kuni on aeg hääled kokku lugeda.

See on valimiseprotseduuri lühiülevaade,
väga lihtne!

Järgmisena on Eestil siiski iseärasus,

mida rakendati alles viimastel aastatel,

ja mis laseb sul teha midagi,

mida nad kutsuvad kontrollimiseks.

Viimane asi,

mida valimiste klientrakendus teeb,

on sellise QR koodi näitamine.

See QR kood sisaldab kaht asja:

sedeli tunnust ja enne RSA krüpteerimist

sedeli polsterdamisel kasutatud juhuteksti.

Nende abil saad nutitelefonirakendusega,

mis on saadaval iOS-ile ja Androidile,

skaneerida selle QR koodi, misjärel teeb

rakendus päringu valimisserverisse

ja server saadab tagasi

krüpteeritud valimissedeli,

millelt on eemaldatud digiallkiri.

Server väidab, et see on see sedel,
mille ta sinult sai.

Hüva! Siis, kasutades seda juhuteksti,

mis saadi QR koodist, püüab nutirakendus

jõuga lahti murda sinu sedelit, proovides

läbi kõik võimalused, kuni leiab selle,

mis šifreerub samaks tekstiks.

Hüva! Siis leiab see kokkusobivuse

ja kuvab tulemuseks saadud kandidaadi.

Sunnivastase abinõuna saab valideerimist

teha vaid kuni kolm korda ja seda kuni

30 minuti jooksul pärast hääletamist.

Muidu saaks sinu survestaja alati nõuda,

et näitaksid talle oma sedeli kontrolli.

Huvitav, et ühe meetmena survestamise

vastu on sul võimalus oma hääl ära muuta

nii palju kordi kui sa tahad,

kuni kohaleminekuga valimise päevani.

Selleks lihtsalt korda seda protseduuri,

ning su uus valik asendab varasema ja

vaid kõige viimane hääl võetakse arvesse.

Hüva, selline on kontrolliprotsess.

Nüüd aga kuidas toimub häälte lugemine?

Eesti e-häälte kokku lugemine on huvitav,

sest põhimõtteliselt on püütud teha

krüptograafiline analoog

topeltümbrikuga eelhääletamisele,

mida kasutatakse paljudes riikides.

Topeltümbrikuga eelhääletamisel on sul

sisemine turvaümbrik, milles on su sedel,

ja väline ümbrik sinu nime ja allkirjaga.

Kui tuleb aeg hääled kokku lugeda,

olles kontrollinud, et sa hääletasid vaid

ühe korra ja et sul on valimisõigus,

eemaldatakse nimi ja allkiri,

ning eraldatakse sisemised turvaümbrikud,

aetakse need segi,

et neid ei saaks nimedega seostada,

avatakse siis, ja loetakse hääled kokku.

Eesti süsteemis tehakse väga sarnaselt.

Valimisserverid hoiavad hääli, kuni jõuab

aeg hääled kokku lugeda. Ja siis võetakse

digiallkirjastatud krüpteeritud sedelid,

vabastatakse need digiallkirjadest

ja kirjutatakse siis DVD-le.

Selle DVD-ga viiakse krüpteeritud hääled

füüsiliselt eraldatud võrguta masinasse,

mida hüütakse häälte lugemise serveriks,

ja vaid see saab ligi privaatvõtmele,

mida kasutatakse häälte dešifreerimiseks.

Seega on hääl krüpteeritud kogu tee sinu

kliendist kuni häälte lugemise serverini,

ja häälte lugemise server saab need

dešifreerida ja näha hääli,

kuid see ei näe mitte kunagi allkirju,

mis need hääled identifitseeriks.

Sellisel viisil püütakse hoida
valimissaladust.

Häälte lugemise serveri väljundiks on
lihtsalt valimistulemused.

Ehk kandidaatide häältesummad

ja võitjaks tulnud kandidaadid.

Niisiis, selline on Eesti valimisprotsess

ja oli väga huvitav teada saada,
kuidas see toimib.

Pole avaldatud ingliskeelseid kirjeldusi,

mis kõike kajastaks, enne meie uurimust.

Pidime küsitlema ja uurima lähtekoodi,

kõike seda selleks, et saada aimu,
mis tegelikult toimub.

[Ohud?]

Järgmine küsimus pärast süsteemi

toimimise selgeks saamist on:

millised ohud seda ähvardavad?

Tegelikult me oleme juba käsitlenud

mõningaid internetivalimiste probleeme.

Tead ju küll - siseringi rünnakud

ebaausate valimisametnike poolt,

valijate sundimine, pahavara kliendis...

Aga kes veel sooviks rünnata
sellist süsteemi?

Eesti toob meelde mõned erilised näited,

sest esiteks rünnati Eestit

väga silmapaistvalt 2007. aastal

ühe kõige varajasema näitena sellest,

mida mitmed vaatlejad peavad

riikidevaheliseks kübersõjaks,

kui nad kannatasid ulatusliku

teenusetõkestusründe all riigi

infrastrukruuri vastu, rühmituste poolt,

keda seostatakse Moskvaga.

Teiseks, möödunud suvel olid Ukrainas

revolutsioonijärgsed valimised.

Ja nende kestel oli ulatuslikke ründeid

valimiste infrastruktuuri vastu.

Need valimised ei toimunud internetis,

kuid häälte tabelitesse ajamise protsess,

protsess üle kogu riigi kõigi tulemuste

kokku võtmiseks, tugines arvutivõrgule

häälte arvu vastuvõtmisel

ja kokkuvõtete internetis avaldamisel.

Kuuldavasti ründasid ka seda protsessi

rühmitused, keda seostatakse ka Venemaaga

ja kes püüdsid valimisi diskrediteerida,

ja ma lugesin,

et püüdsid isegi avaldada valetulemusi.

Kõik see sai avalikuks eelmisel suvel.

See paneb mind uskuma, et õige ohumudel

internetivalimiste jaoks peab sisaldama

kogenud riigi tasemel ründajaid,

kes võivad tahta tulemusi mõjutada.

Ja sellise riigi puhul, nagu Eesti,

kes, teate ju küll,

on Venemaaga piirnev EL ja NATO liige,

on ilmselt palju osavaid

riigi tasemel ründajaid

kes võivad tahta kaasa rääkida selle
tulevastes sihtides.

Hüva! Seda ohumudelit meeles pidades

hinnakem Eesti süsteemi ülesehitust.

On kaks Eesti disaini osa,

mille kohta juba disainiga tutvumisel

võib öelda, et need on

kõhklematult usaldatavad komponendid.

Ja kui me turvalisuse puhul ütleme,

et miski on usaldatav, siis peame

silmas seda, et kui see on häkitud,

siis oleme suures jamas.

Niisiis, seda mõtleme me usaldatava all.

Need kaks komponenti on valija klient

ja häälte lugemise server.

Ja las ma ütlen teile, miks need mõlemad

on potentsiaalsed või tõsised haavatavad

kohad Eesti disaini juures.

Alustame kliendist.

Eesti valimiste klientrakendus võib

potentsiaalselt saada kompromiteeritud

kliendipoolse pahavara poolt.

Siin on lihtne pahavara disain,

mida me reaalselt laboris ka rakendasime.

Muide, nende rünnete rakendamiseks

me tekitasime oma laboratooriumisse

Eesti süsteemi täieliku koopia,

kasutades nende serveripoole lähtekoodi,

nende dokumenteeritud protseduure

ja klientrakenduse pöördkodeerimist,

et panna see suhtlema meie serveritega

ja kasutama meie võtmeid ametlike asemel.

Me seadsime oma laborisse üles

täieliku valimiste testsüsteemi

ja meil on kodulehel virtuaalmasina

tõmmised, kui keegi tahab proovida

mängida sellega oma laboris.

Igatahes, kujuta ette, et omad valimiste

klientrakendust ja oled võimeline

sellesse panema mingi pahavara.

See pahavara võib lihtsalt sekkuda

valimiste kliendi protsessi

ja varastada valija PIN koodi,

kui see valimiste käigus sisestatakse.

Hiljem, järgmisel korral kui valija

sisestab oma ID-kaardi näiteks

internetipanka minekul, siis see pahavara

saab taustal nähtamatult seda varastatud

PIN-i kasutada, et anda uus hääl.

Valija ei saa iial aimu hääle muutmisest.

Ründaja aga saab selle protseduuriga
varastada ühe hääle.

Nüüd on siin kaks suurt küsimust:

kuidas nakatada kliente

ja kuidas ära petta kontrollirakendus?

Kuidas nakatada kliente?

Me peame selle jätma ettekujutuse valda,

sest meil polnud mängimiseks botnetti,

mis koosneks tuhandetest nakatunud
arvutitest Eestis.

Kuid kellelgi teisel on,

ja see on üks võimalus,

mida on lihtne ette kujutada

tuhandete häälte muutmiseks.

Teine viis on näiteks, kui sa oled NSA,

sul on Zero-Day turvaauguga arvutite varu

ja sa lihtsalt ründad mõnd populaarset

veebilehte või rakendust, mida Eestis

kasutatakse, ja nakatad sellega inimeste

klientrakendused pahavaraga.

Kolmas võimalus on sokutada paheline kood

ametlikku valimisrakendusse,

mille kohta me teame, et kõik,

kes Eestis internetis valivad,

paigaldavad selle oma masinasse
enne valimist.

Igatahes on mitmeid viise klientide
nakatamiseks.

Kuidas ära petta kontrollirakendus?

Tuleb välja, et see pole üldse keeruline,

sest survestamisvastaste meetmete tõttu,

(tuletame meelde seda vastuolu tervikluse

ja valimissaladuse nõude vahel),

tänu neile survestamisvastastele
meetmetele,

saab kontrollirakendust kasutada vaid

kuni 30 minuti jooksul pärast valimist.

Seega pärast hääle andmist on vaja vaid
oodata...

Kui see ei toimi või on liiga kahtlane,

siis võime proovida ka hübriidrünnet,

mis sisaldab pahelist androidirakendust

ja valimiskliendi nakatamist.

Tänu nende platvormide lähenemisele

ei ole enam nii raske uskuda,

et keegi võib samaaegselt

ja seostatult rünnata mõlemat.

Igatahes on erinevaid viise nende

mõlema asja tegemiseks.

Me võime minna edasi ja vaadata ka
serveri poolt.

Serveri poolel on süsteemi
achilleuse kannaks

häälte lugemise server,

mis ainsana saab manipuleerida
krüpteerimata hääli.

Ja mitte keegi ei näe kunagi neid hääli -

näha on vaid väljundid, seega,

kui häälte lugemise server petab,

võib see lihtsalt oma suva järgi öelda,

milline on valimistulemus.

Kuid nad tegid häälte lugemise serveri

manipuleerimise päris keeruliseks.

See on võrguühenduseta...

See ehitatakse enne valimisi...

See on kinni pitseeritud...

See asub kuskil turvahoidlas...

Peame arvestama, et see on üsna raske!

Seega kuidagi tuleb leida viis, kuidas

mõjutada koodi toimimist selles masinas.

Me proovisime ja lõime selleks vahendid,

et seda masinat kompromiteerida, isegi,

kui rakendati nende turvameetmeid.

Meie tööriistaahel põhineb Ken Thompsoni

"Mõtisklused usalduse usaldamisest"

pärit ideel, mis ütleb, et isegi,

kui üks süsteem on turvaline,

on selle ehitamiseks vaja teist süsteemi,

ja on vaja veel üht süsteemi,

et ehitada seda teist süsteemi.

Seega järgides seda ahelat,

jõuad sa lõpuks kohani,

millele ründajal on juurdepääs.

Oma uurimuses me leidsime selle viisi,

kuidas nad selle masina

häälte lugemise serveriks ehitasid.

See jookseb minu arvates mingil
Debiani variandil.

Ja see on paigaldatud DVD-lt,

mis on kõrvetatud eraldi arendusmasinas,

mis on ehitatud enne valimisi

ja mis reaalselt laadib veebist alla

värske Debiani koopia

ja kõrvetab selle DVD-le.

Seega oletame, et me saame astuda mõned

sammud tagasi häälte lugemise serverist

ja kompromiteerime seda arendusserverit.

See on internetti ühendatud...

See on ehitatud enne seda, kui algab

valimisprotseduuride videosalvestus...

Oletame, et meil õnnestub

mingi pahavara sinna sokutada...

Niisiis ehitasime demo, kus see pahavara

nakatab selle kirjutatava paigaldus-DVD,

kasutab käomuna, et valetada ISO-tõmmise
SHA-1 räsi kohta,

sest nad kontrollivad seda.

Ja siis see nakatunud DVD paigaldab mingi

tagauksekoodi häälte lugemise serverisse,
kui seda ehitatakse.

Sel juhul on häälte muutmine väga lihtne.

Meil on vaja vaid sekkuda häälte

lugemise serveri koodi, mis kasutab

lisatud riistvaralist turvamoodulit

kõigi häälte dešifreerimiseks,

ja põhimõtteliselt vaadata,

mis tuleb sellelt turvamoodulilt tagasi,

ja asendada see oma eelistatud häältega.

Sel viisil võtab see umbes paraja aja,

mil turvamoodul dešifreerib õigeid hääli,

kuid tulemused on võltsitud.

Hüva! Need on kaks rünnet,

mis tuginevad pisut mõnele võimele,

mida meil pole, nagu juurdepääs

Zero-Days turvaauguga masinatele

või botnetile, või siseringi juurdepääs.

Kõik need asjad on tõelistel ründajatel
siiski olemas.

Kuid võib siiski olla võimalik,

et Eesti operatiivne turvalisus
on nii hea,

et neil oskuslikel ründajatel

on probleeme masinate nakatamisega.

Seega, kui hea on nende operatiivne
turvalisus?

See oli suur küsimus meie töös ja miski,

millele me kulutasime palju aega

vaadates läbi videoid,

tehes intervjuusid,

et seda kõike välja selgitada.

Hüva! See mees, Eesti president, ütleb,

et nende turvalisus on parem kui Googlel.

See on siis see standard,

mille nad on endile seadnud!

See on hea, see on miski,

mille poole pürgida.

Vaatame, milline nende turvalisus
tegelikult on,

tuginedes ametlikele videotele,

mis nad on avaldanud valimiste jooksul.

Hüva! See on Tarvi Martens,

ja siin, tema pea kohal, on nende WiFi
võrgu SSID ja parool...

(naer ja aplaus)

Hüva! Siin ehitavad nad mingit tarkvara

ja servereid ja konfiguratsiooni

reaalsetele masinatele.

Suumime sellele ekraanile sisse!

Oh, heldust! Hästi!

Nad kasutavad mingit Windowsi jaosvara,

mida nad laadivad alla üle HTTP,

et kirjutada serverite konfifaile...

See ei paista hea!

Hästi, lähme edasi! Siin on teine arvuti,

sellel kuvatõmmisel nad testivad
klientrakendust.

Suumime sisse...

Töölaud paistab päris hästi.

Üks hetk!

Mis ikoonid need siin töölaual on?

Siin on mingi pokkeriveeb...

BitTorrenti klient...

Ma arvan, et see siin on piraatmuusika...

Oh, heldust!

See pole küll puhas ja turvaline masin!

Loodan, et siin ei tehta midagi olulist!

Ohhoo!

Nad allkirjastavad digitaalselt

ametlikku valimisklienti,

mida nad kavatsevad lasta kõigil

selles riigis alla laadida

ja oma arvutisse installeerida!

Oh, issand!

See on kõige ohtlikum asi -

hoida õiget kliendiprogrammi

potentsiaalselt nakatunud masinas.

Kui keegi nakatab selle masina,

siis saab ta oma pahavara

ametlikku valimiskliendi sisse

ja levitada seda iga Eesti valijani.

Hästi! Mis veel?

Hiljem samas masinas -

Siin on Tarvi nimi...

Usun, et see on Tarvi Martensi
isiklik sülearvuti...

Oh! Hüva!

Siin sätivad nad üles üht serverit.

Nad logivad sisse oma peakasutajakontole.

Sa võid siin näha nende klahvivajutusi...

(naer ja aplaus)

Hästi!

Siin sisestab keegi oma ID-kaardi PIN-i...

See siin on andmekeskuses.

See on tõesti kasulik!

See suur võti siin avab
andmekeskuse ukse...

(naer)

Kas kellelgi on 3D printerit?

(naer)

Hüva!

See ei tundu just olevat selline

operatiivse turvalisuse tase,

mida meile vaja oleks,

et kaitsta riigi tasemel ründajate vastu!

Aga ei taha olla nende vastu liiga karm.

Selline operatiivse turvalisuse tase

ongi riigiasutuse IT süsteemis tüüpiline.

Kuid see pole lihtsalt mingi suvaline

valitsusasutuse infosüsteem.

See määrab, kes saab olema uus juhtkond.

See on riikliku julgeoleku seisukohast
kriitiline infosüsteem!

Hästi! Veel üks asi, mis juhtus.

Neil olid viimastel valimistel mõned

asjad valesti läinud, sealhulgas lõpus,

kui tuli kopeerida ametlikud tulemused

häälte lugemise serverist välja,

siis DVD kirjutaja ei toiminud.

Ja nad vaatasid ringi, kuidas seda teha.

Oli vaja kõik tulemused välja kopeerida

ja tuua teise süsteemi, et need

digitaalselt allkirjastada ja avaldada.

Siis võttis Tarvi Martens taskust mälupulga

ja pistis häälte lugemise serverisse,

ainsasse masinasse, mis näeb antud hääli,

ning seejärel oma Windowsi sülearvutisse,

allkirjastas hääled ja avaldas need.

See siin ilmus tema Windowsi sülearvutile

kui ta pistis selle USB pulga sisse...

Te võite näha, et see on olnud kõikjal!

Sellel on ettekanne valimissüsteemist,

mille ta oli seal teinud.

See polnud puhas USB-pulk!

Seega veel üks võimalik tee pahavara

pääsuks häälte lugemise serverisse.

[Avalikustamine]

Hüva!

Seega meie hinnang oli, et Eesti süsteem

oli tõsiste turbeprobleemidega,

eriti riigi tasemel vastase suhtes,

ja nende olemasolev operatiivne

turvalisus polnud mitte kuidagi valmis

sellele vastu seisma.

Ja me olime teatavas kimbatuses,

sest olime olnud Eestis mullu oktoobris

ja valimisametnikele üldjoontes rääkinud,

et meil on need mured, ja siis lahkusime

ja saime endi jaoks laboris kinnitust.

Nüüd olid Eestis tulemas uued valimised,
mais 2014.

Me teadsime seda informatsiooni.

Mida me pidime sellega peale hakkama?

Me teadsime,

et valimisametnikud olid juba veendunud,

et süsteem on igati korralik.

Seega otsustasime info avaldada,

ja õnnetuseks, kuna meil kõigil oli käsil

palju projekte, lükkus see edasi,

kuni veel lähemale uutele valimistele,

kui see oleks mulle meeldinud.

Me naasime Eestisse kõigest u 10 päeva

enne nende järgmisi valimisi,

et teavitada avalikkust sellest,

mis me olime avastanud.

Niisiis me lendasime,

saime näha Tallinna imeilusat kesklinna,

panime püsti häkkeri baaslaagri

kenas suures AirBnB majutuskohas,

kuhu kogu meeskond ära mahtus.

Ja tegutsesime edasi,

et korraldada pressikonverents

ja teavitada oma avastustest.

Me panime üles veebilehekülje,

mis võttis need, nagu mina praegu,

tavainimesele mõistetavalt kokku.

Ja avaldasime detailse tehnilise aruande,

mis avaldati ka ACM CCS konverentsil.

Nüüd reaktsioonist...

Selle mõistmiseks on Eesti poliitikast

vaja teada kõigest kaht asja.

Esiteks, seal on kaks suuremat erakonda -

Reformierakond ja Keskerakond.

Reformierakond, kes on praegu valitsev,

toetab e-valimisi, see on nende kutsikas,

see on nende rahvusliku uhkuse allikas.

Nad tahavad seda turustada mujal Euroopas

ja näidata, kui silmapaistev ja modernne
Eesti on.

Keskerakond, kes on olnud riigis võimul,

on praegu opositsioonis, kuid nad juhivad

Tallinna linna, mis on olemuselt linnriik
selle riigi sees.

Nemad ei salli e-valimisi, võimalik,

et seepärast, et nad kaotasid valimistel.

Võimuta jäänud parteid ikka vihkavad või

kritiseerivad valimiste tehnoloogiat,

samas võimuerakonnad ei tee seda kunagi.

Igatahes, Keskerakond on süsteemi kaua
kritiseerinud,

aga Reformierakond armastab seda.

Õnnetuseks, iga meediaväljaanne Eestis

näib olevat lähedalt seotud ühe või teise
erakonnaga neist kahest.

Ja nii käsitlesid kõik meie esile toodud

potentsiaalseid ründeid kas tõendina,

et e-valimised oli pettus, või siis mõne

isiku katsena e-valimisi rünnata,

kuna nad töötavat vastaserakonna heaks.

Seega sattusime kõige selle keskele,

ja see oli üsna uskumatu,

kuid mitte just eriti lõbus.

See teema oli terve nädala peauudiseks

ja püsis igaõhtuste uudiste alguses.

Ma lendasin koju lennukis,

kus inimesed minu kõrvalridades

lugesid lehtedest sellest artikleid.

See oli üks minu elu veidramaid kogemusi.

Me kohtusime ka valimisametnikega

väga ametlikul kohtumisel,

kus viibis ka nende advokaat.

Tarvi Martens tänas meid väga ja ütles,

et nad on juba kõike seda arvesse võtnud

ja probleeme pole...

Hüva!

Me pidime tegema paar napsu ka valimiste

turbespetsialistidega, kes olid kindlad,

et kõik on korras. Sest, nagu nad väitsid,

õiged inimesed ju ikkagi võitsid!

(naer)

Ma küsisin neilt, mis juhtuks, kui mingi

jubeda vea tõttu võidaks valed inimesed,

vallandaks teid kõiki ja jätkaks selle

süsteemi praegusel kujul kasutamist?

Selle peale muutusid neil näod nukraks,

ja nad ütlesid, et see oleks päris paha.

(naer)

Ent hiljem Harri Hursti,

üks meie meeskonna liige,

kes on väga suurt kasvu soome mees

ja tuntud uskumatult vägeva napsusõbrana,

läks välja tõsisemale napsutamisele

koos selle väga kena vene kutiga,

kes on e-valimiste turbepealik.

Mulle räägiti, et selle õhtusöögi käigus

tarbis kumbki mees kaks pudelit viina,

pärast mida ei saanud enam miski

tõe eest peitu jääda.

Harri teatas, et õhtu lõpuks

oli ta joonud turbeülema seest välja

peakasutaja parooli.

(aplaus)

Ja siin ta on tagasi tulemas...

(aplaus)

Veel üks viimane asi sisse pakkida.

Eesti peaminister esines teles ja ütles,

et ta oli meie kohta Facebookis uurinud,

ja me töötavat tema vastaste heaks,

et e-valimisi diskrediteerida,

sest Jason Kitkati sõbraloendis oli keegi

linnavalitsuse töötaja.

Tema sõbraloendis oli ka rahandusminister

ja tal oli ka silmapaistev Facebooki

sõbrakutse peaministrilt,

kuid ilmselt ei võtnud ta seda vastu.

Lõpuks saime mõned väga huvitavad...

Mind pole kunagi varem rünnatud teles

NATO riigi peaministri poolt, eriti

veel selle pärast, kes on minu sõbrad.

Lõpuks saime mõned huvitavad ametlikud

vastused, mis avaldati internetis Eesti
valimiskomisjoni poolt.

Nad ütlevad, et kontrollirakendus avastab

kogu pahatahtliku käitumise...

Jah, me ju rääkisime sellest rakendusest...

Nad ütlevad ka, et miks varastada hääli,

kui võib varastada raha,

kui sa oled selleks kõigeks suuteline?

(naer)

Ma ei võtaks ka seda tõsiselt.

Kuid kõige üllatavam asi oli,

et Eesti Sertifitseerimiskeskus avaldas

blogipostituse, mille võite netist leida
ka inglise keeles.

Postituse pealkirjaks on nad pannud:

"E-valimised on (liiga) turvalised..."

Oh, heldust!

"Korralikel kodanikel, kes hoolivad
arvutipuhtusest, ei ole viiruseid...",

nagu nad väidavad!

"Arvutiriskid on e-valimiste süsteemist
praktiliselt kõrvaldatud..."

Minu meeskonna kohta kirjutati:

"Nad on siin mitte tehniliselt pädeva,
vaid poliitilise, kuid tehniliselt
ebakompetentse sõnumi pärast..."

Oh, heldust!

Ma ei usu, et meil oleks

palju lootust veenda Eestit

muutma oma valimissüsteemi.

Siiski saame siit võtta mõned õppetunnid
teistele riikidele.

Eesti internetivalimiste süsteem pole

tegelikult turvaline mitme ohtu suhtes.

Riigi tasemel tegutsejad võivad

sihikule võtta kaasaegseid riike,

kes korraldavad internetivalimisi.

See on riikliku julgeoleku küsimus,
mitte IT probleem.

Seega, kui sa isegi vaid mõtled sellise

süsteemi kasutuselevõtmisest,

siis pead sa tegelema hoopis teistsuguse

ohumudeli ja kaitsetasemega.

Poliitikud, kahjuks, nagu me nägime,

võivad varjata suuri tehnilisi probleeme.

Ja ka sinu riigis,

kui sinu riik kaalub sellise süsteemi

kasutuselevõttu, palun,

ole siis sellega ettevaatlik!

Meie soovitus on, et Eesti peaks lõpetama

oma e-valimiste süsteemi kasutamise,

kuni nende fundamentaalne turvalisus paraneb!

Kuid ma loodan...

(aplaus)

Mul pole üldse...

(aplaus)

Mul pole neile eriti abi anda.

Kuid lihtsalt kokkuvõtteks -

minu jaoks on internetivalimiste

fundamentaalne probleem selles,

et me tahame valimissüsteemi,

kuhu ei sina ega mina ega meie sõbrad ega

Tarvi Martens ega Vladimir Putin ega NSA

ei saaks lihtsalt sisse häkkida

ja muuta valimistulemust.

Nii lihtne see ongi!

Me tahame demokraatiat!

(aplaus)

Ulatuslik pettus peaks olema vähemalt

sama keeruline, kui pabervalimise korral.

Ükski tehnoloogia seda siiani ei taga.

Seepärast on minu seisukoht,

kuigi olen teadlik paljulubavatest

sellealastest uuringutest,

et enne kulub veel aastakümneid,

kui see üldse kunagi juhtub,

et internetivalimised saavad

oluliste riiklike valimiste jaoks
piisavalt turvaliseks.

Ja seda ei juhtu ilma fundamentaalsete

arenguteta arvutiturbes.

Tänan teid väga!

(aplaus)

Suur tänu, professor, selle väga hirmsa

ja väga huvitava ettekande eest!

Me oleme pisut üle aja läinud,

kuid õnneks on meil selle ettekande järel

esimeses saalis tulemas vaheaeg,

seega, kui teil on küsimusi,

siis võtke sappa mõne mikrofoni taha
neist kaheksast.

Jah, number neli, palun!

Tänan ettekande eest! Te uurisite,

kuidas rünnata häälte lugemise serverit,

kuid kas te olete uurinud,

kas saab rünnata teist valimisserverit?

Sest selles eemaldatakse digiallkirjad,

(kui ma mäletan õigesti?),

seega see server võib DVD-le kirjutada

suvalisi krüpteeritud hääli,

(kui ma õigesti aru sain?).

Jah, see on tõesti veel üks haavatavus.

Keskendusime häälte lugemise serverile,

sest see oli meie arvates kõige huvitavam

variant sellisest ründest, aga on muidki

kohti, mis on potentsiaalselt ahvatlevad,

sealhulgas ka see.

Arvan, et see jätaks rohkem asitõendeid.

Teame ka, et kliendiga suhtlevad serverid,

mida kasutati 2013. aastal,

olid haavatavad Heartbleedi turvaaugust,

mis avastati alles mitmeid kuid hiljem.

Ma kahtlustan, et need olid haavatavad

ka Shellshocki turvaaugu poolt.

See on tõesti probleem,

kui sellist süsteemi luua,

ükskõik kui ettevaatlik sa oled.

Küsimus number kolmelt, palun!

Jah! Minu küsimus on, kas toimus ka

häälte lugemise serveri testimist?

Ma kujutan ette, et näiteks saab

teha suure kuhja DVD-sid,

kus peal teada olevad hääled,

ja siis lasta need süsteemist läbi.

Võibolla isegi valimispäeval võiks öelda,

et siin on 10 DVD-d tõeliste häältega,

ja neid juhuslikus järjekorras mitu korda

läbi lasta ja kontrollida -

kui kõik näidis DVD-d summeeruvad õigesti

igas järjekorras, siis peaks ka õiged

hääled olema korras. Midagi sellist...

Nad ei kasuta selliseid protseduure.

Arvan, et nad mõtlevad selle lisamisele.

Aga siin tulevad mängu nüansid.

Kui sa ehitad sellist asja, pead tagama,

et pahavara ei suudaks kuidagi tuvastada,

kas käib audit või õige häältelugemine.

Sest kõrvalkanalitega või salamärguandega

saab panna näidisfailidesse signaali,

mis paneb serveri neid õigesti lugema.

Seega pead olema väga hoolikas sellise

süsteemi kavandamisel.

Minu mure pole mitte niivõrd selles,

et mõnda probleemi ei saakski kõrvaldada.

Aga kõrvaldades need kõik perfektselt,

saame tulemuseks süsteemi, mida on liiga

keeruline juhtida ja administreerida.

Tulemus oleks Rube Goldbergi süsteem.

Usun, et nende süsteem ongi selline,

nagu see on, kuna vajati kompromisse,

et süsteem ehitada piisavalt odavalt

ja piisavalt lihtsalt kasutatavaks.

Me võime igat komponenti parandada,

kuid kõigi aukude sulgemine tundub

äärmiselt keeruline, vähemalt minule.

Küsimus number neljalt, palun!

Tänan väga ettekande eest!

See oli väga inspireeriv!

Tahtsin küsida, mida te arvate sellest,

kas sellised süsteemid võivad kunagi

areneda piisavalt turvaliseks, sest näen,

et turbevaldkonnas toimuvad arengud on

alati põhjustatud häkkerite poolt?

Mitte ainult, kuid nii,

nagu turvaaukude lappimine toimub

alles pärast nende avastamist,

on see võistlus kahe poole vahel,

mis paneb süsteemi arenema.

Jah! See on hea küsimus!

See on paljutõotav uurimisvaldkond -

niinimetatud "otsast otsani valija poolt
kontrollitav valimine",

mis põhineb keerukal krüptograafial.

Idee seisneb selles,

et on vaja süsteemi, mis tagaks,

et sinu hääl oleks antud nii,
nagu sa soovisid,

et see oleks registreeritud sellisena,
nagu see anti,

et kõik hääled oleks loetud,
nagu need anti,

ja et iga valija saaks seda kinnitada.

Üks viis selle saavutamiseks on avaldada

ajalehes kõigi nimed ja tehtud valikud.

Õigus? Aga loomulikult me ei taha seda,

see poleks salajane hääletamine.

Kuid mõnede keerukamate krüptoversioonide

kasutamisega võime ka seda saavutada,
uskuge või mitte.

See on tõesti loogikavastane,

et sul võivad olla kõik need omadused.

Sellised süsteemid on arenduses,

ja kui oled huvitatud nende häkkimisest

ja nende paremaks tegemisest,

siis tuleks alustada nendega tutvumisest.

Kuid nende aeg pole veel tulnud -

on palju küsitavusi kasutatavuse,

protokollide turvalisuse,

rakendamise keerukuse

ja riigi tasandil toimivuse osas.

Seega on uuringutest tulenevalt lootust,

kuid arvan, et kulub veel aastakümneid,

ja seda juhul, kui asjad lähevad hästi,

enne kui saabub nende õige aeg.

See oli siiski hea küsimus!

Kas võin vahele küsida lühikese küsimuse?

Kuidas teie arvates peaksid lõppkasutajad

üldse saama selliseid süsteeme usaldada,

kui nad pole arendajad, nagu meie siin?

Neil pole võimalust kontrollida,

et ei toimu pettust.

See on tõeliselt avatud küsimus.

Ainuüksi Ameerika kontekstile mõeldes

ma ei tea, kuidas reageeriks valijad, kui

nende lemmikraadio Bandit ütleks eetris,
et "Valimised oli pettus!",

ja mingi nohikust krüptograaf oponeerib,

et "Ei olnud!", ja, et ta võib seda
tõestada, sest "Selle süsteemi mingi
veider omadus kinnitab seda..."

Ja teate, minu arvates ei oska me

seda probleemi veel lahendada.

Mõistliku usalduse tagamine on suureks

väljakutseks igale valimistehnoloogiale.

Suur tänu!

Tänan sind!

Number ühel on küsimus!

Kui need kiipkaardid allkirjastavad TLS

teatisi ja dokumente nõudmise peale,

kas nad on tõesti kindlad, et ükski TLS

käepigistus või dokument ei pääse läbi

krüpteeritud valimissedeli pähe?

On erinevad võtmed autentimiseks

ja allkirjastamiseks, ja loodetavasti on

nad mõelnud sellisele rünnakule,

aga see on huvitav küsimus, Adam.

Me ei uurinud seda. Tegelikult ütlesime,

et avaliku võtme infrastruktuuri

turvalisus oli väljaspool uuringu skoopi.

Kuid Tarvi Martens on ka Eesti avaliku

võtme infrastruktuuri isa, seega võid

temaga selle juurutamise ja kasutamise
turvalisusest rääkida.

Mulle näib, et ta ei pruugi olla sellele

küsimusele täiesti avatud, aga tänan!

Number viiel on küsimus!

Hüva, see on midagi sarnast.

Isegi kui oleks märkimisväärseid

edasiminekuid krüptograafias, siis

kuidas saaks kodanikud olla süsteemis

kindlad, kui nad ei ole krüptograafid,

kes oskaks ise kontrollida?

Ja teine asi, kui me olime lapsed,

räägiti, et meil on demokraatia,

kuid kui sa kasvad suureks, siis mõistad,

et on palju kallutatud tulemusi,

mõned hääled loevad rohkem kui teised,

ja sa pead olema poliitikateadlane,

et mõista, kuidas hääli loetakse,

ja sa pead olema krüptograaf,

et mõista, et ülelugemine oli täpne.

Kas leidub mõni inimene,

kellel on kogu see teadmine olemas?

Ma tean, ma tean! Need on väga keerulised

küsimused ja mul pole neile vastuseid.

Võin öelda, et minu lühiarvamus on,

et valijad peaks saama valimistulemusi

usaldada ilma vajaduseta usaldada

valimisametnikke või mõnd spetsiaalset

inimrühma, sealhulgas nohikud,

krüptograafid või poliitikateadlased.

Igaüks peaks saama koos sõprade, rühma,

klubi või oma erakonnaga minna

valimisprotsessi vaatlema ja veenduda.

See peaks olema selliselt kavandatud.

Ma tean, et see on probleem ja tegelikult

saame mitmel moel tehnoloogiat kasutada,

et anda inimestele võimalus usalduse
suurenemiseks,

sealhulgas kontrollides elektrooniliselt
pabervalimisi.

On tehtud märkimisväärne hulk uurimusi

sel teemal, mis seda võimaldaks -

ilma arenenud tehnoloogiata,

ilma arenenud krüptograafiata,

palja statistika abil anda lisakindlust,

et valimistulemus on õige.

Seega on asju,

mida me saame teha tehnoloogiaga,

kuid mul ei ole kõiki vastuseid.

Number kaks, palun!

Tere! Ma tahaksin küsida,

kas te olete kursis sellega,

kuidas Bitcoin toimib?

Kas olete kaalunud sellist krüpteerimise

ja dekrüpteerimise mehhanismi kasutamist
e-valimiste puhul?

Mõned inimesed on rääkinud valimisskeemi

rajamist mõnele Bitcoini protokolli
variandile.

Minu arvates on see huvitav mõte.

Ma ei tea, kas me tahame usaldada

riiklike valimiste tulemust isegi

Bitcoini ökosüsteemile, sest võib olla,

et USA presidendivalimiste tulemus

on rohkem väärt kui Bitcoini majandus?

Ma ei tea veel, on see tõsi või mitte,

kuid see on midagi, millele mõelda.

Igatahes ma arvan,

et jaotatud avalik arvepidamine,

mida Bitcoin kasutab,

on potentsiaalselt väga huvitav idee

tuleviku valimiste jaoks,

kuid see tundub üsna kaugena,

võrreldes tänase seisuga.

Veelkord number kaks, palun!

Te leidsite üsna palju

erinevaid probleeme nende

valimissüsteemi juures.

Kas te hindaksite, mis osas on need üsna

lihtsalt parandatavad, ja mis osas pigem

sellele süsteemile sünnipäraselt omased,

ja mille kõrvaldamiseks on vaja suuremat

kogu süsteemi ümberkorraldamist?

Need sünnipärased asjad kõigi selliste

süsteemide puhul on, et need põhinevad

mingi masinas jooksva koodi korrektsele

ja turvalisele toimimisele, mida valijad

ei näe, ning häältele, mida sa ei saa

oma silmaga või käega kontrollida, sest

neid töödeldakse salajas arvuti poolt.

See musta kasti omadus on miskit,

mis viib väite juurde, et kui see arvuti

on kuidagi kompromiteeritud, näiteks

läbi tarneahela rünnaku või pahavara,

mis tuleb sisse usalduse usaldamise

mõtiskluse stiilis rünnakuga,

võib see viia valimistulemuste
kompromiteerimiseni.

Ja seda on raske parandada.

See on see asi, mida otsast otsani

valija poolt kontrollitav krüptograafia

püüab kunagi parandada.

Väikesed asjad, turvaaugud,

käsureale süstimine...

Jah, need on lahendamiseks
lihtsad probleemid,

kuid reaalselt, kui sa valimisi korraldad

ja suur turvaauk leidub tarkvarapaketis,

millele sinu süsteem toetub,

ja mis lapiti eelmisel öösel,

ja sul pole aega, et teha teste

ja auditeerida kogu koodi,

siis oled valiku ees, kas pakkuda midagi,

mida pole testitud või pakkuda midagi,

milles on teadaolevaid turvaauke.

Ma ei tea, kuidas meie turvapaikade

välja andmise tsükliga turvamaailmas

selliste probleemidega hakkama saada.

Ma arvan, et see on midagi, kus me tõesti

vajame fundamentaalseid edusamme viisis,

kuidas me käitume arvutiturbega,

enne kui me saame sellele hea lahenduse.

Seega põhimõtteliselt te ütlete,

et pole lootustki,

et sellist süsteemi saaks olla,

ja et paber ja pliiats on ikka paremad,

kui asi puudutab valimistelt

nõutud omaduste täitmist?

Paberil ja pliiatsil on väga tore omadus:

valijana saad veenduda, kuidas su valik

registreeriti, ja teised inimesed saavad

jälgida häälte lugemise protsessi.

Meil on sadade aastate pikkune kogemus
pabervalimiste pettustega,

seega ma ei ütle, et tehnoloogia ei saaks

midagi teha olukorra parandamiseks.

Me saame seda teha, kuid ma arvan,

et kõige paljulubavamad viisid

pabervalimiste parandamiseks

ei alusta paberi ära viskamisest.

Need algavad paberiga, ja siis

lisavad mõned muud tehnoloogiad,

mis suudaks jälgida, salvestada,

aidata seda paberit auditeerida,

et tagada tulemuste usaldusväärsus.

Tänan!

Seega veel kaks või kolm küsimust!

Number kuus, palun!

Kas te arvate,

et oleks võimalik kavandada süsteemi,

mis garanteeriks nii häälte tervikluse

kui ka anonüümsuse, sest ma arvan,

et need kaks ei sobi üldse kokku?

Kindlasti on need vastuolus!

Need otsast otsani kontrollitavad

krüptosüsteemid püüavadki seda teha,

kuid nagu ma ütlesin,

on neil muid probleeme - kasutatavuse ja

rakendamisega, mis pole veel lahendatud.

See on kindlasti eesmärk, kuid see teeb

sellest keerulise probleemi, ja ma arvan,

et see on midagi sellist,

mida me kõik tahaks suuta ehitada.

Me ei tea, kuidas seda suurel skaalal
praktikas teha.

Me töötame selle kallal,

kuid see pole garantii, et me kunagi need

probleemid mugavalt lahendame.

Ma tahaks vaid vahele teha kiire

ja häbematu reklaami oma tudengite ja

kolleegide ettekannetele muudel teemadel,
millega me tegeleme.

Muuseas saate kuulata, kuidas me kasutame

ZMap skännimise tööriista, mille tegime,
et uurida Heartbleedi.

Kuidas ostsime eBayst TSA alastiskänneri

ja avastasime ründevõimalusi selle vastu.

Ja kuidas ehitame koos EFF-i ja Mozillaga

tasuta sertifitseerimisasutust, millest

saaks meie katse veebi krüpteerimiseks.

See oli häbematu reklaam, tänan,
et jäite seda kuulama!

(aplaus)

Number üks, palun!

Ma tahan Teid tänada ettekande eest,

aga ka oma uuringu internetis tasuta

Coursera kursusena "Turvalisuse vajadus

digitaalses demokraatias" jagamise eest!

Seega ma tean, et te ei taha ise omale

reklaami teha ja ma teen seda teie eest.

Nüüd, et teha sellest küsimus, siis

kas on sellele tulemas ka järge?

Hästi! Tänan väga! Jah, teen ikka,

kui olete huvitatud rohkem teada saama.

Mul on tasuta 5-nädalane võrgukursus

digitaalsest valimistehnoloogiast
saadaval Courseras.

See on tasuta ja toimub varsti uuesti.

Tegelikult tegelen praegu sellega,

et lasta see välja internetitöövihikuna,

kus on võimalik lihtsalt minna ja

vaadata videoloenguid omas tempos,

seega kui sa tahad näha 10 loengulist

varianti sellest ettekandest,

siis võid selle leida Courserast

või leida lingi sellele minu kodulehelt.

Tänan väga, et selle üles tõstsid!

Tänan teid kõiki!

(aplaus)

Enne viimase küsimuseni jõudmist number

neljalt, tahaksin meenutada, et palun

võtke lahkumisel kaasa oma prügi,

ja et te võite tulla ja ettekandjale

küsimusi esitada ka pärastpoole.

Seega, palun, number neli!

Minu arusaam demokraatlikest valimistest on,

et need peavad olema vabad ja privaatsed,

ning isegi kui kõik need probleemid,

mida te mainisite, lahendatakse, kas

ei jää ikkagi probleemid seoses sellega,

et kodus valimine ei taga neid printsiipe?

Kujutage ette, et üks pereliige

sunnib teisi pereliikmeid valima nii,
nagu ta tahab,

sest nad ei saa valida omaette kabiinis.

Ma nõustun teiega täielikult!

See on väga-väga raske probleem,

kuidas tagada valijale turvaline

ja survestamisvaba keskkond,

kui nad valivad eemalt,

üle interneti. Seega tõesti võib vabalt

ette kujutada abikaasat või tööandjat

kedagi survestamas valima kindlal viisil.

Ja Eesti lähenemine sellele probleemile

on huvitav - lasta isikul anda uus hääl,

mis teeb survestamise küll raskemaks,

kuid ei välista seda.

Näiteks survestaja võib isiku ID-kaardi

ära võtta, kuni valimised on möödas,

et takistada tal uuesti hääletada.

Ta võib viimse minutini oodata ja sundida

vahetult valimiste lõpu eel ümber valima.

Ma usun, et see on üks raske probleem,

ja see on üks kompromissidest,

mis tuleb demokraatiapõhimõtetega teha,

kui me otsustame,

et internetivalimised on see tee,

kuhu me tahame minna.

Võib-olla on tehnoloogilisi lähenemisi,

mis võivad seda püüda parandada,

kuid ma pole selles väga kindel.

Ma arvan, et see on avatud probleem.

Vastus on arvatavasti selles,

et survestamise oht on lihtsalt see,

mis saadakse vastu mugavuse eest,

mille annab internetis hääletamine.

Tänan teid!

Tänan teid väga!

Tänan! Aplausiraund veel kord, palun!

Tänan! Tänan!

(aplaus)

Eestikeelsed subtiitrid tõlkis ja lisas Sulev Švilponis

subtitles created by c3subtitles.de
in the year 2017. Join, and help us!