Rozhodovat o zabití by neměl robot
-
0:01 - 0:04Píšu sci-fi thrillery,
-
0:04 - 0:06takže když řeknu „robot-zabiják“,
-
0:06 - 0:08pravděpodobně si představíte něco takového.
-
0:08 - 0:11Teď tu ale nechci mluvit o literatuře.
-
0:11 - 0:14Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích,
-
0:14 - 0:17o autonomních bojových letounech.
-
0:17 - 0:21Nemyslím tím teď letadla Predator a Reaper,
-
0:21 - 0:24u kterých je to vždy člověk, kdo rozhoduje o určení cíle.
-
0:24 - 0:27Mluvím o plně autonomních robotických zbraních,
-
0:27 - 0:30které rozhodují o smrti lidských bytostí
-
0:30 - 0:32zcela samy za sebe.
-
0:32 - 0:36Dokonce pro to existuje technický pojem: smrtící autonomie.
-
0:36 - 0:39Tito smrtící autonomní roboti-zabijáci
-
0:39 - 0:42mají mnoho podob -- létajicí, jezdicí,
-
0:42 - 0:45anebo pouze ležicí a čekajicí.
-
0:45 - 0:48Popravdě řečeno, velice rychle se stávají realitou.
-
0:48 - 0:50Toto jsou dva automatické odstřelovací moduly
-
0:50 - 0:55momentálně nasazené v zóně mezi Severní a Jižní Koreou.
-
0:55 - 0:57Oba tyto stroje jsou schopny automaticky
-
0:57 - 1:00rozpoznat lidský cíl a vypálit na něj,
-
1:00 - 1:05ta vlevo na vzdálenost před jeden kilometr.
-
1:05 - 1:08Zatím je v obou případech stále přítomen člověk,
-
1:08 - 1:10který činí rozhodnutí o smrtícím výstřelu,
-
1:10 - 1:16to však není technologická nutnost. To je jen volba.
-
1:16 - 1:19Na tuto volbu bych se chtěl zaměřit,
-
1:19 - 1:22protože jakmile přesuneme rozhodování o usmrcení
-
1:22 - 1:25z lidí na software,
-
1:25 - 1:28riskujeme nejen ztrátu lidského prvku z války,
-
1:28 - 1:32ale rovněž kompletní změnu naší společnosti,
-
1:32 - 1:34daleko od bitevních polí.
-
1:34 - 1:38Protože to, jak lidé řeší vzájemné konflikty,
-
1:38 - 1:40formuje celkovou podobu společnosti.
-
1:40 - 1:43Tak tomu bylo vždycky v průběhu celé historie.
-
1:43 - 1:46Toto byly špičkové vojenské systémy
-
1:46 - 1:48patnáctého století.
-
1:48 - 1:51Byly velice náročné jak na vybudování, tak i na údržbu,
-
1:51 - 1:54ale mohli jste s nimi vládnout obyvatelstvu,
-
1:54 - 1:58což reflektovalo rozložení politické síly ve feudální společnosti.
-
1:58 - 2:01Moc byla soustředěna na samém vrcholku.
-
2:01 - 2:04Co se změnilo? Technologické inovace.
-
2:04 - 2:06Střelný prach, děla.
-
2:06 - 2:10Brzy bylo brnění i hrady zbytečné,
-
2:10 - 2:12a přestalo záležet na tom, koho jste vedli do bitvy,
-
2:12 - 2:16v porovnání s tím, kolik lidí jste tam vedli.
-
2:16 - 2:20A jak rostly armády co do počtu, začal vznikat národní stát,
-
2:20 - 2:23jako politická a logistická jednotka, nutná k obraně.
-
2:23 - 2:26A jak vůdcové začínali více záviset na obyvatelstvu,
-
2:26 - 2:28začali se dělit o moc.
-
2:28 - 2:30Začala vznikat zastupitelská forma vlády.
-
2:30 - 2:33Opět nástroje, kterými řešíme konflikt,
-
2:33 - 2:37utvářejí podobu společnosti.
-
2:37 - 2:41Automatické robotické zbraně jsou takovými nástroji,
-
2:41 - 2:46s tím, že jak velice málo lidí najednou musí jít do války,
-
2:46 - 2:51riskujeme přerozdělení moci do několika málo rukou,
-
2:51 - 2:57a potenciálně obracíme pětisetletý trend,
který vedl k demokracii. -
2:57 - 2:59Pokud toto víme,
-
2:59 - 3:03můžeme podniknout rozhodující kroky k uchování demokratických institucí tím,
-
3:03 - 3:07co lidé umí nejlépe: přizpůsobením se.
-
3:07 - 3:09Ale i čas zde hraje roli.
-
3:09 - 3:12Už sedmdesát národů vyvíjí na dálku ovládané
-
3:12 - 3:14bojové letouny,
-
3:14 - 3:17a jak uvidíte, dálkově ovládané bojové letouny
-
3:17 - 3:22jsou jen předchůdci autonomních robotických zbraní.
-
3:22 - 3:24A to proto, že jakmile jste nasadili dálkově ovládané letouny,
-
3:24 - 3:28dostanete se ke třem faktorům, které tlačí rozhodování
-
3:28 - 3:32směrem od lidí přímo ke zbraňovému systému jako takovému.
-
3:32 - 3:38Prvním je záplava videomateriálu, které letouny produkují.
-
3:38 - 3:41V roce 2004 to v USA bylo celkem
-
3:41 - 3:4771 hodin dokumentační stopáže určené k analýze.
-
3:47 - 3:51Do roku 2011 se toto číslo zvedlo na 300 000 hodin,
-
3:51 - 3:54čímž byla překročena lidská schopnost vše revidovat,
-
3:54 - 3:58ale i toto číslo dále drasticky poroste.
-
3:58 - 4:01Vojenské programy Gorgon Stare a Argus plánují
-
4:01 - 4:04osadit na každou létající platformu
-
4:04 - 4:06až 65 samostatných očí,
-
4:06 - 4:09což znamená naprosté překročení možnosti lidského dohledu.
-
4:09 - 4:11A tedy bude třeba zavést umělou inteligenci,
-
4:11 - 4:15která bude sama hledat objekty zájmu.
-
4:15 - 4:17Tím pádem velice brzy
-
4:17 - 4:19budou roboti lidem říkat, na co se mají podívat,
-
4:19 - 4:22nikoli naopak.
-
4:22 - 4:24Je tu ale i druhá silná motivace pro to,
-
4:24 - 4:28aby se rozhodování přesunulo od lidí ke strojům,
-
4:28 - 4:31a tím je elektromagnetické zahlcení,
-
4:31 - 4:33které naruší komunikaci mezi letounem
-
4:33 - 4:36a jeho operátorem.
-
4:36 - 4:38To jsme mohli vidět například v roce 2011,
-
4:38 - 4:41kdy se americký letoun RQ-170 Sentinel
-
4:41 - 4:46nechal zmást nad Iránem kvůli útoku cílenému na GPS,
-
4:46 - 4:51k čemuž je náchylný každý dálkově ovládaný letoun,
-
4:51 - 4:53a to znamená, že roboti
-
4:53 - 4:56budou muset sami unést větší díl samostatného rozhodování.
-
4:56 - 4:59Budou znát cíl své mise
-
4:59 - 5:04a na nové okolnosti budou reagovat bez lidského vedení.
-
5:04 - 5:07Budou ignorovat externí radiové signály
-
5:07 - 5:09a vysílat jen velice málo vlastních.
-
5:09 - 5:11Což nás přivádí ke třetí
-
5:11 - 5:15a nejsilnějí motivaci, k tomu, aby bylo rozhodování
-
5:15 - 5:18přesunuto od lidí směrem ke zbraním:
-
5:18 - 5:22přesvědčivé zapírání.
-
5:22 - 5:25Žijeme teď v rámci globální ekonomiky.
-
5:25 - 5:29Na téměř každém kontinentě máme hi-tech strojírenství.
-
5:29 - 5:32Kybernetická špionáž je schopna získat pokročilé plány
-
5:32 - 5:34a přesunout je kdovíkam,
-
5:34 - 5:36kde je velice pravděpodobné,
-
5:36 - 5:40že z úspěšného plánu letounu vznikne skutečný model
-
5:40 - 5:43a začne se množit díky šedému trhu.
-
5:43 - 5:45V takové situaci, kdy budete vyšetřovat trosky
-
5:45 - 5:48po sebevražedném robotickém útoku, bude velice těžké říct,
-
5:48 - 5:52kdo tu zbraň poslal.
-
5:52 - 5:55Tím ale vzniká velice reálná možnost
-
5:55 - 5:58anonymní války.
-
5:58 - 6:01Tím by se geopolitická rovnováha mohla obrátit na hlavu,
-
6:01 - 6:04protože by se stát jen velice těžko mohl obrátit
-
6:04 - 6:07proti útočníkovi, a tím by se rovnováha
-
6:07 - 6:1121. století přesunula od obrany k útoku.
-
6:11 - 6:14Vojenské akce by se tím mohly stát možným řešením
-
6:14 - 6:16nejen pro malé národy,
-
6:16 - 6:19ale i pro zločinecké organizace, soukromé podniky,
-
6:19 - 6:21a dokonce i mocné jednotlivce.
-
6:21 - 6:25Mohlo by vzniknout prostředí soupeřících oligarchů,
-
6:25 - 6:28podkopávající autoritu zákona a občanskou společnost.
-
6:28 - 6:32Pokud jsou odpovědnost a transparentnost
-
6:32 - 6:34dvěma úhelnými kameny zastupitelské demokracie,
-
6:34 - 6:39autonomní robotické zbraně mohou ohrozit obojí.
-
6:39 - 6:40Možná byste si řekli,
-
6:40 - 6:42že občané technicky vysoce vyspělých zemí
-
6:42 - 6:45by v každé robotické válce měli výhodu,
-
6:45 - 6:49že by lidé v těchto zemích byli méně zranitelní,
-
6:49 - 6:53zejména v porovnání s rozvojovými zeměmi.
-
6:53 - 6:57Myslím, že přesný opak je pravdou.
-
6:57 - 6:59Domnívám se, že lidé v technologických společnostech
-
6:59 - 7:03jsou mnohem zranitelnější při útoku robotickými zbraněmi,
-
7:03 - 7:07a to z jednoho prostého důvodu: kvůli datům.
-
7:07 - 7:11Technologické společnosti jsou řízeny daty.
-
7:11 - 7:14Geolokace mobilních telefonů, telekomunikační metadata,
-
7:14 - 7:17sociální média, e-mail, sms, data o finančních transakcích,
-
7:17 - 7:21údaje o přepravě - to je velké bohatství dat v reálném čase,
-
7:21 - 7:24odhalujících pohyb a sociální interakce lidí.
-
7:24 - 7:28Zkrátka jsme pro stroje viditelní
-
7:28 - 7:30více než kdokoli v historii,
-
7:30 - 7:36a to skvěle vyhovuje potřebám autonomních zbraní.
-
7:36 - 7:37Tady vidíte mapu vazeb
-
7:37 - 7:41v rámci sociální skupiny.
-
7:41 - 7:44Čáry představují společenskou vazbu mezi jednotlivci.
-
7:44 - 7:47Tento typ map může být automaticky generován
-
7:47 - 7:52na základě datové stopy, kterou za sebou moderní lidé zanechávají.
-
7:52 - 7:54Momentálně se typicky využívá při propagaci zboží a služeb
-
7:54 - 7:59vybrané cílové skupině, ale tady jde o cílení
-
7:59 - 8:02v jiném kontextu.
-
8:02 - 8:05Vidíte, že někteří lidé jsou zvýrazněni.
-
8:05 - 8:08To jsou svorníky sociálních sítí.
-
8:08 - 8:12Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby,
-
8:12 - 8:14a tito lidé mohou být také automaticky identifikováni
-
8:14 - 8:17ze svých komunikačních vzorců.
-
8:17 - 8:19Pokud pracujete v marketingu, zaměříte se na ně
-
8:19 - 8:21se vzorky produktů ve snaze šířit svoji značku
-
8:21 - 8:24v jejich sociální skupině.
-
8:24 - 8:26Pokud ovšem jste represivní vláda,
-
8:26 - 8:31která vyhledává své politické nepřátele, prostě je odstraníte,
-
8:31 - 8:34eliminujete, narušíte jejich sociální skupinu,
-
8:34 - 8:37a ti, kteří zbydou, ztratí vzájemné spojení
-
8:37 - 8:39a organizovanost.
-
8:39 - 8:43Ve světě levných, množících se robotických zbraní,
-
8:43 - 8:45nebudou už hranice poskytovat skoro žádnou ochranu
-
8:45 - 8:47kritikům vzdálených vlád
-
8:47 - 8:51nebo mezinárodních zločineckých organizací.
-
8:51 - 8:55Všeobecná hnutí volající po změně
-
8:55 - 8:58mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve,
-
8:58 - 9:01než jejich myšlenky dosáhnou kritického množství.
-
9:01 - 9:04Přitom myšlenky dosahující kritického rozšíření
-
9:04 - 9:08jsou to, na čem stojí politický aktivismus běžných vlád.
-
9:08 - 9:12Anonymní smrtící zbraně by mohly učinit z usmrcování
-
9:12 - 9:15příliš snadnou volbu k řešení rozdílných zájmů.
-
9:15 - 9:19To by zmrazilo svobodu projevu
-
9:19 - 9:24a obecné politické aktivity, které jsou srdcem demokracie.
-
9:24 - 9:27Proto potřebujeme mezinárodní smlouvu
-
9:27 - 9:31o robotických zbraních a zejména globální zákaz
-
9:31 - 9:35vývoje a nasazení robotů-zabijáků.
-
9:35 - 9:38Už máme mezinárodní smlouvy
-
9:38 - 9:41o jaderných a biologických zbraních, které zatím, ač nedokonalé,
-
9:41 - 9:44v obecném měřítku fungují.
-
9:44 - 9:47Ale robotické zbraně mohou být úplně stejně nebezpečné,
-
9:47 - 9:51protože budou zcela jistě používány
-
9:51 - 9:56a budou rozkládat základy demokratických institucí.
-
9:56 - 9:59V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických
-
9:59 - 10:02direktivu, která nařizuje,
-
10:02 - 10:06aby v každém smrtícím rozhodování byl přítomen člověk.
-
10:06 - 10:11Tím jsou dočasně zakázány autonomní zbraně v armádě USA,
-
10:11 - 10:15ale tato direktiva se musí stát trvalou.
-
10:15 - 10:19Mohla by zároveň být základem pro globální jednání.
-
10:19 - 10:23Protože potřebujeme mezinárodní právní rámec
-
10:23 - 10:25pro robotické zbraně.
-
10:25 - 10:28A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku
-
10:28 - 10:31nebo k teroristické akci, po které budou státy
-
10:31 - 10:33urychleně nasazovat tyto zbraně,
-
10:33 - 10:37bez toho, aby se nejdříve promyslely následky.
-
10:37 - 10:40Autonomní robotické zbraně soustřeďují příliš mnoho moci
-
10:40 - 10:46v příliš málo rukách, čímž ohrožují samotnou demokracii.
-
10:46 - 10:49Nechápejte mě špatně, myslím, že je stále mnoho skvělého
-
10:49 - 10:51využití pro neozbrojené civilní roboty:
-
10:51 - 10:55monitorování prostředí, pátrání a zachraňování, logistika.
-
10:55 - 10:58Budeme-li mít mezinárodní smlouvu o robotických zbraních,
-
10:58 - 11:02jak získáme výhody, které nabízí autonomní letouny
-
11:02 - 11:04a vozidla, abychom ale byli stále chráněni
-
11:04 - 11:08před ilegálními robotickými zbraněmi?
-
11:08 - 11:13Myslím, že tajemstvím úspěchu bude transparentnost.
-
11:13 - 11:16Žádný robot by neměl mít právo na soukromí,
-
11:16 - 11:20pokud se pohybuje ve společnosti.
-
11:20 - 11:25(Potlesk)
-
11:25 - 11:27Každý robot nebo letoun by měl mít
-
11:27 - 11:30kódované identifikační označení, vypálené v továrně,
-
11:30 - 11:33které by ho umožnilo sledovat ve veřejných prostorách.
-
11:33 - 11:36Už máme SPZ na autech, registrační značky na letadlech.
-
11:36 - 11:38Tohle není nic jiného.
-
11:38 - 11:40Každý občan by měl mít právo stáhnout si aplikaci,
-
11:40 - 11:43která by mu ukázala populaci robotů pohybujících se
-
11:43 - 11:45ve veřejných prostorách okolo něj,
-
11:45 - 11:48jak v současnosti, tak v minulosti.
-
11:48 - 11:52A veřejní činitelé by měli nasadit senzory a civilní roboty,
-
11:52 - 11:54které by odhalovaly robotické škůdce,
-
11:54 - 11:57a místo posílání vlastních bojovníků k jejich likvidaci,
-
11:57 - 12:00by prostě upozornili lidi na jejich přítomnost.
-
12:00 - 12:03V některých oblastech se zvýšenou bezpečností
-
12:03 - 12:05by je mohli civilní roboti polapit
-
12:05 - 12:07a odvléci na místo bezpečné likvidace.
-
12:07 - 12:11Tady jde ale více o systém imunitní
-
12:11 - 12:12než zbraňový.
-
12:12 - 12:14Umožnilo by nám to využít výhod
-
12:14 - 12:16autonomních vozidel a letounů,
-
12:16 - 12:21a přitom si uchovat otevřenou občanskou společnost.
-
12:21 - 12:24Musíme zakázat vývoj a nasazování
-
12:24 - 12:26robotů-zabijáků.
-
12:26 - 12:30Nepodlehněme pokušení automatizovat války.
-
12:30 - 12:33Autokratické vlády a zločinecké organizace
-
12:33 - 12:36se o to nepochybně pokusí, ale nenásledujme je.
-
12:36 - 12:38Autonomní robotické zbraně
-
12:38 - 12:40by soustředily příliš velkou sílu
-
12:40 - 12:43v několika málo skrytých rukách,
-
12:43 - 12:46což by podkopalo zastupitelskou demokracii.
-
12:46 - 12:49Zajistěme, alespoň v demokratických režimech,
-
12:49 - 12:51že roboti-zabijáci zůstanou fikcí.
-
12:51 - 12:52Děkuji.
-
12:52 - 12:57(Potlesk)
-
12:57 - 13:02Děkuji. (Potlesk)
- Title:
- Rozhodovat o zabití by neměl robot
- Speaker:
- Daniel Suarez
- Description:
-
Spisovatel Daniel Suarez tvoří dystopické příběhy z budoucnosti. Na pódiu TEDGlobal však popisuje scénář z reálného světa, o kterém všichni musíme vědět víc: vzestup autonomních robotických zbraní. Naznačuje, že sofistikované letouny, automatizované zbraně a nástroje na shromažďování dat řízené umělou inteligencí by mohly sebrat lidem možnost rozhodovat o válce.
- Video Language:
- English
- Team:
- closed TED
- Project:
- TEDTalks
- Duration:
- 13:20
Jakub Helcl edited Czech subtitles for The kill decision shouldn't belong to a robot | ||
Jakub Helcl edited Czech subtitles for The kill decision shouldn't belong to a robot | ||
Jakub Helcl approved Czech subtitles for The kill decision shouldn't belong to a robot | ||
Jakub Helcl edited Czech subtitles for The kill decision shouldn't belong to a robot | ||
Jakub Helcl edited Czech subtitles for The kill decision shouldn't belong to a robot | ||
Jakub Helcl edited Czech subtitles for The kill decision shouldn't belong to a robot | ||
Marek Vanžura accepted Czech subtitles for The kill decision shouldn't belong to a robot | ||
Marek Vanžura edited Czech subtitles for The kill decision shouldn't belong to a robot |