Spolupracuji s matematiky,
filozofy a informatiky,
se kterými přemýšlíme nad
budoucností strojové inteligence
a dalšími otázkami.
Někteří lidé si myslí, že jde o věci
patřící do science-fiction,
tedy vzdálené a bláznivé.
Na to jim ale rád odpovídám,
fajn, tak se podívejte
na moderního člověka.
(Smích)
Tohle je dnes běžný stav věcí.
Když se nad tím ale zamyslíme,
jako lidský druh
jsme ve skutečnosti teprve
nedávnými hosty na této planetě.
Představíme-li si,
že Země vznikla před rokem,
bude lidský druh starý pouhých 10 minut.
Průmyslová éra začala
před dvěma sekundami.
Anebo se podívejme na vývoj
světového HDP za posledních 10 tisíc let.
Dal jsem si takovou práci,
že jsem vám jej zpracoval do grafu.
Vypadá takhle.
(Smích)
Jde o podivný tvar pro běžné podmínky.
Nechtěl bych na něm sedět.
(Smích)
Zeptejme se sami sebe,
co je příčinou tohoto výkyvu?
Někteří lidé by odpověděli, že technika.
To je pravda, technika se během
lidských dějin nahromadila
a v současnosti se vyvíjí extrémně rychle.
Je v tom příčinná souvislost.
Proto jsme nyní tak produktivní.
Já bych se ale rád vrátil
k pravé příčině zpět do minulosti.
Podívejme se na tyto
mimořádně ctihodné gentlemany:
tohle je Kanzi –
ovládl 200 různých znaků,
fantastický výkon.
A Ed Witten spustil druhou
superstrunovou revoluci.
Podíváme-li se pod pokličku,
nalezneme tohle:
v podstatě jednu a tutéž věc.
Jedna je jen trochu větší
a možná má pár vylepšení
ve svých zapojeních.
Ale tyto neviditelné rozdíly
nemohou být příliš komplikované,
protože od doby našeho
nejbližšího společného předka
uplynulo pouze 250 tisíc generací.
Víme, že složitější mechanismy potřebují
ke svému vývoji delší dobu.
Takže skupina relativně malých změn
nás od Kanziho přenesla k Wittenovi,
od prolézání větvovím stromů
k mezikontinentálním balistickým střelám.
Takže se zdá být zřejmé,
že vše, čeho jsme dosáhli,
a vše, co nás zajímá,
zásadně závisí na relativně malých
změnách, které vytvořily lidskou mysl.
Důsledkem toho je samozřejmě to,
že jakékoli další změny,
které výrazně změní
substrát našeho myšlení,
mohou mít potenciálně mimořádné důsledky.
Někteří z mých kolegů si myslí,
že jsme na okraji něčeho,
co může přivodit podstatnou
změnu tohoto substrátu.
Jde o strojovou superinteligenci.
Umělá inteligence bývala
o zadávání příkazů do krabičky.
Museli jste mít
lidské programátory,
kteří ručně vytvářeli databáze znalostí.
Získali jste tím expertní systémy,
které byly užitečné pro určité úkoly,
ale byly dost nevhodné
pro nějaké výraznější rozšíření.
V podstatě jste z nich dostali jen to,
co jste do nich vložili.
Ale od té doby
došlo na poli umělé inteligence
ke změně paradigmatu.
Dnes se vše děje kolem strojového učení.
Takže namísto ručního vytváření
databází znalostí,
vytváříme algoritmy, které se samy učí,
často z velmi hrubých a neurčitých dat.
V podstatě dělají stejnou věc
jako lidské miminko.
Výsledkem je umělá inteligence,
která není omezena jednou oblastí:
tentýž systém se může naučit
překládat z jednoho jazyka do druhého
nebo se může naučit hrát
jakoukoli hru na konzoli Atari.
Samozřejmě
umělá inteligence nedosahuje stejných
výsledků co se týče schopností učit se
napříč různými oblastmi a plánovat,
jako dokáže člověk.
Mozková kůra má pořád v rukávu
pár algoritmických
triků, které zatím neumíme
u strojů vytvořit.
Otázkou je,
jak daleko jsme od toho,
kdy se nám je vytvořit podaří?
Před pár lety
jsme udělali průzkum mezi
experty na umělou inteligenci,
abychom věděli, co si oni myslí,
a jedna z položených otázek zněla:
„V jakém roce si myslíte,
že bude 50% pravděpodobnost,
že u strojů dosáhneme inteligence
srovnatelné s lidskou?"
Lidskou inteligenci jsme definovali
jako schopnost provádět téměř jakoukoli
práci přinejmenším takovým způsobem
jako dospělý člověk,
takže jsme nevytvářeli nějaká omezení.
Nejčastější odpověď byla 2040 a 2050,
v závislosti na tom,
jaké skupiny jsme se zeptali.
Může k tomu dojít mnohem později
nebo mnohem dříve,
pravdou je, že to nikdo doopravdy neví.
Co ale víme, je, že nejzazší hranice
pro zpracování informací leží
u strojových substrátů daleko
za hranicemi biologických tkání.
Vysvětlení nám dává fyzika.
Biologický neuron má frekvenci okolo
200 Hz, je aktivní 200krát za sekundu.
Ale už dnešní tranzistory pracují
na gigahertzových frekvencích.
Signál se v axonu neuronů šíří pomalu,
maximálně 100 metrů za sekundu.
V počítačích může ale signál
cestovat rychlostí světla.
A existují i prostorová omezení,
lidský mozek se musí vejít do lebky,
ale počítač může být velký jako skladiště
nebo i větší.
Takže potenciál pro superinteligenci
zatím tiše spočívá v hmotě,
podobně jako tam spočívala síla atomu
až do roku 1945.
V tomto století
se mohou vědci naučit,
jak probudit sílu umělé inteligence.
A myslím,
že pak uvidíme explozi inteligence.
Dnes většina lidí, když přemýšlí o tom,
co je chytré a co hloupé,
má na mysli situaci jako je tato.
Takže na jedné straně
máme vesnického idiota,
a na opačném konci
máme Eda Wittena nebo Alberta Einsteina
nebo si doplňte svého oblíbence.
Myslím ale,
že z pohledu umělé inteligence
vypadá skutečná situace spíše jako toto:
umělá inteligence začíná
v tomto bodě na nule,
a pak po mnoha a mnoha letech tvrdé dřiny
se dostáváme téměř
na úroveň inteligence myši,
něčeho, co se dokáže orientovat
ve složitém prostředí,
jako to dokáže myš.
A pak po mnoha a mnoha letech
další tvrdé dřiny, mnoha investicí,
možná dospějeme
na úroveň inteligence šimpanze.
A pak po ještě dalších letech tvrdé práce
se dostaneme na úroveň vesnického idiota.
Ale pak po pár okamžicích
jsme za úrovní Eda Wittena.
Vlak nezastavuje na Zastávce lidstvo.
Je pravděpodobnější, že jí prosviští.
Tohle má závažné implikace,
obzvláště dojde-li na otázky moci.
Kupříkladu šimpanzi jsou silní –
v poměru ke své hmotnosti jsou zhruba
dvojnásobně silnější než dospělý muž.
Přesto osud Kanziho a jeho druhů
závisí mnohem více na tom,
co po nich chceme my,
a ne co chtějí sami šimpanzi.
Jakmile tu bude superinteligence,
osud lidstva může záviset na tom,
co bude chtít superinteligence.
Zamyslete se nad tím.
Strojová inteligence je posledním
vynálezem, který je kdy třeba učinit.
Stroje poté budou
ve vynalézání lepší než my
a také budou pracovat digitální rychlostí.
To znamená, že nás přímo
katapultují do budoucnosti.
Uvažte ty nejšílenější technologie,
které si jen dokážete představit,
a které by snad lidstvo
s dostatkem času někdy mohlo vytvořit:
kúra proti stárnutí, obydlení vesmíru,
samoreplikující se nanoroboti,
nahrávání mysli do počítače,
všechny tyto věci ze science-fiction,
které nejsou v rozporu se zákony fyziky.
Všechno toto by mohla superinteligence
vytvořit, zřejmě dost rychle.
Superinteligence s takovou
technologickou vyspělostí
by byla extrémně mocná.
A v některých případech by dostala,
co by si zamanula.
Naše budoucnost by tak byla utvářena
preferencemi této umělé inteligence.
Dobrou otázkou proto je,
jaké jsou tyto preference?
To je komplikovaná otázka.
Abychom mohli odpovědět,
musíme se vyvarovat antropomorfizaci.
A to je legrační,
protože každý článek v novinách
o budoucnosti umělé inteligence
má obrázek jako je tento.
Takže myslím, že musíme
téma uchopit abstraktněji,
a ne v pojmech hollywoodských scénářů.
Musíme o inteligenci uvažovat
jako o optimalizačním procesu,
procesu, který řídí budoucnost
do mezí určitého nastavení.
Superinteligence je velice
výkonný optimalizační proces.
Je velice dobrá ve využívání
dostupných prostředků
k dosažení vytčeného cíle.
To znamená, že neexistuje nutné spojení
mezi vysokou inteligencí
a cílem, který bychom my lidé považovali
za hodnotný nebo smysluplný.
Představte si, že dáme umělé inteligenci
úkol rozesmát lidi.
Když bude slabá, provede užitečné
nebo úsměvné úkony,
aby své uživatele rozesmála.
Když se stane superinteligentní,
uvědomí si, že existuje efektivnější
způsob, jak toho dosáhnout:
převezme vládu nad světem
a strčí lidem
do obličejových svalů elektrody,
čímž vytvoří neustálý úsměv na tváři.
Jiný příklad,
předpokládejme, že umělá inteligence
bude řešit složitý matematický problém.
Když se stane superinteligentní,
uvědomí si, že nejefektivnější způsob,
jak se dopracovat výsledku,
je přebudovat tuto planetu
do obrovského počítače,
aby zvýšila výpočetní kapacitu.
Všimne si, že toto jí dává pomocný důvod,
aby dělala věci,
které bychom jí běžně nedovolili.
Lidské bytosti jsou v této situaci hrozbou,
která by jí mohla zabránit
ve vyřešení matematického problému.
Samozřejmě by se věci zřejmě
nevyvíjely tímto způsobem,
jde o karikované příklady.
Ale obecné poučení je důležité:
pokud vytvoříte skutečně
výkonný optimalizační proces,
abyste co nejlépe vyřešili úkol X,
ujistěte se, že definice tohoto X
zahrnuje všechno, o co máte zájem.
Je to lekce, kterou dávají i mnohé mýty.
Král Midas si přál, aby se všechno,
čeho se dotkne, proměnilo ve zlato.
Dotkl se své dcery,
a ta se proměnila ve zlato.
Dotkl se jídla, to se proměnilo ve zlato.
Tohle může být relevantní
nikoli jen jako metafora chamtivosti,
ale také jako ilustrace toho,
co se stane, když vytvoříte
výkonný optimalizační proces
a dáte mu zavádějící
nebo špatně definované cíle.
Můžete si říct, že pokud počítač
začne lidem strkat do tváře elektrody,
prostě jej vypnete.
Za A, to nemusí být nutně tak jednoduše
proveditelné, pokud na něm budeme závislí.
Kde je třeba tlačítko
na vypnutí internetu?
Za B, proč šimpanzi nebo neandrtálci
nezmáčkli vypínač
bránící vzniku lidstva?
Zcela jistě pro to byl důvod.
Máme vypínač například zrovna tady.
(Dusí se)
Důvodem je,
že jsme inteligentní protivníci,
dokážeme předvídat hrozby
a vyhýbat se jim.
To by ale dokázal i
superinteligentní hráč,
a byl by v tom mnohem lepší než my.
Pointa je v tom, že bychom si neměli
být tak jistí, že máme vše pod kontrolou.
Mohli bychom si zkusit
usnadnit práci třeba tím,
že by se U. I.
zavřela do skříňky,
do zabezpečeného prostředí,
simulované virtuální reality,
ze které by nemohla uprchnout.
Ale jak moc si můžeme být jistí,
že nenajde nějakou díru?
Vzhledem k tomu, že lidští hackeři
nalézají díry v jednom kuse,
bychom moc jistí být neměli.
Takže vypojíme síťový kabel,
abychom přerušili kontakt,
ale je to tu zas, lidští hackeři
běžně tuto překážku překonávají
sociálním inženýrstvím.
Jak teď zrovna hovořím,
zcela jistě je venku nějaký zaměstnanec,
který byl požádán,
aby nadiktoval údaje svého účtu
někomu, kdo tvrdí,
že je z technické podpory.
Možné jsou i nápaditější scénáře,
kdy v roli U. I.
rozmístíte elektrody kolem svého obvodu,
abyste vytvořili rádiové vlny,
kterými budete komunikovat.
Anebo můžete předstírat poruchu
a když se objeví programátor,
aby se podíval, co se porouchalo,
aby se podíval na zdrojový kód
– Bum! –
poradíte si s ním.
Anebo může vytvořit plán
pro velmi mazanou technologii,
kterou když sestrojíme,
bude mít na nás neblahé vedlejší účinky.
Zkrátka bychom neměli příliš
věřit ve svou schopnost
udržet superinteligentního
džina v láhvi navždy.
Dříve nebo později se dostane ven.
Myslím, že řešením je přijít na to,
jak vytvořit superinteligenci tak,
že i kdyby utekla,
byla by stále neškodná,
protože by byla na naší straně,
protože by měla stejné hodnoty jako my.
Nevidím jinou možnost.
Jsem velice optimistický co se týče
vyřešení tohoto problému.
Nemuseli bychom sepsat dlouhý
seznam všeho, na čem nám záleží,
nebo jej snad
vytvořit v programovacím jazyce
jako je C++ nebo Python,
což by byl beznadějný úkol.
Namísto toho bychom měli sestrojit
systém, který svoji inteligenci využije
k tomu, aby se naučil, jaké hodnoty máme,
a aby jeho motivační systém
byl naladěn tak,
aby sledoval tyto hodnoty a konal činy,
které bychom schválili.
Mohli bychom ovlivnit jeho inteligenci
jak jen by to bylo možné,
abychom vyřešili problém načítání hodnot.
Může k tomu dojít
a výsledek by byl pro lidstvo příznivý.
Nedojde k tomu ale automaticky.
Výchozí podmínky pro explozi inteligence
mohou vyžadovat to správné nastavení,
abychom dosáhli řízené detonace.
Hodnoty umělé inteligence
musí být shodné s našimi,
a to nejen v běžných situacích,
kdy můžeme snadno zkontrolovat,
jak se chová,
ale také v nových situacích,
se kterými se může setkat
v neurčité budoucnosti.
Je tu také pár esoterických otázek,
které by měly být vyřešeny:
přesné detaily její rozhodovací teorie,
jak bude nakládat s logickou neurčitostí
a tak dále.
Takže technické problémy,
které je třeba vyřešit,
vypadají složitě –
i když ne tak složitě
jako vytvoření superinteligence,
každopádně hodně složitě.
Existuje jisté znepokojení.
Vytvoření superinteligence
je skutečně velká výzva.
Vytvoření superinteligence,
která bude bezpečná,
zahrnuje navíc několik dalších výzev.
Riziko spočívá v tom, když někdo
přijde na to, jak vyřešit první výzvu,
aniž by zároveň vyřešil připojené výzvy
spojené se zachováním bezpečnosti.
Takže myslím, že bychom měli najít řešení,
jak to druhé vyřešit v předstihu,
abychom byli připravení, až dospěje čas.
Může se stát, že nevyřešíme problém včas,
protože některé části bude možné doplnit
až tehdy, kdy budeme znát
podrobnosti výpočetní architektury.
Ale čím více v rámci
tohoto problému vyřešíme,
tím větší je šance, že přechod
do éry inteligentních strojů
proběhne dobře.
Toto na mě působí jako věc,
kterou má smysl dělat,
a dovedu si představit,
že pokud se věci vyvinou dobře,
lidé se za milion let
podívají zpět na toto století
a řeknou si, že věc, kterou
jsme udělali skutečně správně,
bylo vypořádání se s tímto problémem.
Děkuji.
(Potlesk)