Čemu jsme se naučili z 5 milionů knih

Zkoušeli jste někdy Google Labs´ Ngram Viewer? Je to návykový nástroj, který Vás nechá vyhledávat slova a nápady v databázi 5 miliónů knih napříč stoletími. Erez Lieberman Aiden a Jean-Baptiste Michel nám ukazuje, jak funguje, a pár pěkných vychytávek, které můžeme z 500 biliónů slov vyčíst.

Erez Lieberman Aiden: Každý ví,

že jeden obraz vydá za tisíc slov.

My na Harvardu

jsme si to chtěli ověřit.

(smích)

A tak jsme dali dohromady tým expertů

z Harvardu, MIT,

The American Heritage Dictionary, The Encyclopedia Britannica

a dokonce i našeho hrdého sponzora,

Google.

A bádali jsme

4 roky.

A přišli jsme na překvapující závěr.

Dámy a pánové, jeden obraz nevydá za tisíc slov.

Nášli jsme obrazy, které

vydají i za 500 miliard slov.

Jean-Baptiste Michel: Jak jsme na to přišli?

Erez a já jsme přemýšleli nad tím,

jak získat celkový obrázek lidské

kultury, historie a jejich vývoje v čase.

V historii vzniklo mnoho a mnoho knih.

Takže jsme si řekli, že nejlepší způsob, jak se z nich

poučit, je přečíst všechny ty miliony knih.

Takže, na škále úžasnosti je takový postup

opravdu, velmi vysoká..

Nicméně je zde i osa X,

a to osa praktičnosti.

A ta je velmi, velmi nízká.

(potlesk)

Takže lidé zkouší různé alternativní přístupy,

například vzít si pár zdrojů a pečlivě je pročíst.

Velmi praktické, ale ani trochu cool.

Nejraději bychom

získali úžasné a praktické řešení zároveň.

No a kousek od nás byla společnost Google, která před pár lety

začala projekt digitalizace

který toto umožnil.

Zdigitalizovali milióny knih.

To znamená, že za použití počítačů můžete

přečíst všechny ty knihy na jedno kliknutí.

To je velmi praktické a naprosto úžasné.

ELA: Dovolte mi říci něco o původu těchto knih.

Od pradávných časů jsme měli spisovatele.

Tito autoři toužili psát knihy.

Což se stalo výrazně snazším

s vynálezem knihtisku před pár stoletími.

Od té doby se autorům podařilo

ve 129 milionech různých případů,

své knihy vydat.

Pokud tyto knihy nezapadly v čase,

staly se součástí nějaké knihovny,

a mnoho z nich se z těchto knihoven i dostalo, a byly

zdigitalizovány Googlem,

který má dnes naskenováno asi 15 miliónů knih.

Když Google naskenuje knihu, převede jí do velmi pěkného formátu.

Takže teď máme data a k tomu metadata.

Máme informaci například o tom, kde byla kniha vydaná,

kdo byl její autor, nebo kdy byla vydaná.

A to, co jsme my udělali bylo, že jsme prošli

všechny tyto záznamy a vypustili vše co nebylo nejvyšší kvality.

A nakonec nám

zbyla sbírka 5 miliónů knih,

500 miliard slov,

řada písmen tisíckrát delší

než lidský genom -

text, který, když by byl přepsán,

by dosáhl odsud na Měsíc a zpátky

desetkrát

- opravdový střípek našeho kulturního genomu.

Samozřejmě,

když jsme čelili tak nehorázné hyperbole..

(smích)

udělali jsme to, co by každý výzkumník

s trochou sebeúcty udělal.

Vzali jsme stránku z XKCD,

a řekli: "Ustupte,

zkusíme vědu!"

(Smích)

JM: No a pochopitelně jsme si

říkali, že nejprve ty data zveřejníme,

aby na nich lidi mohli tu vědu dělat.

Takže jsme přemýšleli, jaká data můžeme zveřejnit?

Pochopitelně chtěli jsme vzít obsah všech

těch pěti miliónů knih a všechen zveřejnit.

Na to Google, a zejména Jon Orwant,

nás seznámili s jednou pěknou rovnicí.

Máte pět miliónů knih. To je pět miliónů autorů

a pět miliónů žalob je už pořádný proces.

Takže, i když by to bylo opravdu úžasné,

opět to bylo i opravdu nepraktické.

(Smích)

Takže jsme ustoupili

a pojali velmi praktický přístup, který byl však trochu méně úžasný.

Řekli jsme si, že namísto plného znění,

vydáme o těchto knihách statistiky.

Takže například: "Záblesk štěstí"

To jsou dvě slova; říkáme tomu dvou-gram.

Takže Vám můžeme říci, kolikrát se daný dvou-gram

objevil v knihách v roce 1801, 2, 3

až do roku 2008.

To nám dá časovou řadu

stopující jak často se tato věta v danné době použila.

Děláme to se všemi slovy a frázemi, které se v těchto knihách

objevují a to nám dá jednu velkou mapu

dvou mliard řádků zrcadlící proměny kultury.

ELA: Takže tyto řádky

nazýváme dvě milardy n-gramů.

Co nám umí říct?

Jednotlivé n-gramy měří kulturní trendy.

Dám Vám příklad.

Řekněme, že se mám fajn a

druhý den vám o tom chci říci. Mohl bych

říci: "Včera mi bylo fajn."

Nebo bych mohl říct: "Včera mi bylo dobře."

Co bych měl říct správně?

Jak se rozhodnout?

Přibližně před šesti měsíci

by situace v této oblasti

vypada asi takto - šli byste

za tímto psychologem s úžasným účesem

a řekli:

"Steve, ty jsi expert na nepravidelná slovesa.

Co bych měl říct?"

A on by Vám řekl: "No, většina lidí by řekla "fajn"

ale někteří by řekli "dobře".

Ale, když byste se vrátili, zhruba,

200 let nazpátek, a oslovili byste dalšího

odborníka s neméně úžasným účesem:

(Smích)

"Tome, co bych měl říci?"

Řekl by: "Inu, v mé době většina lidí řekne

"dobře", ale někteří i "fajn".

Takže nyní Vám ukáži původní data.

Tyto dvě linky vznikly také z oněch dvou

miliard údajů. To, co vidíte je frekvence užití

dvou podobných slov rok po roce.

A toto jsou pouze

dvě z dvou miliard linek.

Takže všechna ta data

jsou ještě mnohem úžasnější než tento slide.

(Smích)

(potlesk)

JM: Existuje mnoho dalších obrázků, které vydají za 500 miliard slov.

Například toto.

Když bychom vzali třeba

"chřipku", uvidíte maxima v dobách, kdy víte,

že velké chřipkové epidemie zabíjely po celém světě.

ELA: pokud ještě nejste přesvědčeni,

hladiny moře stoupají,

stejně jako obsah CO2 v atmosféře či globální teplota.

JM: Možná byste také stáli o to vidět tento n-gram,

který říká Nietzschemu, že Bůh není mrtvý,

i když byste mohli usoudit, že by mohl užít lepšího PR agenta..

(Smích)

ELA: S tímto se můžete dostat k pár dosti abstraktním pojmům.

Tak například, dovolte mi Vás seznámit

s historií roku 1950.

Po drtivou většinu celé historie

o samotný rok 1950 nikdo ani nezavadil.

V roce 1700, 188, ani 1900.

Ani trochu.

Ani v 30. nebo 40. letech

nikoho nezajímal.

Najednou, uprostřed 40. let

to začalo vřít.

Lidé si uvědomili, že přijde rok 1950 a že to

může být velké.

(Smích)

Ale nic lidi nezajímalo na roku 1950

více, než rok 1950.

(Smích)

Lidé byli celí bez sebe.

Nemohli přestat mluvit

o všem, co v tom roce dělali,

co plánovali do té doby dosáhnout a jaké sny

si chtěli splnit v roce 1950.

Ve skutečnosti byl rok 1950

tak fascinující,

že i v dalších letech lidé vydrželi mluvit o tom, jak úžasné věci se staly

i v roce 51, 2, 3..

Až konečně

v roce 1954 se lidé z ničeho nic

probrali a zjistili, že rok 1950 je poněkud pasé.

(Smích)

A stejně tak splaskla i ta bublina.

(Smích)

A příběh roku 1950

je příběh každého roku, který jsme zaznamenali

trochu jinak, díky těmto krásným tabulkám, co máme.

A protože tyto úžasné tabulky máme, můžeme věci měřit.

Můžeme říct: "Takže, jak rychle ta bublina splaskla?"

Ukázalo se, že to dokážeme změřit velmi přesně.

Rovnice byly odvozeny, grafy vytvořeny

a čistý výsledek

říká, že zjistíme, jak ta bublina splaskává rychleji

a rychleji každ rok.

O minulost ztrácíme zájem čím dál rychleji.

JM: A nyní malý kariérní tip.

Pro ty z Vás, kdo se chcete stát slavnými,

můžeme vzít inspiraci od 25 nejslavnějších politických

osobností, autorů a herců atd.

Pokud se chcete stát slavnými spíše hned, měli byste být herci,

neboť tehdy zazáříte pravděpodobně před 30. rokem.

Jste stále mladí, takže je to skvělé.

Pokud jste ochotni si trochu počkat, měli byste být

spisovatel, protože pak Vás nejvyšší pocty

čekají později, jako třeba úspěch Marka Twaina.

Ale pokud se chcete dostat opravdu

na vrchol, měli byste odložit

uspokojení ještě více a pochopitelně

se stát politikem. Slavným se stanete před 60tým rokem

a velmi slavným poté.

Také vědci tíhnout k slávě ve výrazně starším věku.

Jako například biologové a fyzici

tíhnou k slávě srovnatelné s herci.

Jediná chyba by byla, když byste se dali na dráhu matematika.

(Smích)

Pokud byste to udělali,

mohli byste si říct: "Oh, skvěle. To nejlepší udělám mezi 20-30 lety.

Jenže, ouha. Nikoho to nezaujme.

(Smích)

ELA: Mezi n-gramy najdeme ještě

více varování.

Například tady vidíme trajektorii Marc Chagalla,

malíře narozeného 1887.

Která vypadá jako běžná trajektorie slavné osobnosti.

Stává se slavnějším a slavnějším všude,

kromě Německa.

Pokud se podíváte na Německo, zjistíte něco velmi

bizardního, co se jen tak nevidí.

A to je to, že se stává extrémně slavným

a pak zničeho nic sláva opadne,

s nejnižším bodem v letech 1933 až 1945,

kdy se odrazil ode dna.

A pochopitelně to, co zjistíme je,

že Marc Chagall je židovský umělec

v nacistickém Německu.

Tyto signály jsou

ve skutečnosti tak silné,

že nepotřebujeme ani vědět, že tu byl někdo cenzorován.

Můžeme to zjistit

užitím základních metod zpracování dat.

Toto je jedna jednoduchá metoda.

A sice: rozumné očekávání

je, že míra slávy jednoho člověka v daném čase

by se měla rovnat cca průměru jeho slávy

před tím a potom.

Něco takového očekáváme.

A srovnáváme to se slávou, kterou pozorujeme.

A jen dělíme jedno druhým,

abychom se dostali k tzv. indexu potlačení.

Pokud je index potlačení velmi, ale velmi nízký,

pak asi se jedná o nějaký útisk, cenzuru.

Pokud je velmi vysoký, můze to být výsledek propagandy.

JM: Nyní se můžeme podívat na

několik příkladů rozdělení indexů potlačení napříč populací.

Zde je například je

index potlačení pro asi 5 000 lidí

vybraných z anglické literatury, kde nebylo žádné známé potlačení,

vypadá takto, v podstatě těsně vycentrované na jedné.

To, co očekáváte je to, co vidíte.

Toto je rozložení je viděno v Německu -

velmi odlišné - posunuté doleva.

Lidé o tom mluvili dvakrát méně, než by měli.

Ale co je ještě důležitější, rozdělení je mnohem širší.

Mnoho lidí se umístilo daleko vlevo na této škále a o nich

se mluvilo 10 krát méně, než by se mělo.

Mnoho lidí se ale také umístilo daleko

v pravo, které podporovala propaganda.

Tento obrázek je znak cenzury v knihách.

ELA: Tuto metodu

nazýváme kulturomikou.

Je to trochu jako genomika.

S tím rozdílem, že genomika je biologie, nahlížena

skrze pohled na posloupnosti bází lidského genomu.

Kulturomika je podobná.

Aplikuje analyzu masivní sbírky dat

ke studiu lidské kultury.

Zde však namísto pohledu skrze lidský genom

nahlížíme člověka skrze digitální kusy historických záznamů.

Na kulturomice je skvělé to,

že se jí může věnovat každý.

Jak to?

Je to možné díky třem chlapíkům,

Jonovi Orwantovi, Mattotvi Graymu a Willovi Brockmanovi z Googlu,

kteří, když viděli prototyp Ngrame Vieweru,

řekli, "Tohle je fakt supr,

tuhle věc musíme dostat k lidem."

Takže dva týdny před tím, než jsme vydali svou studii

vytvořili kódy pro verzi Ngram Vieweru, která by byla dostupná

všem. Takže i vy si můžete napsat jakoukoliv frázi či slovo, které vás

zajímá a vidět je okamžitě v n-gramu

a také si zabrouzdat ukázkou všech možných

knih, ve kterých se Váš n-gram vyskytuje.

JM: Během prvního dne byly užity více než

miliónkrát a to je nejlepší ze všech statistik.

Takže lidé chtějí být co nejlepší a dělat to nejlepší.

Ale ukazuje se, že v 18. století se o to lidé o toto nezajímali.

Nechtěli být co nejlepší. Chtěli být co "nejlepčí".

To, co jste viděli byla samozřejmě chyba.

Není to pokus o jakousi prostřednost.

Spousta slov se historicky psala s jinými písmeny. Například S jako Beta,

v angličtině jako F apod. Google si to samozřejmě

sám od sebe nepřeložil a tak jsme to popsali ve vědedckém

článku, který jsme vydali. Ale ukázalo se,

že je to připomínka, toho, že i když

je to celé velká zábava, když interpretujete tyto grafy,

musíte být velmi opatrní a použít to nejlepší co věda nabízí.

ELA: Lidé to využívali pro mnoho rozličných zábavných účelů.

(Smích)

Ve skutečnosti nebudeme muset ani

moc mluvit, jen Vám ukážeme zbylé slidy a můžeme mlčet.

Tato osoba se zajímala o historii frustrace.

Jsou různé typy frustrací.

Pokud se praštíte do palce, zakřičíte "argh".

Pokud planetu Zemi zničí Vogoni, aby

si udělali prostor pro mezihvězdný bypass,

bude to osmimístné "aaaaaaaargh."

Tato osoba studovala všechny "arghy."

od jednoho po osmimístné.

A ukázalo se, že

méně frekventovaná "argh"

se pochopitelně váží k více frustrujícím situacím, s jednou zvláštní výjimkou

v 80. letech.

Domníváme se, že to bude mít něco společného s Reaganem.

(Smích)

JM: Tato data mají mnohotvárné využití,

ale základ je vždy digitalizace historických záznamů.

Google začal a zdigitalizoval 15 miliónů knih.

To je 12 procent všech knih, které kdy byly vydané.

To je slušný kousek z lidské kultury.

Ale kultura má mnohem víc: manuskripty, noviny,

věci, které nejsou v textech - jako umění a obrazy.

Ale všechny se nalézají v nějaké podobě

v našich počítačech kolem světa.

A až budou všechny zdigitalizované, nastane změna

v chápání naší minulosti, současnosti a kultury lidstva.

Velice Vám děkuji.

(potlesk)