Šta smo naučili iz 5 miliona knjiga

Jeste li isprobali Google-ov Labs' Ngram Viewer? To je zarazna alatka koja vam omogućava da tražite riječi i ideje u bazi od 5 miliona knjiga iz različitih stoljeća. Erez Lieberman Aiden and Jean-Baptiste Michel nam pokazuju kako funkcioniše, i nekoliko začuđujućih stvari koje možemo naučiti iz 500 milijardi riječi.

Erez Lieberman Aide: Svako zna

da jedna slika vrijedi hiljadu riječi.

Ali mi na Harvardu

smo se pitali da li je ovo stvarno tačno.

(Smijeh)

Stoga smo skupili tim eksperata,

iz Harvarda, MIT-a,

The American Heritage Dictionary, Enciklopedije Britannica,

i naših ponosnih sponzora,

Googlea.

Razmišljali smo o tome

oko 4 godine.

I došli smo do zapanjujućeg zaključka.

Dame i gospodo, slika ne vrijedi hiljadu riječi.

Zapravo, našli smo neke slike

koje vrijede 500 milijardi riječi.

Jean-Baptiste Michel: Kako smo došli do ovog zaključka?

Erez i ja smo razmišljali kako da pronađemo načine

da napravimo sliku ljudske kulture

i ljudske historije: promjenu tokom vremena.

Mnoštvo knjiga je napisano tokom godina.

Pa smo razmišljali da je najbolji način da se iz njih uči

jeste da pročitamo sve ove knjige.

Naravno, ako postoji skala fenomenalnosti,

mora biti jako, jako visoko.

Problem je što za to postoji X-osa,

stvarna osa.

Koja je veoma, veoma nisko.

(Aplauz)

Ljudi obično koriste drugi pristup,

uzmu par izvora i pažljivo ih čitaju.

Ovo je veoma praktično, ali nije tako fenomenalno.

Ono što zapravo želite postići

jeste fenomenalno, ali praktični dio ovog prostora.

Postoji kompanija koja se zove Google

i koja je prije nekoliko godina krenula sa digitalizacijom

koja bi pomogla ovom pristupu.

Digitalizirali su milione knjiga.

To znači da možemo kompjuterski

pročitati sve knjige u samo jednom kliku.

To je veoma praktično i fenomenalno.

ELA: Dozvolite mi da nešto kažem o tome odakle su potjekle knjige.

Od prastarih vremena, postojali su autori.

Ovi autori su težili da pišu knjige.

Ovo je postalo znatno lakše

od kada se, prije nekoliko stoljeća, pojavila mašina za štampanje.

Od tada, autori su

objavili oko 129 miliona

knjiga.

Ako se ove knjige nisu izgubile u prošlosti,

onda su negdje u knjižari,

a mnoge knjige su podizane iz bibilioteka

i digitalizovane od strane Goolgea,

koji je do sada skenirao 15 miliona knjiga.

Kada Google digitalizuje knjigu, stave je u veoma dobar format.

Sada imamo podatke i meta-podatke.

Imamo podatke o tome gdje je objavljena,

ko je autor, kada je objavljena.

I mi prelazimo sve ove podatke

i izbacujemo sve one podatke koji nisu kvalitetni.

Ono što nam preostaje je

kolekcija od 5 miliona knjiga,

500 milijardi riječi,

i niz slova, 1000 puta duži od

ljudskog genoma --

tekst koji, kada se ispiše,

bi se protezao do Mjeseca i nazad

10 puta --

prava krhotina našeg kulturnog genoma.

Naravno,

kada smo se suočili sa ovakvom nečuvenom hiperbolom...

(Smijeh)

uradili smo ono

što bi svaki istraživač uradio.

Uzeli smo stranicu iz XKCD,

i rekli, "Odmaknite se.

Isprobat ćemo nauku."

(Smijeh)

JM: Naravno, mislili smo,

hajmo prvo ubaciti podatke

koji bi ih iskoristili u nauci.

Razmišljali smo, koje podatke možemo obajaviti?

Naravno, želite objaviti

cijeli tekst ovih 5 miliona knjiga.

Google, a posebno Jon Orwant,

nam je pokazao jednu jednačinu koju trebamo znati.

Ako imate 5 miliona, tj., 5 miliona autora,

to znači 5 miliona tužilaca.

Iako bi to bilo veoma, veoma fenomenalno,

ipak je jako nepraktično.

(Smijeh)

Nekako smo popustili,

i krenuli smo praktični pristup, koji je bio malo manje fenomenalan.

Umjesto da objavljujemo cijeli tekst,

objavit ćemo statistiku o knjigama.

Uzmite naprimjer "Tračak sreće."

Ima četiri riječi; zovemo je četiri-grama.

Pokazat ćemo vam koliko puta se ona

pojavila u knjigama u 1801, 1802, 1803,

sve do 2008.

Tako znamo

koliko često se neka rečenica ponavljala tokom vremena.

Uradili smo to za sve riječi i fraze koje se pojavljuju u ovim knjigama,

i tako imamo tabelu od 2 milijarde redova

koji nam govore kako se kultura mijenjala.

ELA: Te redove

zovemo 2 milijarde n-grama.

Šta nam oni govore?

Pojedinačni n-grami određuju kulturalne trendove.

Evo primjera.

Pretpostavimo da napredujem,

i sutra vam želim ispričati kako sam uradio.

Mogu reći, "Jučer sam napredovao."

Umjesto toga, mogu reći, "Jučer napredovah."

Koju riječ da koristim?

Kako da znam?

Od prije šest mjeseci,

stanje u ovom području je takvo

da biste mogli, naprimjer,

otići psihologu sa odličnom kosom,

i reći,

"Steve, ti si ekspert u nepravilnim glagolima.

Šta trebam uraditi?"

A on bi ti rekao, "Većina ljudi kaže napredova,

ali neki kažu napredovah."

Takođe ste znali, manje ili više,

da ako se vratite 200 godina unazad

i pitate državnika sa jednako dobrom kosom

(Smijeh)

"Tom, šta da kažem?"

On bi rekao, "Pa, u moje vrijeme, većina ljudi kaže napredovao,

a neki kažu napredovah."

Sada ću vam pokazati nepripremljene podatke.

Dvije kolone u tabeli sa 2 milijarde unosa.

Možete vidjeti frekvenciju godinu za godinom

za riječi "napredovao" i "napredovah".

Ovo je samo 2

od 2 milijarde kolona.

Čitav set podataka

je milijardu puta fenomenalniji od ovog slajda.

(Smijeh)

(Aplauz)

JM: Ima drugih slika koje vrijede 500 milijardi riječi.

Naprimjer, ova.

Ako uzmemo gripu,

vidjećete razdoblja kada je poznato

da je epidemija gripe ubijala ljude širom planete.

ELA: Ako još niste uvjereni,

nivo mora se povećava,

kao i nivo CO2 u atmosferi i globalna temperatura.

JM: Pogledajte ovaj n-gram,

koji pokazuje Nietzscheu da Bog nije mrtav,

iako se morate složiti da on bi mu dobro došao bolji publicist.

(Smijeh)

ELA: Možete posmatrati neke vrlo abstraktne koncepte.

Naprimjer, dopustite da vam kažem nešto

o godini 1950-toj.

Tokom čitave prošlosti, poprilično

nikome nije bilo stalo do godine 1950.

U 1700, 1800, i 1900.

nikome nije bilo stalo.

Kroz 30-te i 40-te,

nikome nije bilo stalo.

Najednom, sredinom 40-tih,

počela je galama.

Ljudi su shvatili da će se desiti 1950 godina,

i da bi mogla biti važna.

(Smijeh)

Ali nikada se ljudi nisu više zainteresirali za godinu 1950.

kao u godini 1950.

(Smijeh)

Ljudi su opsjednuto hodali uokolo.

Nisu mogli prestati pričati

o stvarima koje su radili godine 1050.,

i o stvarima koje su planirali raditi godine 1950.

o snovima koje su htjeli ostvariti godine 1950.

Zapravo, godina 1950 bila je tako fascinantna

da su godinama nakon,

ljudi nastavili pričati o svim zapanjujućim stvarima koje su se desile,

godine 1951, '52, '53.

Napokon 1954.,

neko je shvatio

da je 1950. nekako zastarijela.

(Smijeh)

I samo tako, balon je pukao.

(Smijeh)

Priča o godini 1950.

je priča o svakoj godini koju smo zabilježili,

a malim preokretom, jer sada imamo ove lijepe grafikone.

I zbog toga što imamo ove grafikone, možemo da mjerimo stvari.

Možemo reći, "Kako brzo balon može da pukne?"

Ispostavilo se da to možemo veoma precizno da izmjerimo.

Jednačine su izvedene, grafikoni su napravljeni,

i jednostavan rezultat

je taj da balon buca sve brže

kako godine prolaze.

Sve brže gubimo interes za prošlost.

JM: Sada ću vam dati jedan mali savjet u vezi odabira karijere.

Za one koji žele postati poznati,

saznali smo od 25 najpoznatijih političkih figura,

pisaca, glumaca i tako dalje.

Ako želite rano postati poznat, trebali ste biti glumac,

jer u tom slučaju slava počinje da raste krajem vaših 20-tih godina --

još uvijek ste mladi, što je sjajno.

Ako možete čekati još malo, onda bi ste trebali biti pisac,

jer onda slava doseže velike visine,

kao Mark Twain, naprimjer: on je veoma poznat.

Ali ako želite doseći sam vrh,

trebali bi ste odgoditi slavu

i, naravno, postati političar.

Ovako ćete postati popularni krajem vaših 50-tih godina,

i ostati veoma, veoma, poznati i nakon.

I naučnici postaju slavni kako stare.

Naprimejr, biolozi i fizičari

su obično poznati kao i glumci.

Jedina greška koju ne smijete napraviti jeste da postanete matematičar.

(Smijeh)

Ako to uradite,

možete pomisliti, "Super. Objavit ću najbolji rad u svojim 20-tim."

Ali pogodite, nikome zaista neće biti stalo.

(Smijeh)

ELA: Ima i nešto trezvenih bilješki

mešu n-gramima.

Naprimjer, ovo je put Marca Chagalla,

umjetnika rođenog 1887.

I ovo izgleda kao normalan put poznate osobe.

On postaje sve poznatiji,

osim ako gledate na njemačkom.

Na njemačkom, postoji nešto veoma bizarno,

nešto što se skoro nikada ne može vidjeti,

a to je da on postaje strašno poznat

i onda najednom njegova popularnost snažno se penje,

i doseže nebeske visine između 1933 i 1945.,

prije se ponovo vraća.

Naravno, vidimo

da je Marc Chagall bio jevrejski umjetnih

u nacističkoj Njemačkoj.

Ovi signali

su zapravo tako jaki

da ne moramo znati da je neko cenzurisan.

Možemo zapravo shvatiti

procesuirajući jednostavne signale.

Evo jednostavnog načina za to.

Logično je očekivati

da nečija slava u datom preiodu

bi trebala otprilike biti prosjek njihove slave prije

i slave poslije.

Takvo nešto mi očekujemo.

I poredimo to sa slavom koju mi posmatramo.

I jednostavno podijelimo jedno sa drugim

da bismo dobili nešto što nazivamo indeks zabrane.

Ako je indeks veoma, veoma, veoma mali,

onda možda ste zabranjeni.

Ako je veoma veliki, onda možda imate korist od propagande.

JM: Možete zapravo posmatrati

distribuciju indeksa zabrane čitave populacije.

Naprimjer, ovdje --

indeks zabrane za 5,000 ljudi

odabranih iz engleskih udžbenika gdje nema zabrana --

izgledalo bi ovako, usko centrirani na jedan.

Ono što očekujete je jednostavno ono što posmatrate.

Ovo je rasprostranjenost posmatrana u Njemačkoj --

veoma različita, pomjerena u lijevo.

Ljudi su o tome govorili dva puta manje nego što je trebalo.

Ali što je najvažnije, rasprostranjenost je mnogo šira.

Mnogo je ljudi koji završe na krajnje lijevoj tački rasprostranjenosti

o kojima se govori 10 puta manje nego što bi trebalo.

Ali i mnogi ljudi na krajnje desnoj tački

očigledno imaju korist od propadande.

Ova slika je znak cenzure.

ELA: Kulturomija

je naziv ove naše metode.

Nešto je nalik genomiji.

Osim što je genomija uvid u bilogiju

kroz prozor slijeda baza u ljudskom genomu.

Kulturomija je slična.

To je primjena skupljanja podataka velikog uzorka

na ljudsku kulturu.

Umjesto kroz ljudski genom,

gleda se kroz digitalizirane historijske zapise.

Odlična stvar u vezi kulturonomije

je da svako to može uraditi.

Zašto je dostupna svima?

Zato što su tri čovjeka,

Jon Orwant, Matt Gray i Will Brockman iz Googlea,

su vidjeli prototip Ngram VIewera,

i rekli su, "Ovo je tako zabavno.

Moramo ovo pružiti ljudima."

Za ravno dvije sedmice -- dvije sedmice prije nego naš rad objavljen --

napravili su verziju Ngram Viewera za javnost.

Tako da sada možete ukucati bilo koju riječ ili frazu koja vas zanima

i odmah vidjeti njen n-gram --

i naći primjere iz ranih knjiga

u kojima se vaš n-gram spominje.

JM: Ngram Viewer

i ovo je najbolje od svih upita.

Ljudi žele najbolje, da urade najbolje što mogu.

Ali izgleda da ljudi u 18-tom stoljeću o tome nisu marili.

Nisu željeli uraditi najbolje, željeli su najbolje.

Desilo se, naravno, ovo je samo pogreška.

Nije da su težili prosjećnosti,

već se S pisalo drugačije, slično F.

Naravno, Google nije ovo izdvojio,

tako da smo ovo naveli u naučnom članku.

Ali ovo je ispalo kao podsjetnik

da, iako je ovo veoma zabavno,

kada tumačite ove grafikone, morate biti veoma pažljivi,

i morati primijeniti ove standarde u nauci.

ELA: Ljudi ovo koriste za razne zabavne svrhe.

(Smijeh)

Zapravo, ne moramo pričati,

samo ćemo vam u tišini pokazati sve slajdove.

Ovu osobu je interesovala historija frustracije.

Postoje razni tipovi fustracija.

Ako se udarite u nožni prst, to je jedno A "argh".

Ako planetu Zemlju nasele Vogonci

da naprave međuzvjezdanu zaobliaznicu,

to je osam A "aaaaaaaargh."

Ova osoba je istražila sve "arghove,"

od jednog pa do osam slova A.

I ispada

najrjeđi "arghovi"

su, naravno, oni koji se odnose na stvari koji više frustrirajuće --

osim, začudo, početkom 80-tih.

Možda to ima neke veze sa Reaganom.

(Smijeh)

JM: Ovi podaci se koriste u razne svrhe,

ali historijski zapisi se digitalizuju.

Google je počeo sa digitalizacijom 15 miliona knjiga.

To je 12 posto svih knjiga koje su izdate.

To je veliki dio ljudske kulture.

Tu su i rukopisi, novine,

tu su i materijali bez teksta, kao umjetnost i slike.

To je sve u našim kompjuterima,

i kompjuterima širom svijeta.

Kada se to desi, to će promijeniti način na koji

mi shvatamo prošlost, sadašnjost i ljudsku kulturu.

Hvala vam mnogo.

(Aplauz)