Ljubav za sendviče | Mihailo Isakov | TEDxNoviSadSalon

Često se na internetu susrećemo sa plaćenim komentarima na vesti, koji ne samo da vređaju našu inteligenciju, nego stvaraju lažno javno mnjenje. Da li računar može da se isprogramira da prepozna takve komentare i jednog dana ne dozvoli njihovo objavljivanje na medijskim sajtovima? Mihailo kaže da može, i objašnjava kako.

Mihailo Isakov je master student i asistent na Fakultetu tehničkih nauka u Novom Sadu. Polje njegovog naučnog istraživanja je mašinsko učenje i duboke neuralne mreže. Interesuje ga preduzetništvo, veštačka inteligencija i edukacija.

Ovaj govor je održan na TEDx događaju koji koristi format TED konferencije, ali ga nezavisno organizuje lokalna zajednica. Saznajte više na http://ted.com/tedx

Ćao ljudi, ja sam Mihailo.

Nisam bio siguran kako ovo da nazovem
pa će imati dva naslova.

[Kako biti dobar internet komentator]

Poslednjih par godina,
recimo poslednje četiri godine,

dosta često viđamo pojavu
ovakvih komentara na netu.

Kaže Maša: "Sve pohvale za vredne neimare.

I naravno za premijera koji je neumoran."

I Kikica kaže: "Nema razloga
da ne budemo ponosni

na ovo građevinsko čudo
koje će krasiti našu prestonicu.

To će biti novi napredak
za naše građevinske firme

koje su do sada bile bez posla
kao i napredak cele industrije."

I hajde što vređaju inteligenciju,
nego šta mi više smeta

jeste [to] što pokušavaju
da lažiraju javno mnjenje.

Pokušavaju da nas ubede
da ih je mnogo više

nego što stvarno jeste,
da postoji podrška za neke projekte.

I onda razmišljam:
OK, bavim se mašinskim učenjem.

I obično probleme koje ja mogu
očigledno jako lako da rešim,

da ne moram preterano da razmišljam,

mogu mašinom da rešim.

Pa sam razmišljao: kako bismo mogli

da krenemo da prepoznajemo
plaćene komentare -

komentare plaćene
od strane političkih partija u Srbiji,

na neki automatizovan način.

Pre jedno 30-40 godina,
kako bismo [to] radili

jeste pisali bismo pravila:

ukoliko vidiš ovu reč -
veća je šansa da jeste.

Ukoliko vidiš onu reč -
veća je šansa da jeste.

Danas to radimo malo drugačije.

Radimo [tako] što prikupimo
ogromnu količinu podataka,

obeležimo, recimo, 10.000 komentara
i onda pokušamo da izvučemo

neka pravila iz tih podataka.

Znači, da bih uopšte pokušao da prepoznam

šta je plaćen komentar -
šta je bot, na internetu,

ja moram prvo da ih imam mnogo
u nekoj bazi, recimo u jednom fajlu.

Sada, kako ću to da nabavim?

Pa hajde da kažemo
da mi treba 10.000 komada.

To nije velik broj.

Mogu da pokušam ručno to da radim,

skinem 10.000 i idem jedan po jedan

i kažem: ovo je plaćeno - ja mislim -
ovo, verovatno nije.

I ako mi treba 30 sekundi po komadu,
to mi je nekih 100 sati posla

što nisam baš preterano spreman
da uložim toliko.

Pa onda jasno - treba mi više ljudi.

Mogao bih da napravim anketu, recimo.

1000 anketa sa po 10 komentara,

svakog da pitam: "Da li misliš da je ovo
plaćen komentar, da li misliš da nije?"

S tim da ljudi nisu bili preterano veseli

da mi odgovaraju na ankete

pa sam morao da nađem
malo bolji način za to.

Znači, treba mi ogromna količina ljudi
koja će obeležavati komentare

i treba da to rade na jednostavan način,

na način koji im ne kvari dan.

To izgleda otprilike ovako:

napravili smo Chrome aplikaciju,
aplikaciju za vaš pretraživač,

zove se "Lovac na sendviče",
i izgleda ovako nekako;

odete na Blic i ona ugradi
dva dugmeta u svaki komentar:

"Bot" i "Nije bot".

I bilo ko, ko koristi aplikaciju,
treba samo da klikne na jedan od njih,

pocrveni komentar i on meni
pošalje na server:

"Hej, ja mislim da je ovo
plaćen komentar."

I to je dalo dosta dobre rezultate.

Na period od tri nedelje
dobio sam 500 korisnika,

koji su napravili 13.000 reakcija -
13.000 "bot" ili "nije bot" reakcija

na nekih 8.000 komentara.

Sada ima možda malo više od toga.

Izvinjavam se inženjerima "Blica",
ali trebalo mi je više komentara

pa sam u jednom trenutku skinuo
sve komentare sa Blica u periodu

između 2013. i 2016. godine,
što je nekih šest miliona.

Oni nisu obeleženi -
za njih ne znam ništa.

Imam samo tekst i ime ko ih je pisao,

eventualno kako su ocenjeni,
ali [to su] goli podaci bez obeležja.

I šta sada ja mogu da radim sa njima?

Mogu da uradim neke osnovne
datamining tehnike, mogu da vidim:

koja je prosečna dužina
bot komentara,

koja je prosečna dužina ne-bot komentara.

Mogu videti: ako je komentar duži

od recimo 300 slova - verovatno nije bot.

Ako je kratak, onda postoji
dosta dobra šansa da jeste bot.

Barem tako kažu ljudi
koji su ocenjivali te komentare.

Ovo je grafik koliko je svaki korisnik
ostavio reakcija na komentare.

Vidimo da je ogromna količina ljudi
došla jednom, kliknula nešto i otišla,

nikad više se nisu vratili.

Ali zahvalan sam za ovih
par desetina korisnika

koji su dali preko 10, 15.

Ovo je moja majka koja je verovatno
ubedljivo najviše koristila aplikaciju.

(Smeh)

Možemo da uporedimo
korisnike na neki način,

možemo da vidimo: "Hej, ova dva korisnika

slično ocenjuju neke komentare,
ova dva različito..."

Vidimo da u principu postoji konsenzus.

Niko mi nije kvario sem jedne osobe.

I možemo da napravimo nešto ovako;

da vidimo sličnost između korisnika
na neki grafički način.

Da vidim: "Neko je malo hakovao servis
pa je napunio glupostima",

ali dobro, to možemo,

čim vidimo na ovakav način,
lako da odstranimo.

I možemo da krenemo da radimo
nešto pametno, konačno.

Baza tih podataka, svi ocenjeni komentari,

svi ti neocenjeni komentari,
koje sam skinuo,

kod za aplikaciju, kod za obradu toga,

su dostupni ovde.

Ako neko hoće da se zeza,
MIT je licenca, što znači -

radite šta god hoćete.

[https:github.com/MiahiloIsakov/
love-for-sandwiches]

I dobro, hajde, konačno - posao.

Kako da ih prepoznamo?

U mašinskom učenju,
u poslednjih par godina,

pojavilo se jako mnogo tehnika

koje jako dobro rade na videu,
na slikama, na zvuku.

Zašto? Zato što njih
obično snimaju senzori.

Senzori koji su savršeni.

Ne možete da uradite
mnogo bolje od kamere -

kamere ne prave greške.

Ljudi prave greške.
Ljudi jako mnogo grešaka prave.

Pored toga, srpski je dosta težak
i jako je nezahvalan jezik za rad.

Hajde gramatičke greške.
Nego, što se ovakve stvari pojavljuju.

Imamo jednu reč
koja ima X različitih sufiksa.

Moj računar ne može da ih razlikuje,
ne može da shvati da sve imaju isti koren.

Ja bih hteo da svaku od ovih reči
zamenim sa "kuć",

da znam da se uvek radi o kućama.

Taj proces zovemo "stemovanje"
i, nažalost, srpski jezik

nema još zvaničan stemer,
tako da sada pokušavamo

da ga razvijemo zvanično na srpski.

Drugi problem jeste što ljudi prave
ogromnu količinu gramatičkih grešaka.

Mi ne znamo da radimo sa tekstom
tako da se svaki naš pokušaj svodi na:

"Hajde uzmi taj tekst pa ga transformiši

u nešto u realnom vremenu."

To su brojke.

Koristimo neke tehnike [za to],
jedna od glavnih je TF-IDF,

koja pokušava da neki komentar
pretvori u niz brojeva, gde će reći:

"Ja brojim koliko se koja reč pojavljuje.

Reč koja se češće pojavljuje
imaće veće vrednosti,

reč koja se ne pojavljuje imaće nule.

Zanimaju me najviše reči
koje se pojavljuju, recimo

samo u botovima,
a nigde drugde i obrnuto -

reči koje se pojavljuju
u ne-botovima, a retko u botovima."

To su nam dobri pokazatelji
da li je nešto bot ili nije bot.

Šta nas ne zanima jeste
ogromna količina rečnika

koja se pojavljuje apsolutno svugde
i samo nam pravi đubre.

Zovemo ih "stop reči", obično želimo

da ih izbacimo odmah u startu
jer nam neće ni oko čega pomoći.

I onda pozovemo čika Bajesa

koji je imao pre nekih 300 godina
jednu fantastičnu ideju, a to jeste:

Ako ja znam koja je šansa
da ako je komentar bot,

da se pojavi reč "premijer" -

a znam zato što sam
prebrojao sve bot komentare

i prebrojao sam koliko puta
se u njima pojavila reč "premijer",

koja je šansa da se pojavi
u bot komentaru "premijer" -

ja mogu da utvrdim,
uz pomoć Bajesove teoreme,

ukoliko vidim reč "premijer"
koja je šansa da je bot.

Znači da obrnem logiku.

Znao sam, ukoliko je komentar bot,
koja je šansa da se pojavi reč,

e hoću obrnuto; ukoliko vidim reč,

koja je šansa da je to stvarno bot.

I to je jedna od najlošijih tehnika
u mašinskom učenju.

Zovemo je naivna zato što
pravi neke pretpostavke

koje očigledno nisu tačne.

A to je da "premijer" i "vlada"
nemaju nikakve veze jedno sa drugim.

Ali često ćete videti -
ako vidim jednu, daleko je veća šansa

da ću videti i drugu reč.

Dakle, postoji veza između njih
i pretpostavimo da su nezavisne.

I poteramo mi tog Bajesa
na celom skupu od 8.000 komentara

i on kaže: "Ovo su reči
koje mi mnogo znače.

Ako vidim ovo, ako vidim nešto od ovoga,

govori mi da je to
verovatno u pitanju bot.

Ako vidim komentar koji kaže:

"Srbiji treba Vučić, Pajtić nije premijer,
narod neka radi brutalno."

To će biti jako bot komentar.
Barem je on to zaključio.

I sada, šta želimo da radimo
jeste da iskoristimo

i onih 6 miliona komada,
6 miliona neobeleženih komentara.

Kako ćemo to uraditi?
Pitaćemo ga:

"Hajde nađi očigledne
botove i ne-botove iz tog skupa."

Kaže: "Ja mogu da ti dam
nekih 10.000 komada

za koje sam 100% siguran.
Za ostale nisam."

I onda uzmemo tih 10.000,
ubacimo ih na onih starih 8.000

i ponovo ga pitamo:
"Hajde sad sa ovih 18.000 nađi još."

Pa onda on nađe još
10.000 i tako ponavljamo to

dok ne dobijemo algoritam
koji postane malo sigurniji u sebe.

To se zove "Iterativna klasifikacija",
ne radi toliko dobro koliko bih hteo

ali se pokazalo da je korisno.

I onda vidimo: mi ne možemo
da podignemo preciznost

više od nekih 90%.

U 10% komentara će stalno grešiti,
šta god mi uradili,

kakve god parametre postavili.

I onda je klasično rešenje:
pa hajde da vidimo koji su to komentari

gde grešiš,
pokaži mi šta ti pravi problem.

I on kaže: "Ovo mi pravi problem.

Ovo je meni u bazi obeleženo kao ne-bot."

Neko je došao i rekao da ovo nije bot.

Algoritam kaže: "Ja se ne slažem."

Ja mislim da algoritam ne greši ovde,
nego je neko namerno hteo da kvari bazu.

Ovde se isto ne slažu.

I ovde se isto ne slažu.
Ima ih još mnogo.

Pa smo onda shvatili
da je moguće da su ljudi došli

i namerno labelirali komentare
ali dobro, nije to tako strašno.

Uspemo da prepoznamo dovoljno.

I na tih 6 miliona komentara
nađemo 80.000 koji su očigledni.

Što zvuči kao jako veliki broj
ali računajte:

ako neko u poslednjih hiljadu dana,
što je malo manje od četiri godine,

svaki dan napiše 100 komentara,
to je taman to.

I pogledamo tih 80.000
i ja mislim da ovo izgleda sasvim OK.

Slažem se sa njima.

Često vidite te neke reči,
kao što su "budućnost",

to jako vole da koriste,
i "pravu odluku", "privreda Srbije"...

Osnovna ideja iza ovoga je bila;
hoću da koristim duboke neuralne mreže.

To je jako "hot" sada, jako popularno
i pokazuju da su sposobne da rešavaju

jako velik broj problema.

Kada sam došao do ovoga, već sam shvatio

da možda i nema potrebe,
ovo nam radi dovoljno dobro.

Ali, hajde, idemo do kraja.

I koristimo nešto što se zove
rekurentne neuralne mreže

koje su sposobne da shvataju vreme.

Da shvataju sekvence,
da razumeju video, a ne samo slike,

da razumeju tekst, muziku.

Stoje za "Long Short-Term Memory",

i daju fantastične rezultate.

Zašto želimo njih da koristimo,
a ne naivnog Bajesa

jeste zato što naivni Bajes
gleda samo frekvenciju pojavljivanja reči.

Što znači da ako ja uzmem
i ispreturam komentar:

"Hag je doneo jednu pravu odluku"
u "jednu odluku pravu Hag doneo je",

jednako će biti klasifikovana.

Bajes ne uzima u obzir

redosled reči u rečenici,
[već] samo pojavljivanje tih reči.

LSTM gleda kontekst,
gleda sekvence i razume redosled.

I u stanju je da nauči
daleko bolji model samog jezika.

Koristimo ga za jako mnogo stvari.

Klasične neuralne mreže
smo pre koristili za ovako nešto.

Damo sliku mačke i on kaže "mačka".

Ali LSTM-ovi su sposobni
da uvedu vreme u ceo taj proces

gde bih mu ja dao sliku
galeba koji leti nad vodom

i, fantastičan primer iz 2012,
gde su uspeli da naprave duboki LSTM

koji kaže "generiši opis slike":
"A seagull flying on a body of water".

Opisuje sliku
dosta kompleksnim rečenicama.

Ovo je arhitektura koju
bismo mi hteli da koristimo,

tj. dam ti reč po reč, po reč, po reč...

i kad stanem, kažem "tačka" i sad
mi kažeš da li misliš da je bot ili nije.

Ostale arhitekture nas ne zanimaju toliko.

Ovu bismo koristili za prevođenje
sa englekog na francuski jezik.

To je postala jako zanimljiva tema
u poslednjih godinu dana:

da naučite prevodioca
samo [tako] što ćete mu

baciti ogromnu količinu knjiga,
na engleskom i francuskom,

pa nek shvati vezu.

I ovu četvrtu obično za muziku koristimo,

da generišete muziku na osnovu
muzike koju ste pre čuli.

LSTM-ovi su me kupili u jednom trenutku
kada sam video da su u stanju

da odgovaraju na pitanja, tj.
date mu sliku i pitate pitanje:

"Šta je na tanjiru?"
a on kaže: "Brokoli".

Ili "Koji je ono sport?"
i on kaže: "Bejzbol".

Vidite da su u stanju da shvate
dosta kompleksne stvari

i da samo treba
da im bacimo dovoljno podataka.

Pa sam to uradio.

Bacio sam onih 80.000 botova
koje sam pronašao naivnim Bajesom,

onda imam problem:
nisam bio siguran oko ne-botova.

Gde da nađem ne-botove?

Srećom, uzmem par desetina hiljada
komentara iz kategorije

"Blic Sport", "Blic Žena", "Svet i vreme"

i tu mogu da pretpostavim
da botovi ne dolaze

na članke kao [što su]: "Da li možete

da rešite zadatak koji mali Tajvanac
od sedam godina može da reši?"

ili tako nešto.
(Smeh)

Računam da ih neće biti tu
tako da mogu da ih ručno labeliram sve

iz cuga, da nisu botovi.

I dobijem nešto
što može da prepoznaje botove.

I da prepoznaje botove
sa ogromnom preciznošću, bar mislim.

Ovo je preciznost na skupu
koji on nikada nije video.

Ovo je preciznost na onim podacima
koje mu nikad nisam dao mogućnost da vidi,

da bi naučio na njima.

To se zove "kros-validacija",
dosta je zgodna stvar,

i mogu da budem siguran
da nisam mnogo uspeo da zeznem ovo.

I sad se nađem u situaciji:
imam mrežu koja prepoznaje botove.

Nisam mislio da ću doći dovde.

Šta dalje?

Mogu da pokušam
da generišem komentare

koji zvuče botovski ali ne ispadne
toliko dobro koliko sam hteo.

Ali biće bolje kad mu budem dao
jedno nedelju dana

da krčka i da sluša šta to botovi govore.

Još nije uspeo sintaksu
najbolje da provali ali polako.

Postavila su se dva pitanja:
šta ću dalje i šta je bot?

Ja ne znam šta je bot,
bez da sedim u centrali

neke političke partije
i gledam šta su stvarno komentarisali.

Inače nikad neću biti siguran.
Imam ono što ljudi misle.

Tako da sam napravio
neki kompromis i rekao sam:

"OK, ovaj moj sistem ne prepoznaje botove,

prepoznaje šta ljudi misle da su botovi."

Pa sada - nisam ja kriv,
vi ste, koji ste koristili aplikaciju.

(Smeh)

Tako da, ako nekog vređa...

Drugo pitanje:
šta da radim dalje s ovim?

U narednih nedelju dana će se pojaviti
jedan tviter profil "NESHA_BG"

koji će da ostavi, jednom dnevno,
komentar neki nalik onome

što se nalazilo u onih 80.000.

[Pitanja? @mihailo_isakov]

To bi bilo to.
Hvala puno.

(Aplauz)