Jak bojuji s předsudky v algoritmech

Absolventka MIT Joy Buolamwini pracovala na software pro rozpoznávání tváří, když si všimla problému: software nerozpoznal její tvář -- protože lidé, kteří kódovali algoritmus nevzali v úvahu širokou škálu barev kůže a obličejových struktur. Nyní bojuje proti předsudkům ve strojovém učení, jevu, který nazývá "zakódovaný pohled". Oči otevírající přednáška o nutné zodpovědnosti v kódování ... když algoritmy přebírají více a více aspektů našich životů.

Ahoj, jsem Joy, básnířka kódu,

na misi usilující o zastavení síly,
která je na vzestupu,

síle zvané „zakódovaný pohled“,

můj termín pro algoritmický předsudek.

Algoritmický předsudek, stejně jako lidský
směřuje k neférovosti.

Nicméně, podobně jako virusy,
algoritmy mohou šířit předsudky

masově a velmi rychle.

Algoritmický předsudek může také
vést k vyloučení

a diskriminujícím praktikám.

Ukážu vám, co mám na mysli.

(video) Joy: Ahoj, kamero.
Mám obličej.

Vidíte můj obličej?

Obličej bez brýlí?

Vidíte i její tvář.

A co tu mou?

Mám masku. Vidíte tu masku?

Joy: Jak se to přihodilo?

Proč sedím před počítačem

v bílé masce ve snaze

nechat se identifikovat levnou webkamerou?

Když nebojuji proti zakódovanému pohledu

jako básnířka kódu,

jsem studentkou Media Lab na MIT,

kde mám možnost pracovat
na celé řadě zvláštních projektů,

třeba i na projektu Zrcadla Aspire,

kde jsem se pokusila promítnout
digitální masku na můj odraz.

Takže ráno, když jsem se
chtěla cítit silná,

mohla jsem si nasadit lva.

Pokud jsem chtěla povzbudit,
mohla jsem mít citát.

Takže jsem použila generický
software na rozpoznávání obličeje

pro výstavbu tohoto systému,

ale bylo obtížné jej testovat,
pokud jsem neměla bílou masku.

Naneštěstí jsem na tento problém
narazila již dříve.

Když jsem studovala na Georgia Tech
počítačovou vědu,

pracovala jsem na sociálních robotech

a jedním z mých úkolů bylo přimět
robota hrát na schovávanou,

jednoduchou hru,

kde si partneři zahalí své tváře
a po odhalení říkají „Ku ku ku!!“

Problém je, že to nefunguje,
pokud se nevidíte,

a můj robot mne nemohl vidět.

Abych dokončila tento projekt,
půjčila jsem si obličej spolubydlícího,

odevzdala úkol

a řekla si, že někdo jiný jistě
vyřeší tento problém.

Zanedlouho jsem byla v Hong Kongu

na podnikatelské soutěži.

Organizátoři vzali účastníky

na prohlídku místních start-upů.

Jeden ze start-upů měl
společenského robota

a rozhodli se nám jej ukázat.

Demo pracovalo na každém,
než se dostali ke mně

a asi uhádnete, co se stalo.

Nedokázala detekovat mou tvář.

Zeptala jsem se developerů,
co se děje a ukázalo se,

že použili stejný generický software
pro rozpoznávání obličeje.

Na druhé straně polokoule jsem zjistila,

že algoritmický předsudek
může cestovat tak rychle,

jak dlouho trvá stažení
několika souborů na počítači.

Takže co se děje?
Proč můj obličej nebyl rozpoznán?

Musíme se podívat na to,
jak umožňujeme strojům vidět.

Počítačový zrak používá
techniky strojového učení,

aby rozpoznal obličeje.

Funguje to tak, že vytvoříte
tréninkovou sadu s ukázkami tváří.

To je tvář. To je tvář.
To není tvář.

A za čas můžete naučit počítač,
jak rozpoznat jiné tváře.

Ale pokud nejsou tréninkové sady
dost rozmanité,

každá tvář, která se příliš vzdaluje
od etablované normy

bude obtížně zjistitelná,

což je to, co se stává mně.

Ale nebojte se - jsou i dobré zprávy.

Tréningové sety se neobjevují z ničeho.

Ve skutečnosti je tvoříme my.

Existuje tedy příležitost vytvořit
plné spektrum tréninkových setů,

které reflektují pestřejší obraz lidstva.

Jak vidíte, díky společenským robotům

jsem přišla na vyloučení

způsobené algoritmickým předsudkem.

Tento předsudek může ale také vést
k diskriminačním praktikám.

Policejní oddělení v USA

začínají používat software
na rozpoznávání obličeje

jako nástroj boje proti zločinu.

Gergetown Law publikovalo
zprávu ukazující,

že jeden ze dvou dospělých v USA -
to je ze 117 milionů lidí -

mají svou tvář v sítích
na rozpoznávání tváře.

Policie se na tyto sítě může dívat
bez regulace,

při použití algoritmů, které nebyly
auditovány na přesnost.

A to víme, že rozpoznání tváře
není neomylné

a označování tváří stále zůstává výzvou.

Mohli jste to vidět na facebooku.

S přáteli se vždy smějeme,

když vidíme špatně označené lidi
na fotkách.

Ale není k smíchu
špatně označený podezřelý,

ani porušování našich občanských práv.

Pro rozpoznání tváře
je používáno strojové učení,

ale toto zasahuje za říši vidění počítače.

Ve své knize „Zbraně matematického ničení“

Cathy O´Neil, analytička dat,
hovoří o vzestupu nových zbraní -

široce rozšířených, záhadných
a destruktivních algoritmů,

které mají dopad na více aspektů
našich životů

a jsou ve vzrůstající míře užívány
pro rozhodování.

Takže koho přijmou, koho vyhodí?

Kdo dostane půjčku?
Kdo bude pojištěn?

Budete přijati na školu,
na kterou chcete?

Zaplatíme vy i já stejnou cenu
za stejný produkt,

zakoupený na stejné platformě?

Policie také začíná
využívat strojové učení

pro prediktivní ochranu.

Někteří soudci využívají strojem
generované hodnocení rizik pro určení,

jak dlouho má člověk zůstat ve vězení.

Opravdu musíme přemýšlet
o těchto rozhodnutích.

Jsou férová?

Viděli jsme, že algoritmický předsudek

nemusí vždy vést k férovým výsledkům.

Co s tím můžeme dělat?

Můžeme začít uvažovat
o tvorbě inkluzivnějšího kódu

a užívat inkluzivní techniky kódování.

Opravdu to začíná lidmi.

Záleží na tom, kdo kóduje.

Vytváříme široké týmy
s různými osobnostmi,

kteří si vzájemně mohou kontrolovat
slepá místa?

Po technické stránce záleží na tom,
jak kódujeme.

Zahrnujeme férovost do vyvíjených systémů?

Nakonec záleží na tom, proč kódujeme.

Využili jsme nástroje pro tvorbu,
odemykající obrovské bohatství.

Máme příležitost otevřít
ještě větší rovnost,

pokud sociální změně dáme prioritu

a nebudeme na ni pouze vzpomínat.

To jsou tři zásady,
které jsou součástí tohoto hnutí.

Záleží na tom, kdo kóduje,

jak kódujeme

a proč kódujeme.

Takže můžeme začít přemýšlet

o vytváření platformy
identifikující předsudky,

sbírání takových zkušeností,
kterou jsem vám vyprávěla,

ale také auditování existujícího software.

Také můžeme vytvářet
inkluzivnější tréninkové sety.

Přestavte si kampaň „Selfie pro inkluzi“,

kde já a vy můžeme pomoci
developerům testovat a vytvořit

inkluzivnější tréninkové sety.

Také můžeme začít přemýšlet svědomitěji

o sociálních důsledcích technologií,
které vytváříme.

K nastartování tohoto hnutí

jsem vytvořila algoritmickou
Ligu spravedlivých,

kde kdokoli může pomoci
proti „zakódovanému pohledu“.

Na codedgaze.com můžete dát vědět
o předsudku,

požádat si o audit, stát se testerem,

nebo se zapojit do probíhající diskuse,

#codedgaze.

Takže vás zvu, abyste se ke mně přidali

ve vytváření světa, kde technologie
pracuje pro všechny,

ne jen pro některé,

svět, ve kterém si ceníme inkluze
a soustředíme se na sociální změnu.

Děkuji.

(potlesk)

Mám ale jednu otázku:

Přidáte se k mému boji?

(smích)

(potlesk)