Come sto combattendo la parzialità algoritmica

Joy Buolamwini, studentessa magistrale al MIT, stava lavorando sul software di riconoscimento facciale quando si è accorta di un problema: il software non riconosceva la sua faccia, poiché chi aveva programmato l'algoritmo non aveva pensato a come identificare un'ampia gamma di colori di pelle e di strutture facciali. Ora lei si è impegnata nella missione di combattere la parzialità nell'apprendimento automatico, un fenomeno che lei chiama "lo sguardo programmato". Questa è una conferenza che ci apre gli occhi sulla necessità di responsabilizzare il modo di codificare i programmi... visto che gli algoritmi coinvolgono sempre più aspetti della nostra vita.

Ciao, sono Joy, una poetessa
della programmazione,

in missione per fermare
una crescente forza inattesa.

Una forza che ho chiamato
"sguardo programmato",

la mia espressione
per la parzialità algoritmica.

La parzialità algoritmica,
come quella umana, produce ingiustizia.

Tuttavia gli algoritmi, come i virus,
si possono diffondere su ampia scala

in tempi rapidi.

La parzialità algoritmica può anche
portare a esperienze di esclusione

e pratiche discriminatorie.

Vi mostro cosa voglio dire.

(Video) Joy Buolamwini: Ciao.
Ho una faccia.

Puoi vedere la mia faccia?

Senza occhiali?

Puoi vedere la sua faccia.

Che dici della mia faccia?

Ho qui una maschera.
Vedi la mia maschera?

Joy Buolamwini: Com'è successo?

Perché ero seduta davanti al computer

con una maschera bianca,

tentando di essere individuata
da una webcam economica?

Quando non combatto
"lo sguardo programmato"

da poetessa
della programmazione,

sono una studentessa di laurea magistrale
al Media Lab del MIT,

dove ho avuto la opportunità di lavorare
su ogni tipo di progetto stravagante,

incluso lo Specchio dei Desideri,

un progetto che mi consente di proiettare
una maschera digitale sul mio riflesso.

Così la mattina, se voglio sentirmi forte,

posso indossare leone.

Se volessi essere rialzata,
potrei avere un'altezza.

Ho utilizzzato un generico software
di riconoscimento facciale

per costruire il sistema,

ma ho trovato molto difficile provarlo
a meno di indossare una maschera bianca.

Sfortunatamente,
ho già toccato questo tema.

Quando ero unastudentessa di Informatica
al Georgia Tech

ero abituata a lavorare sui robot sociali,

e uno dei miei compiti era di far giocare
un robot a "booh! chi sono?",

un semplice gioco a turni,

dove i compagni nascondono la faccia e
poi la scoprono dicendo "booh! chi sono?"

Il problema è che il gioco non funziona
veramente se non vi vedo,

e il mio robot non mi poteva vedere.

Allora mi sono fatta prestare il volto
della mia compagna di stanza,

e ho consegnato il compito,

e ho pensato che qualcun altro
risolvesse il problema.

Non molto dopo,

ero a Hong Kong per una gara
sulla imprenditorialità.

Gli organizzatori decisero
di scegliere i partecipanti

esaminando le start-up locali.

Una delle start-up aveva un robot sociale,

e loro decisero di fare un demo.

Il demo funzionò finché non giunsero a me,

e forse indovinate perché.

Non poteva individuare la mia faccia.

Ho chiesto agli sviluppatori
cosa stava succedendo,

e risultò che usavano lo stesso software
generico di riconoscimento facciale.

Dall'altra parte del mondo,

ho imparato che la parzialità algoritmica
può viaggiare velocemente

visto che basta scaricare qualche file
da internet.

Cosa stava succedendo?
Perchè la mia faccia non era riconosciuta?

Dobbiamo vedere come
diamo la vista alle macchine.

La visione tramite computer usa
tecniche di auto-apprendimento

per il riconoscimento facciale.

Come funziona: si creano esempi di facce
per l'apprendimento.

Questa è una faccia. Anche questa.
Questa non è una faccia.

Con il tempo, si può insegnare al computer
come riconoscere altre facce.

Ma se gli esempi per l'addestramento
non sono veramente diversi,

qualsiasi faccia che devia troppo
dalla norma stabilita

sarà difficile da riconoscere,

che era quanto mi stava capitando.

Ma non vi preoccupate,
ci sono buone notizie.

Gli esempi per l'addestramento
non nascono dal nulla.

Siamo noi a crearli.

C'è quindi la possibilità di creare gruppi
di esempi ad ampio spettro

che riflettono un più ricco
ritratto dell'umanità.

Avete ora visto nei miei esempi

come tramite i robot sociali

ho scopertoa l'esclusione
dovuta alla parzialità algoritmica.

Ma la parzialità algoritmica può condurre
anche a pratiche discriminatorie.

Negli USA,

i dipartimenti di polizia iniziano a usare
software di riconoscimento facciale

nel loro arsenale di battaglia al crimine.

Georgetown Law ha pubblicato un rapporto

che mostra come uno su due adulti in USA,
cioè 117 milioni di persone,

ha la sua faccia nelle reti
per il riconoscimento facciale.

I dipartimenti di polizia possono ora
utilizzare queste reti non regolamentate,

che usano algoritmi non verificati
sulla loro accuratezza.

Certo si sa che il riconoscimento
facciale non è a prova di errore,

ed etichettare le facce coerentemente
rimane una sfida.

Si può vedere ciò anche su Facebook.

I miei amici ed io ridiamo quando
vediamo altre persone

etichettate male nelle nostre foto.

Ma identificare male un sospetto criminale
non è una cosa da riderci su,

neppure violare le nostre libertà civili.

Si usa l'apprendimento automatico
per il riconoscimento facciale,

ma si sta estendendo oltre il campo
della visione via computer.

Nel suo libro,
"Armi per la Distruzione Matematica",

la scienzata sui dati Cathy O'Neil
ci parla dei crescenti nuovi WMD,

algoritmi diffusi,
misteriosi e distruttivi

che sono sempre più usati
per prendere decisioni

che influiscono su molti aspetti
delle nostre vite.

Così, chi viene assunto o licenziato?

Ottenete quel mutuo?
E la assicurazione?

Siete ammessi al college
al quale volete andare?

Voi ed io paghiamo lo stesso prezzo
per lo stesso prodotto

comprato sulla stessa piattaforma?
[e-commerce]

Le forze dell'ordine stanno iniziando
a usare l'apprendimento automatico

per compiti di "polizia predittiva".

Alcuni giudici usano valutazioni
di rischio automatiche per determinare

quanto tempo una persona
deve passare in prigione.

Veramente dobbiamo riflettere
su queste decisioni.

Sono giuste?

Abbiamo visto che
la parzialità algoritmica

non necessariamente porta
a esiti giusti.

Cosa possiamo fare per questo?

Possiamo iniziare a riflettere su come
possiamo creare codice più inclusivo

e impiegare criteri di codifica inclusivi.

In effetti si parte dalle persone.

Con chi è interessato al codice.

Stiamo veramente creando squadre
ad ampio spettro, con diversi individui

che possano verificare
i punti oscuri dell'altro?

Da un punto di vista tecnico,
il modo in cui codifichiamo è importante.

Stiamo puntando sulla imparzialità
quando sviluppiamo i sistemi?

E alla fine, perché
ci interessa la codifica.

Usiamo strumenti di sviluppo elaborativo
per liberare immense ricchezze.

Ora abbiamo l'opportunità di dar vita
a una uguaglianza più vasta

se diamo priorità al cambiamento sociale

e non lo consideriamo
un pensiero aggiuntivo.

Vi sono quindi tre principi che sorreggono
il movimento di "codifica inclusiva".

A chi interessa il codice,

come ci interessa il codice

e perché ci interessa il codice.

Per puntare alla "codifica inclusiva",
possiamo partire pensando

di costruire piattaforme che possano
identificare le parzialità

raccogliendo le esperienze delle persone
come quelle condivise,

ma anche verificando
il software esistente.

Possiamo anche iniziare a creare
un modello formativo più inclusivo.

Pensate a una campagna mediatica
"Selfie per l'inclusione"

dove voi ed io possiamo aiutare
gli sviluppatori a provare e creare

modelli formativi più inclusivi.

Possiamo anche iniziare a riflettere
più consciamente

sull'impatto sociale della tecnologia
che stiamo sviluppando.

Per avviare il movimento
di "codifica inclusiva",

ho lanciato la Lega per
la Giustizia Algoritmica,

dove ognuno che ha a cuore la giustizia
può combattere "lo sguardo programmato".

Su codedgaze.com si possono
segnalare parzialità,

richiedere verifiche,
diventare un collaudatore

e unirsi alla conversazione corrente,

#codedgaze.

Vi invito quidi ad unirvi a me

nel creare un mondo dove la tecnologia
lavori per tutti noi,

non solo per qualcuno di noi,

un mondo dove diamo valore alla inclusione
e ci concentriamo sul cambiamento sociale.

Grazie.

(Applausi)

Ma ho una domanda:

Vi unirete a me nella battaglia?

(Risate)

(Applausi)