Ciao, sono Joy, una poetessa della programmazione, in missione per fermare una crescente forza inattesa. Una forza che ho chiamato "sguardo programmato", la mia espressione per la parzialità algoritmica. La parzialità algoritmica, come quella umana, produce ingiustizia. Tuttavia gli algoritmi, come i virus, si possono diffondere su ampia scala in tempi rapidi. La parzialità algoritmica può anche portare a esperienze di esclusione e pratiche discriminatorie. Vi mostro cosa voglio dire. (Video) Joy Buolamwini: Ciao. Ho una faccia. Puoi vedere la mia faccia? Senza occhiali? Puoi vedere la sua faccia. Che dici della mia faccia? Ho qui una maschera. Vedi la mia maschera? Joy Buolamwini: Com'è successo? Perché ero seduta davanti al computer con una maschera bianca, tentando di essere individuata da una webcam economica? Quando non combatto "lo sguardo programmato" da poetessa della programmazione, sono una studentessa di laurea magistrale al Media Lab del MIT, dove ho avuto la opportunità di lavorare su ogni tipo di progetto stravagante, incluso lo Specchio dei Desideri, un progetto che mi consente di proiettare una maschera digitale sul mio riflesso. Così la mattina, se voglio sentirmi forte, posso indossare leone. Se volessi essere rialzata, potrei avere un'altezza. Ho utilizzzato un generico software di riconoscimento facciale per costruire il sistema, ma ho trovato molto difficile provarlo a meno di indossare una maschera bianca. Sfortunatamente, ho già toccato questo tema. Quando ero unastudentessa di Informatica al Georgia Tech ero abituata a lavorare sui robot sociali, e uno dei miei compiti era di far giocare un robot a "booh! chi sono?", un semplice gioco a turni, dove i compagni nascondono la faccia e poi la scoprono dicendo "booh! chi sono?" Il problema è che il gioco non funziona veramente se non vi vedo, e il mio robot non mi poteva vedere. Allora mi sono fatta prestare il volto della mia compagna di stanza, e ho consegnato il compito, e ho pensato che qualcun altro risolvesse il problema. Non molto dopo, ero a Hong Kong per una gara sulla imprenditorialità. Gli organizzatori decisero di scegliere i partecipanti esaminando le start-up locali. Una delle start-up aveva un robot sociale, e loro decisero di fare un demo. Il demo funzionò finché non giunsero a me, e forse indovinate perché. Non poteva individuare la mia faccia. Ho chiesto agli sviluppatori cosa stava succedendo, e risultò che usavano lo stesso software generico di riconoscimento facciale. Dall'altra parte del mondo, ho imparato che la parzialità algoritmica può viaggiare velocemente visto che basta scaricare qualche file da internet. Cosa stava succedendo? Perchè la mia faccia non era riconosciuta? Dobbiamo vedere come diamo la vista alle macchine. La visione tramite computer usa tecniche di auto-apprendimento per il riconoscimento facciale. Come funziona: si creano esempi di facce per l'apprendimento. Questa è una faccia. Anche questa. Questa non è una faccia. Con il tempo, si può insegnare al computer come riconoscere altre facce. Ma se gli esempi per l'addestramento non sono veramente diversi, qualsiasi faccia che devia troppo dalla norma stabilita sarà difficile da riconoscere, che era quanto mi stava capitando. Ma non vi preoccupate, ci sono buone notizie. Gli esempi per l'addestramento non nascono dal nulla. Siamo noi a crearli. C'è quindi la possibilità di creare gruppi di esempi ad ampio spettro che riflettono un più ricco ritratto dell'umanità. Avete ora visto nei miei esempi come tramite i robot sociali ho scopertoa l'esclusione dovuta alla parzialità algoritmica. Ma la parzialità algoritmica può condurre anche a pratiche discriminatorie. Negli USA, i dipartimenti di polizia iniziano a usare software di riconoscimento facciale nel loro arsenale di battaglia al crimine. Georgetown Law ha pubblicato un rapporto che mostra come uno su due adulti in USA, cioè 117 milioni di persone, ha la sua faccia nelle reti per il riconoscimento facciale. I dipartimenti di polizia possono ora utilizzare queste reti non regolamentate, che usano algoritmi non verificati sulla loro accuratezza. Certo si sa che il riconoscimento facciale non è a prova di errore, ed etichettare le facce coerentemente rimane una sfida. Si può vedere ciò anche su Facebook. I miei amici ed io ridiamo quando vediamo altre persone etichettate male nelle nostre foto. Ma identificare male un sospetto criminale non è una cosa da riderci su, neppure violare le nostre libertà civili. Si usa l'apprendimento automatico per il riconoscimento facciale, ma si sta estendendo oltre il campo della visione via computer. Nel suo libro, "Armi per la Distruzione Matematica", la scienzata sui dati Cathy O'Neil ci parla dei crescenti nuovi WMD, algoritmi diffusi, misteriosi e distruttivi che sono sempre più usati per prendere decisioni che influiscono su molti aspetti delle nostre vite. Così, chi viene assunto o licenziato? Ottenete quel mutuo? E la assicurazione? Siete ammessi al college al quale volete andare? Voi ed io paghiamo lo stesso prezzo per lo stesso prodotto comprato sulla stessa piattaforma? [e-commerce] Le forze dell'ordine stanno iniziando a usare l'apprendimento automatico per compiti di "polizia predittiva". Alcuni giudici usano valutazioni di rischio automatiche per determinare quanto tempo una persona deve passare in prigione. Veramente dobbiamo riflettere su queste decisioni. Sono giuste? Abbiamo visto che la parzialità algoritmica non necessariamente porta a esiti giusti. Cosa possiamo fare per questo? Possiamo iniziare a riflettere su come possiamo creare codice più inclusivo e impiegare criteri di codifica inclusivi. In effetti si parte dalle persone. Con chi è interessato al codice. Stiamo veramente creando squadre ad ampio spettro, con diversi individui che possano verificare i punti oscuri dell'altro? Da un punto di vista tecnico, il modo in cui codifichiamo è importante. Stiamo puntando sulla imparzialità quando sviluppiamo i sistemi? E alla fine, perché ci interessa la codifica. Usiamo strumenti di sviluppo elaborativo per liberare immense ricchezze. Ora abbiamo l'opportunità di dar vita a una uguaglianza più vasta se diamo priorità al cambiamento sociale e non lo consideriamo un pensiero aggiuntivo. Vi sono quindi tre principi che sorreggono il movimento di "codifica inclusiva". A chi interessa il codice, come ci interessa il codice e perché ci interessa il codice. Per puntare alla "codifica inclusiva", possiamo partire pensando di costruire piattaforme che possano identificare le parzialità raccogliendo le esperienze delle persone come quelle condivise, ma anche verificando il software esistente. Possiamo anche iniziare a creare un modello formativo più inclusivo. Pensate a una campagna mediatica "Selfie per l'inclusione" dove voi ed io possiamo aiutare gli sviluppatori a provare e creare modelli formativi più inclusivi. Possiamo anche iniziare a riflettere più consciamente sull'impatto sociale della tecnologia che stiamo sviluppando. Per avviare il movimento di "codifica inclusiva", ho lanciato la Lega per la Giustizia Algoritmica, dove ognuno che ha a cuore la giustizia può combattere "lo sguardo programmato". Su codedgaze.com si possono segnalare parzialità, richiedere verifiche, diventare un collaudatore e unirsi alla conversazione corrente, #codedgaze. Vi invito quidi ad unirvi a me nel creare un mondo dove la tecnologia lavori per tutti noi, non solo per qualcuno di noi, un mondo dove diamo valore alla inclusione e ci concentriamo sul cambiamento sociale. Grazie. (Applausi) Ma ho una domanda: Vi unirete a me nella battaglia? (Risate) (Applausi)