Questo è Lee Sedol.

Lee Sedol è uno dei più grandi giocatori
di Go al mondo,

e sta avendo quello che i miei amici
a Silicon Valley dicono

un momento "accidenti" --

(Risate)

un momento in cui 
ci rendiamo conto

che l'IA sta progredendo
molto più rapidamente del previsto.

Gli umani hanno perso a Go.
E nel mondo reale?

Il mondo reale è molto più grande,

molto più complesso del gioco Go.

È molto meno evidente,

ma è comunque un problema di decisione

E se pensiamo ad alcune delle tecnologie

che stanno bollendo in pentola...

Noriko [Arai] ha detto che le macchine
non sono ancora in grado di leggere,

o per lo meno di capire bene.

Ma succederà,

e quando succederà,

a breve,

le macchine dopo avranno letto tutto ciò
che gli umani hanno scritto.

E ciò permetterà alle macchine,

insieme all'abilità di guardare
molto più lontano degli umani,

come abbiamo già visto nel Go,

se avranno anche accesso
a più informazioni,

potranno prendere decisioni migliori
nel mondo reale rispetto a noi.

È una cosa buona?

Speriamo.

Tutta la nostra civiltà,
tutto ciò a cui diamo valore,

è basato sulla nostra intelligenza.

E se avessimo accesso
a molta più intelligenza,

allora non c'è davvero un limite
a ciò che la razza umana può fare.

E credo che ciò possa essere,
come alcuni lo hanno descritto,

l'evento più grande nella storia umana.

Quindi perché le persone dicono cose come

"L'IA potrebbe segnare la fine
della razza umana"?

È una cosa nuova?

Sono solo Elon Musk e Bill Gates
e Stephen Hawking?

In realtà no. Questa idea
circola da un po'.

C'è una citazione:

"Anche se potessimo tenere le macchine
in una posizione subordinata,

ad esempio, staccando la corrente
in momenti strategici" --

e ritornerò più tardi su quell'idea 
di "staccare la corrente"

"dovremmo, come specie,
sentirci fortemente umiliati."

Chi l'ha detto?
Questo è Alan Turing nel 1951.

Alan Turing, come sapete,
è il padre dell'informatica

e per molti versi,
anche il padre dell'IA.

Se pensiamo a questo problema,

il problema di creare qualcosa
di più intelligente della nostra specie,

potremmo chiamarlo 
il "problema del gorilla",

perché gli antenati dei gorilla
lo hanno fatto milioni di anni fa,

e adesso possiamo chiedere loro:

è stata una buona idea?

Qui si stanno incontrando
per discutere se è stata una buona idea,

e dopo un po',
arrivano alla conclusione: no,

è stata un'idea terribile.

La nostra specie è in difficoltà.

In effetti, potete vedere 
la tristezza esistenziale nei loro occhi.

(Risate)

La sensazione nauseante che fare qualcosa 
di più intelligente della propria specie

forse non è una buona idea --

cosa possiamo fare?

Proprio nulla,
se non smettere di produrre IA,

e per tutti i benefici che ho citato,

e siccome sono un ricercatore di IA,

non lo permetterò.

In realtà voglio riuscire
a produrre ancora IA.

In realtà ci occorre
definire un po' di più il problema.

Qual è il vero problema?

Perché un'IA migliore è potenzialmente
una catastrofe?

Ecco un'altra citazione:

"Dovremmo esserne sicuri
che l'obiettivo inserito nella macchina

sia l'obiettivo che desideriamo davvero."

È stato detto da Norbert Wiener nel 1960,

subito dopo che aveva visto 
uno dei primi sistemi di apprendimento

imparare a giocare a scacchi
meglio del proprio creatore.

Ma potrebbe anche essere stato detto

da Re Mida.

Re Mida disse, "Voglio che tutto ciò
che tocco diventi oro,"

e ottenne proprio quello che chiese.

Quello era l'obiettivo
che aveva inserito nella macchina,

per così dire,

e poi il suo cibo, le sue bevande
e i suoi parenti diventarono oro

e morì in miseria e di fame.

Lo chiameremo
"problema di Re Mida"

dichiarare un obiettivo
che non è, in realtà,

proprio conforme a ciò che vogliamo.

In termini moderni, lo chiamiamo
"problema di conformità dei valori."

Dichiarare l'obiettivo sbagliato
non è l'unica parte del problema.

C'è un'altra parte.

Se inserite un obiettivo in una macchina

anche qualcosa di semplice come
"Porta il caffè,"

la macchina dice a se stessa,

"Be', come posso non riuscire
a portare il caffè?

Qualcuno potrebbe spegnermi.

Ok, devo sapere come evitarlo.

Disattiverò il tasto "off".

Farò di tutto per difendermi
dalle interferenze

con questo obiettivo
che mi è stato dato."

Quindi questa ricerca risoluta

in modo molto difensivo di un obiettivo
che non è, in realtà,

conforme ai veri obiettivi
della razza umana --

questo è il problema che affrontiamo.

Infatti, è questo il succo
di questa conferenza.

Se volete ricordare una cosa,

è che voi non potrete
portare il caffè se siete morti.

(Risate)

È molto semplice. Ricordate solo questo.
Ripetetevelo tre volte al giorno.

(Risate)

E in effetti, questa è
esattamente la trama

di "2001: Odissea nello spazio"

HAL ha un obiettivo, una missione,

che non è conforme
all'obiettivo degli umani,

e che porta a questo conflitto.

Adesso per fortuna, HAL
non è super intelligente.

È abbastanza astuto
ma alla fine Dave lo batte

e riesce a spegnerlo.

Ma possiamo non essere così fortunati.

Quindi cosa faremo?

Sto cercando di ridefinire l'IA

per fuggire da questa nozione classica

di macchine che perseguono obiettivi
in modo intelligente.

Ci sono tre principi coinvolti.

Il primo è un principio
di altruismo, se volete,

secondo cui l'unico obiettivo del robot

è massimizzare la realizzazione
degli obiettivi umani,

dei valori umani.

E con valori qui non intendo
valori sdolcinati, da santarellini.

Intendo comunque vogliano
gli esseri umani

che sia la loro vita.

E in realtà ciò viola la legge di Asimov

secondo cui il robot
deve tutelare la sua esistenza.

Non c'è alcun interesse 
nel preservare la sua esistenza.

La seconda legge è una legge
di umiltà, se volete.

E si rivela essere davvero importante
per rendere sicuri i robot.

Dice che il robot non sa

quali sono questi valori umani,

quindi li deve massimizzare,
ma non sa cosa sono.

E questo evita questo problema
della caccia risoluta

di un obiettivo.

Questa incertezza si rivela cruciale.

Per essere utile a noi,

deve avere un'idea di quello che vogliamo.

Lui ottiene l'informazione in primo luogo
dall'osservazione delle scelte umane,

quindi le nostre scelte rivelano
delle informazioni

su ciò che vogliamo
che le nostre vite siano.

Quindi questi sono i tre principi.

Vediamo come si applicano
alla seguente domanda:

"Riuscite a spegnere la macchina?"
come suggeriva Turing.

Ecco un robot PR2.

È uno che abbiamo in laboratorio,

e ha un gran pulsante "off"
sul dorso.

La domanda è: ti permetterà
di spegnerlo?

Col metodo classico,

gli diamo l'obiettivo,
"Porta il caffè, devo portare il caffè,

non posso portare il caffè se sono morto,"

quindi ovviamente il PR2
ha ascoltato il mio discorso,

e quindi dice,
"Devo disabilitare il pulsante 'off'",

e forse stordire tutte le altre persone
nello Starbucks

che possono interferire con me."

(Risate)

Sembra inevitabile, giusto?

Questa modalità di guasto
sembra inevitabile,

e deriva dall'avere un obiettivo
concreto e definito.

Quindi cosa succede se la macchina
è incerta sull'obiettivo?

Ragiona in modo diverso.

Dice, "Ok, l'essere umano
può spegnermi,

ma soltanto se sbaglio qualcosa.

Non so bene cos'è sbagliato,

ma so che non voglio farlo."

Quindi, questi sono il primo
e il secondo principio.

"Quindi devo lasciare
che l'uomo mi spenga."

E in effetti potete calcolare
lo stimolo che riceve il robot

per permettere all'uomo di spegnerlo,

ed è direttamente legato 
al grado di incertezza

dell'obiettivo di fondo.

Poi quando la macchina viene spenta,

entra in gioco il terzo principio.

Lui impara qualcosa sugli obiettivi
che deve perseguire,

perché impara 
che ciò che ha fatto non era corretto.

In realtà possiamo, con un uso adeguato
di simboli greci,

come fanno solitamente i matematici,

possiamo davvero dimostrare un teorema

che dice che un robot del genere
è certamente vantaggioso agli umani.

Voi siete certamente migliori
con una macchina programmata in tale modo

che senza.

È un esempio molto semplice,
ma è il primo passo

che proviamo a fare
con l'IA compatibile con gli umani.

Questo terzo principio,

credo sia quello
che fa grattare la testa.

Probabilmente starete pensando,
"Mi comporto male.

Non voglio che il mio robot
si comporti come me.

Io sgattaiolo nel cuore della notte
e prendo roba dal frigo.

Faccio questo e quello."

Ci sono un sacco di cose
che non volete il robot faccia.

Ma in realtà, non funziona
sempre così.

Solo perché vi comportate male

non significa che il robot
copierà il vostro comportamento.

Capirà le vostre motivazioni
e forse potrebbe aiutarvi a resistere,

eventualmente.

Ma è comunque difficile.

Quello che proviamo a fare, in realtà,

è permettere alle macchine di prevedere
per chiunque e per ogni possibile vita

che potrebbe vivere,

e le vite di tutti gli altri:

quale preferirebbero?

E le difficoltà sono molte;

non mi aspetto 
che si risolva velocemente.

La vera difficoltà, in realtà, siamo noi.

Come ho già detto,
noi ci comportiamo male.

Anzi, alcuni di noi sono molto cattivi.

Il robot, come ho detto,
non deve copiare il comportamento.

Il robot non ha obiettivi propri.

È puramente altruista.

E non è programmato solo per soddisfare
i desideri di una persona, l'utente,

ma deve rispettare
le preferenze di ognuno.

Quindi può avere a che fare
con una certa cattiveria,

e può anche capire 
la vostra cattiveria, per esempio,

potete farvi corrompere 
da agente doganale

perché dovete sfamare
la famiglia e mandare i bambini a scuola.

Lui è in grado di capirlo;
non significa che andrà a rubare.

Anzi, vi aiuterà
a mandare i vostri bambini a scuola.

Noi siamo anche limitati nei calcoli.

Lee Sedol è un brillante giocatore di Go,

ma ha comunque perso.

Osservando le sue mosse, 
ne ha fatta una che gli ha fatto perdere.

Non significa che voleva perdere.

Quindi per capire il suo comportamento,

dobbiamo invertire
con un modello di cognizione umana

che include i nostri limiti di calcolo --
un modello molto complicato.

Ma possiamo comunque cercare di capirlo.

Forse la parte più complicata,
dal punto di vista di ricercatore di IA,

è il fatto che siamo molti,

e quindi la macchina deve in qualche modo
alternare, soppesare le preferenze

di tante persone diverse,

e ci sono diversi modi per farlo.

Economisti, sociologi,
filosofi morali lo hanno capito,

e stiamo attivamente
cercando collaborazione.

Diamo un'occhiata a quel che succede
quando commettete uno sbaglio.

Potete conversare, per esempio,

col vostro assistente personale 
intelligente

che potrebbe essere disponibile
tra pochi anni.

Pensate a Siri sotto steroidi.

Siri dice, "Tua moglie ha chiamato
per ricordarti della cena stasera."

Ovviamente, l'avevate dimenticato.
"Cosa? Quale cena?

Di cosa stai parlando?"

"Ehm, il tuo 20° anniversario alle 7."

"Non posso farlo. Mi incontrerò
col segretario generale alle 7:30.

Come può essere successo?"

"Io ti ho avvertito, ma tu hai ignorato 
la mia raccomandazione."

"Cosa faccio? Non posso dirgli
che sono impegnato."

"Non preoccuparti. 
Ho fatto ritardare il suo aereo."

(Risate)

"Una specie di guasto al computer."

(Risate)

"Davvero? Puoi farlo?"

"Si scusa tantissimo

e non vede l'ora di incontrarti
a pranzo domani."

(Risate)

Quindi i valori qui --
si è verificato un piccolo errore.

Questo segue chiaramente
i valori di mia moglie

cioè "Felice la moglie, felice la vita."

(Risate)

Potrebbe andare diversamente.

Potreste tornare a casa
dopo una dura giornata di lavoro,

e il computer dice, "Giornata lunga?"

"Sì, non ho avuto nemmeno il tempo
di pranzare."

"Devi avere molta fame."

"Sto morendo di fame, sì.
Puoi prepararmi la cena?"

"Devo dirti una cosa."

(Risate)

"Ci sono persone nel sud del Sudan
che hanno un bisogno più urgente del tuo."

(Risate)

"Quindi me ne vado. Preparati tu la cena."

(Risate)

Dobbiamo risolvere questi problemi,

e non vedo l'ora di lavorarci.

Ci sono motivi per essere ottimisti.

Un motivo è,

c'è una grande quantità di dati.

Perché ricordate -- 
ho detto che leggeranno tutto ciò

che la razza umana ha scritto.

Gran parte di ciò che scriviamo
è su uomini che fanno cose

e altri che se la prendono per questo.

Quindi c'è una grande mole di dati
da cui imparare.

C'è anche un incentivo
economico molto forte

per farlo bene.

Immaginate il vostro robot domestico
a casa.

Siete ancora in ritardo dal lavoro
e il robot deve sfamare i bambini,

e i bambini sono affamati
e non c'è niente nel frigo.

E il robot vede il gatto.

(Risate)

E il robot non ha ancora imparato
i valori umani in modo corretto,

quindi non capisce

che il valore sentimentale del gatto
supera il suo valore nutrizionale.

(Risate)

Quindi cosa succede?

Be', succede questo:

"Robot folle cucina il micio
per la cena di famiglia."

Quell'unico incidente sarebbe la fine
dell'industria del robot domestico.

Quindi c'è un enorme incentivo
per farlo bene

molto prima che arriviamo
alle macchine super intelligenti.

Quindi per riassumere:

sto cercando di cambiare
la definizione di IA

così che probabilmente
avremo macchine vantaggiose.

E i principi sono:

macchine che siano altruiste,

che vogliono raggiungere
solo i nostri obiettivi,

ma che sono incerti
sui loro obiettivi,

e che guarderanno tutti noi

per imparare di più
su cosa vogliamo veramente.

E se tutto va bene, in tutto ciò
impareremo ad essere persone migliori.

Grazie tante.

(Applausi)

C. Anderson: Molto interessante, Stuart.

Staremo qui un po'
perché credo che stiano preparando

per il prossimo relatore.

Un paio di domande.

L'idea di programmare nell'ignoranza
sembra intuitivamente molto potente.

Quando giungi alla super intelligenza,

cosa fermerà un robot

dal leggere letteratura e scoprire
l'idea che la conoscenza

sia migliore dell'ignoranza,

e lo indurrà a spostare le sue finalità
e riscrivere la programmazione?

Stuart Russell: Sì, vogliamo
imparare meglio, come ho detto,

sui nostri obiettivi.

Diventerà più sicuro solo
quando diventerà più corretto,

quindi la prova è questa

e sarà progettata
per interpretarla correttamente.

Capirà, per esempio,
che i libri sono molto prevenuti

in ciò che contengono.

Parlano solo di re e principi

e di élite di maschi bianchi
che fanno cose.

Quindi è un problema complicato,

ma siccome impara di più
sui nostri obiettivi

diventerà ancora più utile per noi.

CA: E non potresti soltanto
limitarti a una legge,

sai, programmata così:

"se un umano cerca di spegnermi,

lo assecondo. Lo assecondo."

SR: Assolutamente no.

Sarebbe un'idea terribile.

Immaginate di avere
una macchina che si guida da sola

e volete mandare vostro figlio
di cinque anni

all'asilo.

Volete che vostro figlio
sia capace di spegnere la macchina

mentre va in giro?

Probabilmente no.

Quindi deve capire quanto razionale
e sensibile sia la persona.

Più razionale è la persona,

più disponibile siete
a essere spenti.

Se la persona è del tutto ignota
o perfino malvagia,

allora sarete meno disponibili
a essere spenti.

CA: Giusto. Stuart, posso dire solo,

spero davvero, davvero che tu
lo scopra per noi.

Grazie per questa conferenza.
È stata fantastica.

SR: Grazie.

(Applausi)