Questo è Lee Sedol.
Lee Sedol è uno dei più grandi giocatori di Go al mondo,
e sta avendo quello che i miei amici a Silicon Valley dicono
un momento "accidenti" --
(Risate)
un momento in cui ci rendiamo conto
che l'IA sta progredendo molto più rapidamente del previsto.
Gli umani hanno perso a Go. E nel mondo reale?
Il mondo reale è molto più grande,
molto più complesso del gioco Go.
È molto meno evidente,
ma è comunque un problema di decisione
E se pensiamo ad alcune delle tecnologie
che stanno bollendo in pentola...
Noriko [Arai] ha detto che le macchine non sono ancora in grado di leggere,
o per lo meno di capire bene.
Ma succederà,
e quando succederà,
a breve,
le macchine dopo avranno letto tutto ciò che gli umani hanno scritto.
E ciò permetterà alle macchine,
insieme all'abilità di guardare molto più lontano degli umani,
come abbiamo già visto nel Go,
se avranno anche accesso a più informazioni,
potranno prendere decisioni migliori nel mondo reale rispetto a noi.
È una cosa buona?
Speriamo.
Tutta la nostra civiltà, tutto ciò a cui diamo valore,
è basato sulla nostra intelligenza.
E se avessimo accesso a molta più intelligenza,
allora non c'è davvero un limite a ciò che la razza umana può fare.
E credo che ciò possa essere, come alcuni lo hanno descritto,
l'evento più grande nella storia umana.
Quindi perché le persone dicono cose come
"L'IA potrebbe segnare la fine della razza umana"?
È una cosa nuova?
Sono solo Elon Musk e Bill Gates e Stephen Hawking?
In realtà no. Questa idea circola da un po'.
C'è una citazione:
"Anche se potessimo tenere le macchine in una posizione subordinata,
ad esempio, staccando la corrente in momenti strategici" --
e ritornerò più tardi su quell'idea di "staccare la corrente"
"dovremmo, come specie, sentirci fortemente umiliati."
Chi l'ha detto? Questo è Alan Turing nel 1951.
Alan Turing, come sapete, è il padre dell'informatica
e per molti versi, anche il padre dell'IA.
Se pensiamo a questo problema,
il problema di creare qualcosa di più intelligente della nostra specie,
potremmo chiamarlo il "problema del gorilla",
perché gli antenati dei gorilla lo hanno fatto milioni di anni fa,
e adesso possiamo chiedere loro:
è stata una buona idea?
Qui si stanno incontrando per discutere se è stata una buona idea,
e dopo un po', arrivano alla conclusione: no,
è stata un'idea terribile.
La nostra specie è in difficoltà.
In effetti, potete vedere la tristezza esistenziale nei loro occhi.
(Risate)
La sensazione nauseante che fare qualcosa di più intelligente della propria specie
forse non è una buona idea --
cosa possiamo fare?
Proprio nulla, se non smettere di produrre IA,
e per tutti i benefici che ho citato,
e siccome sono un ricercatore di IA,
non lo permetterò.
In realtà voglio riuscire a produrre ancora IA.
In realtà ci occorre definire un po' di più il problema.
Qual è il vero problema?
Perché un'IA migliore è potenzialmente una catastrofe?
Ecco un'altra citazione:
"Dovremmo esserne sicuri che l'obiettivo inserito nella macchina
sia l'obiettivo che desideriamo davvero."
È stato detto da Norbert Wiener nel 1960,
subito dopo che aveva visto uno dei primi sistemi di apprendimento
imparare a giocare a scacchi meglio del proprio creatore.
Ma potrebbe anche essere stato detto
da Re Mida.
Re Mida disse, "Voglio che tutto ciò che tocco diventi oro,"
e ottenne proprio quello che chiese.
Quello era l'obiettivo che aveva inserito nella macchina,
per così dire,
e poi il suo cibo, le sue bevande e i suoi parenti diventarono oro
e morì in miseria e di fame.
Lo chiameremo "problema di Re Mida"
dichiarare un obiettivo che non è, in realtà,
proprio conforme a ciò che vogliamo.
In termini moderni, lo chiamiamo "problema di conformità dei valori."
Dichiarare l'obiettivo sbagliato non è l'unica parte del problema.
C'è un'altra parte.
Se inserite un obiettivo in una macchina
anche qualcosa di semplice come "Porta il caffè,"
la macchina dice a se stessa,
"Be', come posso non riuscire a portare il caffè?
Qualcuno potrebbe spegnermi.
Ok, devo sapere come evitarlo.
Disattiverò il tasto "off".
Farò di tutto per difendermi dalle interferenze
con questo obiettivo che mi è stato dato."
Quindi questa ricerca risoluta
in modo molto difensivo di un obiettivo che non è, in realtà,
conforme ai veri obiettivi della razza umana --
questo è il problema che affrontiamo.
Infatti, è questo il succo di questa conferenza.
Se volete ricordare una cosa,
è che voi non potrete portare il caffè se siete morti.
(Risate)
È molto semplice. Ricordate solo questo. Ripetetevelo tre volte al giorno.
(Risate)
E in effetti, questa è esattamente la trama
di "2001: Odissea nello spazio"
HAL ha un obiettivo, una missione,
che non è conforme all'obiettivo degli umani,
e che porta a questo conflitto.
Adesso per fortuna, HAL non è super intelligente.
È abbastanza astuto ma alla fine Dave lo batte
e riesce a spegnerlo.
Ma possiamo non essere così fortunati.
Quindi cosa faremo?
Sto cercando di ridefinire l'IA
per fuggire da questa nozione classica
di macchine che perseguono obiettivi in modo intelligente.
Ci sono tre principi coinvolti.
Il primo è un principio di altruismo, se volete,
secondo cui l'unico obiettivo del robot
è massimizzare la realizzazione degli obiettivi umani,
dei valori umani.
E con valori qui non intendo valori sdolcinati, da santarellini.
Intendo comunque vogliano gli esseri umani
che sia la loro vita.
E in realtà ciò viola la legge di Asimov
secondo cui il robot deve tutelare la sua esistenza.
Non c'è alcun interesse nel preservare la sua esistenza.
La seconda legge è una legge di umiltà, se volete.
E si rivela essere davvero importante per rendere sicuri i robot.
Dice che il robot non sa
quali sono questi valori umani,
quindi li deve massimizzare, ma non sa cosa sono.
E questo evita questo problema della caccia risoluta
di un obiettivo.
Questa incertezza si rivela cruciale.
Per essere utile a noi,
deve avere un'idea di quello che vogliamo.
Lui ottiene l'informazione in primo luogo dall'osservazione delle scelte umane,
quindi le nostre scelte rivelano delle informazioni
su ciò che vogliamo che le nostre vite siano.
Quindi questi sono i tre principi.
Vediamo come si applicano alla seguente domanda:
"Riuscite a spegnere la macchina?" come suggeriva Turing.
Ecco un robot PR2.
È uno che abbiamo in laboratorio,
e ha un gran pulsante "off" sul dorso.
La domanda è: ti permetterà di spegnerlo?
Col metodo classico,
gli diamo l'obiettivo, "Porta il caffè, devo portare il caffè,
non posso portare il caffè se sono morto,"
quindi ovviamente il PR2 ha ascoltato il mio discorso,
e quindi dice, "Devo disabilitare il pulsante 'off'",
e forse stordire tutte le altre persone nello Starbucks
che possono interferire con me."
(Risate)
Sembra inevitabile, giusto?
Questa modalità di guasto sembra inevitabile,
e deriva dall'avere un obiettivo concreto e definito.
Quindi cosa succede se la macchina è incerta sull'obiettivo?
Ragiona in modo diverso.
Dice, "Ok, l'essere umano può spegnermi,
ma soltanto se sbaglio qualcosa.
Non so bene cos'è sbagliato,
ma so che non voglio farlo."
Quindi, questi sono il primo e il secondo principio.
"Quindi devo lasciare che l'uomo mi spenga."
E in effetti potete calcolare lo stimolo che riceve il robot
per permettere all'uomo di spegnerlo,
ed è direttamente legato al grado di incertezza
dell'obiettivo di fondo.
Poi quando la macchina viene spenta,
entra in gioco il terzo principio.
Lui impara qualcosa sugli obiettivi che deve perseguire,
perché impara che ciò che ha fatto non era corretto.
In realtà possiamo, con un uso adeguato di simboli greci,
come fanno solitamente i matematici,
possiamo davvero dimostrare un teorema
che dice che un robot del genere è certamente vantaggioso agli umani.
Voi siete certamente migliori con una macchina programmata in tale modo
che senza.
È un esempio molto semplice, ma è il primo passo
che proviamo a fare con l'IA compatibile con gli umani.
Questo terzo principio,
credo sia quello che fa grattare la testa.
Probabilmente starete pensando, "Mi comporto male.
Non voglio che il mio robot si comporti come me.
Io sgattaiolo nel cuore della notte e prendo roba dal frigo.
Faccio questo e quello."
Ci sono un sacco di cose che non volete il robot faccia.
Ma in realtà, non funziona sempre così.
Solo perché vi comportate male
non significa che il robot copierà il vostro comportamento.
Capirà le vostre motivazioni e forse potrebbe aiutarvi a resistere,
eventualmente.
Ma è comunque difficile.
Quello che proviamo a fare, in realtà,
è permettere alle macchine di prevedere per chiunque e per ogni possibile vita
che potrebbe vivere,
e le vite di tutti gli altri:
quale preferirebbero?
E le difficoltà sono molte;
non mi aspetto che si risolva velocemente.
La vera difficoltà, in realtà, siamo noi.
Come ho già detto, noi ci comportiamo male.
Anzi, alcuni di noi sono molto cattivi.
Il robot, come ho detto, non deve copiare il comportamento.
Il robot non ha obiettivi propri.
È puramente altruista.
E non è programmato solo per soddisfare i desideri di una persona, l'utente,
ma deve rispettare le preferenze di ognuno.
Quindi può avere a che fare con una certa cattiveria,
e può anche capire la vostra cattiveria, per esempio,
potete farvi corrompere da agente doganale
perché dovete sfamare la famiglia e mandare i bambini a scuola.
Lui è in grado di capirlo; non significa che andrà a rubare.
Anzi, vi aiuterà a mandare i vostri bambini a scuola.
Noi siamo anche limitati nei calcoli.
Lee Sedol è un brillante giocatore di Go,
ma ha comunque perso.
Osservando le sue mosse, ne ha fatta una che gli ha fatto perdere.
Non significa che voleva perdere.
Quindi per capire il suo comportamento,
dobbiamo invertire con un modello di cognizione umana
che include i nostri limiti di calcolo -- un modello molto complicato.
Ma possiamo comunque cercare di capirlo.
Forse la parte più complicata, dal punto di vista di ricercatore di IA,
è il fatto che siamo molti,
e quindi la macchina deve in qualche modo alternare, soppesare le preferenze
di tante persone diverse,
e ci sono diversi modi per farlo.
Economisti, sociologi, filosofi morali lo hanno capito,
e stiamo attivamente cercando collaborazione.
Diamo un'occhiata a quel che succede quando commettete uno sbaglio.
Potete conversare, per esempio,
col vostro assistente personale intelligente
che potrebbe essere disponibile tra pochi anni.
Pensate a Siri sotto steroidi.
Siri dice, "Tua moglie ha chiamato per ricordarti della cena stasera."
Ovviamente, l'avevate dimenticato. "Cosa? Quale cena?
Di cosa stai parlando?"
"Ehm, il tuo 20° anniversario alle 7."
"Non posso farlo. Mi incontrerò col segretario generale alle 7:30.
Come può essere successo?"
"Io ti ho avvertito, ma tu hai ignorato la mia raccomandazione."
"Cosa faccio? Non posso dirgli che sono impegnato."
"Non preoccuparti. Ho fatto ritardare il suo aereo."
(Risate)
"Una specie di guasto al computer."
(Risate)
"Davvero? Puoi farlo?"
"Si scusa tantissimo
e non vede l'ora di incontrarti a pranzo domani."
(Risate)
Quindi i valori qui -- si è verificato un piccolo errore.
Questo segue chiaramente i valori di mia moglie
cioè "Felice la moglie, felice la vita."
(Risate)
Potrebbe andare diversamente.
Potreste tornare a casa dopo una dura giornata di lavoro,
e il computer dice, "Giornata lunga?"
"Sì, non ho avuto nemmeno il tempo di pranzare."
"Devi avere molta fame."
"Sto morendo di fame, sì. Puoi prepararmi la cena?"
"Devo dirti una cosa."
(Risate)
"Ci sono persone nel sud del Sudan che hanno un bisogno più urgente del tuo."
(Risate)
"Quindi me ne vado. Preparati tu la cena."
(Risate)
Dobbiamo risolvere questi problemi,
e non vedo l'ora di lavorarci.
Ci sono motivi per essere ottimisti.
Un motivo è,
c'è una grande quantità di dati.
Perché ricordate -- ho detto che leggeranno tutto ciò
che la razza umana ha scritto.
Gran parte di ciò che scriviamo è su uomini che fanno cose
e altri che se la prendono per questo.
Quindi c'è una grande mole di dati da cui imparare.
C'è anche un incentivo economico molto forte
per farlo bene.
Immaginate il vostro robot domestico a casa.
Siete ancora in ritardo dal lavoro e il robot deve sfamare i bambini,
e i bambini sono affamati e non c'è niente nel frigo.
E il robot vede il gatto.
(Risate)
E il robot non ha ancora imparato i valori umani in modo corretto,
quindi non capisce
che il valore sentimentale del gatto supera il suo valore nutrizionale.
(Risate)
Quindi cosa succede?
Be', succede questo:
"Robot folle cucina il micio per la cena di famiglia."
Quell'unico incidente sarebbe la fine dell'industria del robot domestico.
Quindi c'è un enorme incentivo per farlo bene
molto prima che arriviamo alle macchine super intelligenti.
Quindi per riassumere:
sto cercando di cambiare la definizione di IA
così che probabilmente avremo macchine vantaggiose.
E i principi sono:
macchine che siano altruiste,
che vogliono raggiungere solo i nostri obiettivi,
ma che sono incerti sui loro obiettivi,
e che guarderanno tutti noi
per imparare di più su cosa vogliamo veramente.
E se tutto va bene, in tutto ciò impareremo ad essere persone migliori.
Grazie tante.
(Applausi)
C. Anderson: Molto interessante, Stuart.
Staremo qui un po' perché credo che stiano preparando
per il prossimo relatore.
Un paio di domande.
L'idea di programmare nell'ignoranza sembra intuitivamente molto potente.
Quando giungi alla super intelligenza,
cosa fermerà un robot
dal leggere letteratura e scoprire l'idea che la conoscenza
sia migliore dell'ignoranza,
e lo indurrà a spostare le sue finalità e riscrivere la programmazione?
Stuart Russell: Sì, vogliamo imparare meglio, come ho detto,
sui nostri obiettivi.
Diventerà più sicuro solo quando diventerà più corretto,
quindi la prova è questa
e sarà progettata per interpretarla correttamente.
Capirà, per esempio, che i libri sono molto prevenuti
in ciò che contengono.
Parlano solo di re e principi
e di élite di maschi bianchi che fanno cose.
Quindi è un problema complicato,
ma siccome impara di più sui nostri obiettivi
diventerà ancora più utile per noi.
CA: E non potresti soltanto limitarti a una legge,
sai, programmata così:
"se un umano cerca di spegnermi,
lo assecondo. Lo assecondo."
SR: Assolutamente no.
Sarebbe un'idea terribile.
Immaginate di avere una macchina che si guida da sola
e volete mandare vostro figlio di cinque anni
all'asilo.
Volete che vostro figlio sia capace di spegnere la macchina
mentre va in giro?
Probabilmente no.
Quindi deve capire quanto razionale e sensibile sia la persona.
Più razionale è la persona,
più disponibile siete a essere spenti.
Se la persona è del tutto ignota o perfino malvagia,
allora sarete meno disponibili a essere spenti.
CA: Giusto. Stuart, posso dire solo,
spero davvero, davvero che tu lo scopra per noi.
Grazie per questa conferenza. È stata fantastica.
SR: Grazie.
(Applausi)