WEBVTT

00:00:00.712 --> 00:00:02.264
Questo è Lee Sedol.

00:00:02.288 --> 00:00:06.285
Lee Sedol è uno dei più grandi giocatori
di Go al mondo,

00:00:06.309 --> 00:00:09.194
e sta avendo quello che i miei amici
a Silicon Valley dicono

00:00:09.218 --> 00:00:10.728
un momento "accidenti" --

NOTE Paragraph

00:00:10.752 --> 00:00:11.825
(Risate)

NOTE Paragraph

00:00:11.849 --> 00:00:14.037
un momento in cui 
ci rendiamo conto

00:00:14.061 --> 00:00:17.357
che l'IA sta progredendo
molto più rapidamente del previsto.

00:00:18.154 --> 00:00:21.201
Gli umani hanno perso a Go.
E nel mondo reale?

NOTE Paragraph

00:00:21.225 --> 00:00:23.325
Il mondo reale è molto più grande,

00:00:23.349 --> 00:00:25.598
molto più complesso del gioco Go.

00:00:25.622 --> 00:00:27.441
È molto meno evidente,

00:00:27.465 --> 00:00:29.503
ma è comunque un problema di decisione

00:00:30.948 --> 00:00:33.269
E se pensiamo ad alcune delle tecnologie

00:00:33.293 --> 00:00:35.042
che stanno bollendo in pentola...

00:00:35.738 --> 00:00:40.073
Noriko [Arai] ha detto che le macchine
non sono ancora in grado di leggere,

00:00:40.097 --> 00:00:41.597
o per lo meno di capire bene.

00:00:41.621 --> 00:00:43.157
Ma succederà,

00:00:43.181 --> 00:00:44.952
e quando succederà,

00:00:44.976 --> 00:00:46.163
a breve,

00:00:46.187 --> 00:00:50.759
le macchine dopo avranno letto tutto ciò
che gli umani hanno scritto.

00:00:51.850 --> 00:00:53.880
E ciò permetterà alle macchine,

00:00:53.904 --> 00:00:56.824
insieme all'abilità di guardare
molto più lontano degli umani,

00:00:56.848 --> 00:00:58.528
come abbiamo già visto nel Go,

00:00:58.552 --> 00:01:00.716
se avranno anche accesso
a più informazioni,

00:01:00.740 --> 00:01:05.008
potranno prendere decisioni migliori
nel mondo reale rispetto a noi.

00:01:06.792 --> 00:01:08.398
È una cosa buona?

00:01:09.898 --> 00:01:12.130
Speriamo.

NOTE Paragraph

00:01:14.694 --> 00:01:17.949
Tutta la nostra civiltà,
tutto ciò a cui diamo valore,

00:01:17.973 --> 00:01:20.041
è basato sulla nostra intelligenza.

00:01:20.065 --> 00:01:23.759
E se avessimo accesso
a molta più intelligenza,

00:01:23.783 --> 00:01:27.085
allora non c'è davvero un limite
a ciò che la razza umana può fare.

00:01:28.665 --> 00:01:31.990
E credo che ciò possa essere,
come alcuni lo hanno descritto,

00:01:32.014 --> 00:01:34.030
l'evento più grande nella storia umana.

00:01:36.665 --> 00:01:39.494
Quindi perché le persone dicono cose come

00:01:39.518 --> 00:01:42.394
"L'IA potrebbe segnare la fine
della razza umana"?

00:01:43.438 --> 00:01:45.097
È una cosa nuova?

00:01:45.121 --> 00:01:49.231
Sono solo Elon Musk e Bill Gates
e Stephen Hawking?

NOTE Paragraph

00:01:49.953 --> 00:01:53.215
In realtà no. Questa idea
circola da un po'.

00:01:53.239 --> 00:01:55.201
C'è una citazione:

00:01:55.225 --> 00:01:59.575
"Anche se potessimo tenere le macchine
in una posizione subordinata,

00:01:59.599 --> 00:02:02.583
ad esempio, staccando la corrente
in momenti strategici" --

00:02:02.607 --> 00:02:05.844
e ritornerò più tardi su quell'idea 
di "staccare la corrente"

00:02:05.868 --> 00:02:08.672
"dovremmo, come specie,
sentirci fortemente umiliati."

00:02:10.177 --> 00:02:13.625
Chi l'ha detto?
Questo è Alan Turing nel 1951.

00:02:14.300 --> 00:02:17.063
Alan Turing, come sapete,
è il padre dell'informatica

00:02:17.087 --> 00:02:20.135
e per molti versi,
anche il padre dell'IA.

00:02:21.239 --> 00:02:23.121
Se pensiamo a questo problema,

00:02:23.145 --> 00:02:26.932
il problema di creare qualcosa
di più intelligente della nostra specie,

00:02:26.956 --> 00:02:29.578
potremmo chiamarlo 
il "problema del gorilla",

00:02:30.345 --> 00:02:34.095
perché gli antenati dei gorilla
lo hanno fatto milioni di anni fa,

00:02:34.119 --> 00:02:35.864
e adesso possiamo chiedere loro:

00:02:36.752 --> 00:02:37.912
è stata una buona idea?

NOTE Paragraph

00:02:37.936 --> 00:02:41.466
Qui si stanno incontrando
per discutere se è stata una buona idea,

00:02:41.490 --> 00:02:44.836
e dopo un po',
arrivano alla conclusione: no,

00:02:44.860 --> 00:02:46.205
è stata un'idea terribile.

00:02:46.229 --> 00:02:48.011
La nostra specie è in difficoltà.

00:02:48.538 --> 00:02:52.801
In effetti, potete vedere 
la tristezza esistenziale nei loro occhi.

NOTE Paragraph

00:02:52.825 --> 00:02:54.465
(Risate)

NOTE Paragraph

00:02:54.489 --> 00:02:59.329
La sensazione nauseante che fare qualcosa 
di più intelligente della propria specie

00:02:59.353 --> 00:03:01.718
forse non è una buona idea --

00:03:02.488 --> 00:03:03.979
cosa possiamo fare?

00:03:04.003 --> 00:03:08.770
Proprio nulla,
se non smettere di produrre IA,

00:03:08.794 --> 00:03:11.304
e per tutti i benefici che ho citato,

00:03:11.328 --> 00:03:13.044
e siccome sono un ricercatore di IA,

00:03:13.068 --> 00:03:14.859
non lo permetterò.

00:03:15.283 --> 00:03:17.751
In realtà voglio riuscire
a produrre ancora IA.

NOTE Paragraph

00:03:18.615 --> 00:03:21.293
In realtà ci occorre
definire un po' di più il problema.

00:03:21.317 --> 00:03:22.688
Qual è il vero problema?

00:03:22.712 --> 00:03:25.958
Perché un'IA migliore è potenzialmente
una catastrofe?

NOTE Paragraph

00:03:27.398 --> 00:03:28.896
Ecco un'altra citazione:

00:03:29.935 --> 00:03:33.270
"Dovremmo esserne sicuri
che l'obiettivo inserito nella macchina

00:03:33.294 --> 00:03:35.592
sia l'obiettivo che desideriamo davvero."

00:03:36.282 --> 00:03:39.780
È stato detto da Norbert Wiener nel 1960,

00:03:39.804 --> 00:03:43.806
subito dopo che aveva visto 
uno dei primi sistemi di apprendimento

00:03:43.830 --> 00:03:46.413
imparare a giocare a scacchi
meglio del proprio creatore.

00:03:48.602 --> 00:03:51.285
Ma potrebbe anche essere stato detto

00:03:51.309 --> 00:03:52.476
da Re Mida.

00:03:53.083 --> 00:03:56.217
Re Mida disse, "Voglio che tutto ciò
che tocco diventi oro,"

00:03:56.241 --> 00:03:58.714
e ottenne proprio quello che chiese.

00:03:58.738 --> 00:04:01.489
Quello era l'obiettivo
che aveva inserito nella macchina,

00:04:01.513 --> 00:04:02.963
per così dire,

00:04:02.987 --> 00:04:06.431
e poi il suo cibo, le sue bevande
e i suoi parenti diventarono oro

00:04:06.455 --> 00:04:08.736
e morì in miseria e di fame.

00:04:10.444 --> 00:04:12.785
Lo chiameremo
"problema di Re Mida"

00:04:12.809 --> 00:04:16.114
dichiarare un obiettivo
che non è, in realtà,

00:04:16.138 --> 00:04:18.551
proprio conforme a ciò che vogliamo.

00:04:18.575 --> 00:04:21.828
In termini moderni, lo chiamiamo
"problema di conformità dei valori."

NOTE Paragraph

00:04:25.047 --> 00:04:28.532
Dichiarare l'obiettivo sbagliato
non è l'unica parte del problema.

00:04:28.556 --> 00:04:29.708
C'è un'altra parte.

00:04:30.160 --> 00:04:32.103
Se inserite un obiettivo in una macchina

00:04:32.127 --> 00:04:34.575
anche qualcosa di semplice come
"Porta il caffè,"

00:04:35.908 --> 00:04:37.749
la macchina dice a se stessa,

00:04:38.733 --> 00:04:41.356
"Be', come posso non riuscire
a portare il caffè?

00:04:41.380 --> 00:04:42.960
Qualcuno potrebbe spegnermi.

00:04:43.645 --> 00:04:46.032
Ok, devo sapere come evitarlo.

00:04:46.056 --> 00:04:47.962
Disattiverò il tasto "off".

00:04:48.534 --> 00:04:51.493
Farò di tutto per difendermi
dalle interferenze

00:04:51.517 --> 00:04:54.146
con questo obiettivo
che mi è stato dato."

00:04:54.170 --> 00:04:56.182
Quindi questa ricerca risoluta

00:04:57.213 --> 00:05:00.158
in modo molto difensivo di un obiettivo
che non è, in realtà,

00:05:00.182 --> 00:05:02.996
conforme ai veri obiettivi
della razza umana --

00:05:04.122 --> 00:05:05.984
questo è il problema che affrontiamo.

00:05:07.007 --> 00:05:11.774
Infatti, è questo il succo
di questa conferenza.

00:05:11.798 --> 00:05:13.853
Se volete ricordare una cosa,

00:05:13.877 --> 00:05:16.552
è che voi non potrete
portare il caffè se siete morti.

NOTE Paragraph

00:05:16.576 --> 00:05:17.637
(Risate)

NOTE Paragraph

00:05:17.661 --> 00:05:21.490
È molto semplice. Ricordate solo questo.
Ripetetevelo tre volte al giorno.

NOTE Paragraph

00:05:21.514 --> 00:05:23.335
(Risate)

NOTE Paragraph

00:05:23.359 --> 00:05:26.113
E in effetti, questa è
esattamente la trama

00:05:26.137 --> 00:05:28.785
di "2001: Odissea nello spazio"

00:05:29.226 --> 00:05:31.316
HAL ha un obiettivo, una missione,

00:05:31.340 --> 00:05:35.072
che non è conforme
all'obiettivo degli umani,

00:05:35.096 --> 00:05:36.906
e che porta a questo conflitto.

00:05:37.494 --> 00:05:40.463
Adesso per fortuna, HAL
non è super intelligente.

00:05:40.487 --> 00:05:44.074
È abbastanza astuto
ma alla fine Dave lo batte

00:05:44.098 --> 00:05:45.947
e riesce a spegnerlo.

00:05:49.828 --> 00:05:51.977
Ma possiamo non essere così fortunati.

00:05:56.193 --> 00:05:57.785
Quindi cosa faremo?

NOTE Paragraph

00:06:00.371 --> 00:06:02.972
Sto cercando di ridefinire l'IA

00:06:02.996 --> 00:06:05.057
per fuggire da questa nozione classica

00:06:05.081 --> 00:06:09.648
di macchine che perseguono obiettivi
in modo intelligente.

00:06:10.712 --> 00:06:12.510
Ci sono tre principi coinvolti.

00:06:12.534 --> 00:06:15.823
Il primo è un principio
di altruismo, se volete,

00:06:15.847 --> 00:06:19.109
secondo cui l'unico obiettivo del robot

00:06:19.133 --> 00:06:23.379
è massimizzare la realizzazione
degli obiettivi umani,

00:06:23.403 --> 00:06:24.793
dei valori umani.

00:06:24.817 --> 00:06:28.147
E con valori qui non intendo
valori sdolcinati, da santarellini.

00:06:28.171 --> 00:06:31.958
Intendo comunque vogliano
gli esseri umani

00:06:31.982 --> 00:06:33.325
che sia la loro vita.

00:06:35.364 --> 00:06:37.673
E in realtà ciò viola la legge di Asimov

00:06:37.697 --> 00:06:40.146
secondo cui il robot
deve tutelare la sua esistenza.

00:06:40.146 --> 00:06:43.773
Non c'è alcun interesse 
nel preservare la sua esistenza.

NOTE Paragraph

00:06:45.420 --> 00:06:49.188
La seconda legge è una legge
di umiltà, se volete.

00:06:49.974 --> 00:06:53.717
E si rivela essere davvero importante
per rendere sicuri i robot.

00:06:53.741 --> 00:06:56.883
Dice che il robot non sa

00:06:56.907 --> 00:06:58.935
quali sono questi valori umani,

00:06:58.959 --> 00:07:02.137
quindi li deve massimizzare,
ma non sa cosa sono.

00:07:03.254 --> 00:07:05.880
E questo evita questo problema
della caccia risoluta

00:07:05.904 --> 00:07:07.116
di un obiettivo.

00:07:07.140 --> 00:07:09.312
Questa incertezza si rivela cruciale.

NOTE Paragraph

00:07:09.726 --> 00:07:11.365
Per essere utile a noi,

00:07:11.389 --> 00:07:14.120
deve avere un'idea di quello che vogliamo.

00:07:15.223 --> 00:07:20.650
Lui ottiene l'informazione in primo luogo
dall'osservazione delle scelte umane,

00:07:20.674 --> 00:07:23.475
quindi le nostre scelte rivelano
delle informazioni

00:07:23.499 --> 00:07:26.799
su ciò che vogliamo
che le nostre vite siano.

00:07:28.632 --> 00:07:30.315
Quindi questi sono i tre principi.

00:07:30.339 --> 00:07:32.657
Vediamo come si applicano
alla seguente domanda:

00:07:32.681 --> 00:07:35.470
"Riuscite a spegnere la macchina?"
come suggeriva Turing.

NOTE Paragraph

00:07:37.073 --> 00:07:39.193
Ecco un robot PR2.

00:07:39.217 --> 00:07:41.038
È uno che abbiamo in laboratorio,

00:07:41.062 --> 00:07:43.965
e ha un gran pulsante "off"
sul dorso.

00:07:44.541 --> 00:07:47.156
La domanda è: ti permetterà
di spegnerlo?

00:07:47.180 --> 00:07:48.645
Col metodo classico,

00:07:48.669 --> 00:07:52.151
gli diamo l'obiettivo,
"Porta il caffè, devo portare il caffè,

00:07:52.175 --> 00:07:54.755
non posso portare il caffè se sono morto,"

00:07:54.779 --> 00:07:58.120
quindi ovviamente il PR2
ha ascoltato il mio discorso,

00:07:58.144 --> 00:08:01.897
e quindi dice,
"Devo disabilitare il pulsante 'off'",

00:08:02.976 --> 00:08:05.670
e forse stordire tutte le altre persone
nello Starbucks

00:08:05.694 --> 00:08:07.254
che possono interferire con me."

NOTE Paragraph

00:08:07.278 --> 00:08:09.340
(Risate)

NOTE Paragraph

00:08:09.364 --> 00:08:11.517
Sembra inevitabile, giusto?

00:08:11.541 --> 00:08:13.939
Questa modalità di guasto
sembra inevitabile,

00:08:13.963 --> 00:08:17.506
e deriva dall'avere un obiettivo
concreto e definito.

NOTE Paragraph

00:08:18.812 --> 00:08:21.956
Quindi cosa succede se la macchina
è incerta sull'obiettivo?

00:08:21.980 --> 00:08:24.107
Ragiona in modo diverso.

00:08:24.131 --> 00:08:26.555
Dice, "Ok, l'essere umano
può spegnermi,

00:08:27.144 --> 00:08:29.010
ma soltanto se sbaglio qualcosa.

00:08:29.747 --> 00:08:32.222
Non so bene cos'è sbagliato,

00:08:32.246 --> 00:08:34.290
ma so che non voglio farlo."

00:08:34.314 --> 00:08:37.324
Quindi, questi sono il primo
e il secondo principio.

00:08:37.348 --> 00:08:40.707
"Quindi devo lasciare
che l'uomo mi spenga."

00:08:41.721 --> 00:08:45.677
E in effetti potete calcolare
lo stimolo che riceve il robot

00:08:45.701 --> 00:08:48.194
per permettere all'uomo di spegnerlo,

00:08:48.218 --> 00:08:50.892
ed è direttamente legato 
al grado di incertezza

00:08:50.892 --> 00:08:52.902
dell'obiettivo di fondo.

NOTE Paragraph

00:08:53.977 --> 00:08:56.926
Poi quando la macchina viene spenta,

00:08:56.950 --> 00:08:58.755
entra in gioco il terzo principio.

00:08:58.779 --> 00:09:01.841
Lui impara qualcosa sugli obiettivi
che deve perseguire,

00:09:01.865 --> 00:09:04.398
perché impara 
che ciò che ha fatto non era corretto.

00:09:04.422 --> 00:09:07.992
In realtà possiamo, con un uso adeguato
di simboli greci,

00:09:08.016 --> 00:09:10.147
come fanno solitamente i matematici,

00:09:10.171 --> 00:09:12.155
possiamo davvero dimostrare un teorema

00:09:12.179 --> 00:09:15.732
che dice che un robot del genere
è certamente vantaggioso agli umani.

00:09:15.756 --> 00:09:19.559
Voi siete certamente migliori
con una macchina programmata in tale modo

00:09:19.583 --> 00:09:20.829
che senza.

00:09:21.237 --> 00:09:24.143
È un esempio molto semplice,
ma è il primo passo

00:09:24.167 --> 00:09:28.070
che proviamo a fare
con l'IA compatibile con gli umani.

NOTE Paragraph

00:09:30.657 --> 00:09:33.914
Questo terzo principio,

00:09:33.938 --> 00:09:37.050
credo sia quello
che fa grattare la testa.

00:09:37.074 --> 00:09:40.313
Probabilmente starete pensando,
"Mi comporto male.

00:09:40.337 --> 00:09:43.266
Non voglio che il mio robot
si comporti come me.

00:09:43.290 --> 00:09:46.724
Io sgattaiolo nel cuore della notte
e prendo roba dal frigo.

00:09:46.748 --> 00:09:47.916
Faccio questo e quello."

00:09:47.940 --> 00:09:50.737
Ci sono un sacco di cose
che non volete il robot faccia.

00:09:50.761 --> 00:09:52.832
Ma in realtà, non funziona
sempre così.

00:09:52.856 --> 00:09:54.875
Solo perché vi comportate male

00:09:54.875 --> 00:09:57.678
non significa che il robot
copierà il vostro comportamento.

00:09:57.682 --> 00:10:01.592
Capirà le vostre motivazioni
e forse potrebbe aiutarvi a resistere,

00:10:01.616 --> 00:10:02.936
eventualmente.

00:10:04.206 --> 00:10:05.670
Ma è comunque difficile.

00:10:06.302 --> 00:10:08.847
Quello che proviamo a fare, in realtà,

00:10:08.871 --> 00:10:14.667
è permettere alle macchine di prevedere
per chiunque e per ogni possibile vita

00:10:14.691 --> 00:10:15.852
che potrebbe vivere,

00:10:15.876 --> 00:10:17.473
e le vite di tutti gli altri:

00:10:17.497 --> 00:10:20.014
quale preferirebbero?

00:10:22.061 --> 00:10:25.015
E le difficoltà sono molte;

00:10:25.039 --> 00:10:27.971
non mi aspetto 
che si risolva velocemente.

00:10:27.995 --> 00:10:30.638
La vera difficoltà, in realtà, siamo noi.

NOTE Paragraph

00:10:32.149 --> 00:10:35.266
Come ho già detto,
noi ci comportiamo male.

00:10:35.290 --> 00:10:37.611
Anzi, alcuni di noi sono molto cattivi.

00:10:38.431 --> 00:10:41.483
Il robot, come ho detto,
non deve copiare il comportamento.

00:10:41.507 --> 00:10:44.298
Il robot non ha obiettivi propri.

00:10:44.322 --> 00:10:46.059
È puramente altruista.

00:10:47.293 --> 00:10:52.514
E non è programmato solo per soddisfare
i desideri di una persona, l'utente,

00:10:52.538 --> 00:10:55.676
ma deve rispettare
le preferenze di ognuno.

00:10:57.263 --> 00:10:59.833
Quindi può avere a che fare
con una certa cattiveria,

00:10:59.857 --> 00:11:03.558
e può anche capire 
la vostra cattiveria, per esempio,

00:11:03.582 --> 00:11:06.253
potete farvi corrompere 
da agente doganale

00:11:06.277 --> 00:11:10.089
perché dovete sfamare
la famiglia e mandare i bambini a scuola.

00:11:10.113 --> 00:11:13.019
Lui è in grado di capirlo;
non significa che andrà a rubare.

00:11:13.043 --> 00:11:15.722
Anzi, vi aiuterà
a mandare i vostri bambini a scuola.

NOTE Paragraph

00:11:16.976 --> 00:11:19.988
Noi siamo anche limitati nei calcoli.

00:11:20.012 --> 00:11:22.517
Lee Sedol è un brillante giocatore di Go,

00:11:22.541 --> 00:11:23.866
ma ha comunque perso.

00:11:23.890 --> 00:11:28.129
Osservando le sue mosse, 
ne ha fatta una che gli ha fatto perdere.

00:11:28.153 --> 00:11:30.314
Non significa che voleva perdere.

00:11:31.340 --> 00:11:33.380
Quindi per capire il suo comportamento,

00:11:33.404 --> 00:11:37.048
dobbiamo invertire
con un modello di cognizione umana

00:11:37.072 --> 00:11:42.049
che include i nostri limiti di calcolo --
un modello molto complicato.

00:11:42.073 --> 00:11:45.066
Ma possiamo comunque cercare di capirlo.

NOTE Paragraph

00:11:45.876 --> 00:11:50.196
Forse la parte più complicata,
dal punto di vista di ricercatore di IA,

00:11:50.220 --> 00:11:52.795
è il fatto che siamo molti,

00:11:54.294 --> 00:11:57.875
e quindi la macchina deve in qualche modo
alternare, soppesare le preferenze

00:11:57.899 --> 00:12:00.124
di tante persone diverse,

00:12:00.148 --> 00:12:02.054
e ci sono diversi modi per farlo.

00:12:02.078 --> 00:12:05.767
Economisti, sociologi,
filosofi morali lo hanno capito,

00:12:05.791 --> 00:12:08.246
e stiamo attivamente
cercando collaborazione.

NOTE Paragraph

00:12:08.270 --> 00:12:11.521
Diamo un'occhiata a quel che succede
quando commettete uno sbaglio.

00:12:11.545 --> 00:12:13.632
Potete conversare, per esempio,

00:12:13.632 --> 00:12:15.676
col vostro assistente personale 
intelligente

00:12:15.676 --> 00:12:17.955
che potrebbe essere disponibile
tra pochi anni.

00:12:17.979 --> 00:12:20.503
Pensate a Siri sotto steroidi.

00:12:21.627 --> 00:12:25.949
Siri dice, "Tua moglie ha chiamato
per ricordarti della cena stasera."

00:12:26.616 --> 00:12:29.124
Ovviamente, l'avevate dimenticato.
"Cosa? Quale cena?

00:12:29.148 --> 00:12:30.573
Di cosa stai parlando?"

NOTE Paragraph

00:12:30.597 --> 00:12:34.343
"Ehm, il tuo 20° anniversario alle 7."

NOTE Paragraph

00:12:36.915 --> 00:12:40.634
"Non posso farlo. Mi incontrerò
col segretario generale alle 7:30.

00:12:40.658 --> 00:12:42.350
Come può essere successo?"

NOTE Paragraph

00:12:42.374 --> 00:12:47.034
"Io ti ho avvertito, ma tu hai ignorato 
la mia raccomandazione."

NOTE Paragraph

00:12:48.146 --> 00:12:51.474
"Cosa faccio? Non posso dirgli
che sono impegnato."

NOTE Paragraph

00:12:52.490 --> 00:12:55.771
"Non preoccuparti. 
Ho fatto ritardare il suo aereo."

NOTE Paragraph

00:12:55.795 --> 00:12:57.477
(Risate)

NOTE Paragraph

00:12:58.249 --> 00:13:00.350
"Una specie di guasto al computer."

NOTE Paragraph

00:13:00.374 --> 00:13:01.586
(Risate)

NOTE Paragraph

00:13:01.610 --> 00:13:03.227
"Davvero? Puoi farlo?"

NOTE Paragraph

00:13:04.400 --> 00:13:06.579
"Si scusa tantissimo

00:13:06.603 --> 00:13:09.158
e non vede l'ora di incontrarti
a pranzo domani."

NOTE Paragraph

00:13:09.182 --> 00:13:10.481
(Risate)

NOTE Paragraph

00:13:10.505 --> 00:13:14.908
Quindi i valori qui --
si è verificato un piccolo errore.

00:13:14.932 --> 00:13:17.941
Questo segue chiaramente
i valori di mia moglie

00:13:17.965 --> 00:13:20.034
cioè "Felice la moglie, felice la vita."

NOTE Paragraph

00:13:20.058 --> 00:13:21.641
(Risate)

NOTE Paragraph

00:13:21.665 --> 00:13:23.109
Potrebbe andare diversamente.

00:13:23.461 --> 00:13:26.052
Potreste tornare a casa
dopo una dura giornata di lavoro,

00:13:26.052 --> 00:13:28.241
e il computer dice, "Giornata lunga?"

NOTE Paragraph

00:13:28.265 --> 00:13:30.553
"Sì, non ho avuto nemmeno il tempo
di pranzare."

NOTE Paragraph

00:13:30.577 --> 00:13:31.859
"Devi avere molta fame."

NOTE Paragraph

00:13:31.883 --> 00:13:34.529
"Sto morendo di fame, sì.
Puoi prepararmi la cena?"

NOTE Paragraph

00:13:36.070 --> 00:13:38.160
"Devo dirti una cosa."

NOTE Paragraph

00:13:38.184 --> 00:13:39.339
(Risate)

NOTE Paragraph

00:13:40.193 --> 00:13:45.098
"Ci sono persone nel sud del Sudan
che hanno un bisogno più urgente del tuo."

NOTE Paragraph

00:13:45.122 --> 00:13:46.226
(Risate)

NOTE Paragraph

00:13:46.250 --> 00:13:48.325
"Quindi me ne vado. Preparati tu la cena."

NOTE Paragraph

00:13:48.349 --> 00:13:50.349
(Risate)

NOTE Paragraph

00:13:50.823 --> 00:13:52.562
Dobbiamo risolvere questi problemi,

00:13:52.586 --> 00:13:55.101
e non vedo l'ora di lavorarci.

NOTE Paragraph

00:13:55.125 --> 00:13:56.968
Ci sono motivi per essere ottimisti.

00:13:56.992 --> 00:13:58.151
Un motivo è,

00:13:58.175 --> 00:14:00.043
c'è una grande quantità di dati.

00:14:00.067 --> 00:14:02.861
Perché ricordate -- 
ho detto che leggeranno tutto ciò

00:14:02.885 --> 00:14:04.431
che la razza umana ha scritto.

00:14:04.455 --> 00:14:07.179
Gran parte di ciò che scriviamo
è su uomini che fanno cose

00:14:07.203 --> 00:14:09.117
e altri che se la prendono per questo.

00:14:09.141 --> 00:14:11.539
Quindi c'è una grande mole di dati
da cui imparare.

NOTE Paragraph

00:14:11.563 --> 00:14:13.799
C'è anche un incentivo
economico molto forte

00:14:15.251 --> 00:14:16.401
per farlo bene.

00:14:16.401 --> 00:14:18.476
Immaginate il vostro robot domestico
a casa.

00:14:18.476 --> 00:14:21.733
Siete ancora in ritardo dal lavoro
e il robot deve sfamare i bambini,

00:14:21.733 --> 00:14:24.480
e i bambini sono affamati
e non c'è niente nel frigo.

00:14:24.504 --> 00:14:27.109
E il robot vede il gatto.

NOTE Paragraph

00:14:27.133 --> 00:14:28.825
(Risate)

NOTE Paragraph

00:14:28.849 --> 00:14:33.039
E il robot non ha ancora imparato
i valori umani in modo corretto,

00:14:33.063 --> 00:14:34.314
quindi non capisce

00:14:34.338 --> 00:14:39.182
che il valore sentimentale del gatto
supera il suo valore nutrizionale.

NOTE Paragraph

00:14:39.206 --> 00:14:40.301
(Risate)

NOTE Paragraph

00:14:40.325 --> 00:14:42.073
Quindi cosa succede?

00:14:42.097 --> 00:14:45.394
Be', succede questo:

00:14:45.418 --> 00:14:48.382
"Robot folle cucina il micio
per la cena di famiglia."

00:14:48.406 --> 00:14:52.929
Quell'unico incidente sarebbe la fine
dell'industria del robot domestico.

00:14:52.953 --> 00:14:56.289
Quindi c'è un enorme incentivo
per farlo bene

00:14:56.289 --> 00:14:59.064
molto prima che arriviamo
alle macchine super intelligenti.

NOTE Paragraph

00:15:00.128 --> 00:15:01.663
Quindi per riassumere:

00:15:01.687 --> 00:15:04.568
sto cercando di cambiare
la definizione di IA

00:15:04.592 --> 00:15:07.585
così che probabilmente
avremo macchine vantaggiose.

00:15:07.609 --> 00:15:08.831
E i principi sono:

00:15:08.855 --> 00:15:10.253
macchine che siano altruiste,

00:15:10.277 --> 00:15:13.081
che vogliono raggiungere
solo i nostri obiettivi,

00:15:13.105 --> 00:15:16.205
ma che sono incerti
sui loro obiettivi,

00:15:16.205 --> 00:15:18.197
e che guarderanno tutti noi

00:15:18.197 --> 00:15:21.470
per imparare di più
su cosa vogliamo veramente.

00:15:22.373 --> 00:15:25.932
E se tutto va bene, in tutto ciò
impareremo ad essere persone migliori.

00:15:25.946 --> 00:15:27.147
Grazie tante.

NOTE Paragraph

00:15:27.171 --> 00:15:30.594
(Applausi)

NOTE Paragraph

00:15:30.594 --> 00:15:32.536
C. Anderson: Molto interessante, Stuart.

00:15:32.536 --> 00:15:35.200
Staremo qui un po'
perché credo che stiano preparando

00:15:35.200 --> 00:15:36.575
per il prossimo relatore.

NOTE Paragraph

00:15:36.575 --> 00:15:38.697
Un paio di domande.

00:15:38.697 --> 00:15:43.914
L'idea di programmare nell'ignoranza
sembra intuitivamente molto potente.

00:15:43.914 --> 00:15:45.798
Quando giungi alla super intelligenza,

00:15:45.822 --> 00:15:48.080
cosa fermerà un robot

00:15:48.104 --> 00:15:50.956
dal leggere letteratura e scoprire
l'idea che la conoscenza

00:15:50.980 --> 00:15:52.552
sia migliore dell'ignoranza,

00:15:52.576 --> 00:15:56.794
e lo indurrà a spostare le sue finalità
e riscrivere la programmazione?

NOTE Paragraph

00:15:57.692 --> 00:16:04.048
Stuart Russell: Sì, vogliamo
imparare meglio, come ho detto,

00:16:04.072 --> 00:16:05.359
sui nostri obiettivi.

00:16:05.383 --> 00:16:10.904
Diventerà più sicuro solo
quando diventerà più corretto,

00:16:10.928 --> 00:16:12.873
quindi la prova è questa

00:16:12.897 --> 00:16:15.621
e sarà progettata
per interpretarla correttamente.

00:16:15.645 --> 00:16:19.601
Capirà, per esempio,
che i libri sono molto prevenuti

00:16:19.625 --> 00:16:21.108
in ciò che contengono.

00:16:21.132 --> 00:16:23.529
Parlano solo di re e principi

00:16:23.553 --> 00:16:26.353
e di élite di maschi bianchi
che fanno cose.

00:16:26.377 --> 00:16:28.473
Quindi è un problema complicato,

00:16:28.497 --> 00:16:32.369
ma siccome impara di più
sui nostri obiettivi

00:16:32.393 --> 00:16:34.456
diventerà ancora più utile per noi.

NOTE Paragraph

00:16:34.480 --> 00:16:37.006
CA: E non potresti soltanto
limitarti a una legge,

00:16:37.030 --> 00:16:38.680
sai, programmata così:

00:16:38.704 --> 00:16:41.997
"se un umano cerca di spegnermi,

00:16:42.021 --> 00:16:43.956
lo assecondo. Lo assecondo."

NOTE Paragraph

00:16:43.980 --> 00:16:45.162
SR: Assolutamente no.

00:16:45.186 --> 00:16:46.685
Sarebbe un'idea terribile.

00:16:46.709 --> 00:16:49.398
Immaginate di avere
una macchina che si guida da sola

00:16:49.422 --> 00:16:51.855
e volete mandare vostro figlio
di cinque anni

00:16:51.879 --> 00:16:53.053
all'asilo.

00:16:53.077 --> 00:16:56.178
Volete che vostro figlio
sia capace di spegnere la macchina

00:16:56.202 --> 00:16:57.415
mentre va in giro?

00:16:57.439 --> 00:16:58.598
Probabilmente no.

00:16:58.622 --> 00:17:03.325
Quindi deve capire quanto razionale
e sensibile sia la persona.

00:17:03.349 --> 00:17:05.025
Più razionale è la persona,

00:17:05.049 --> 00:17:07.152
più disponibile siete
a essere spenti.

00:17:07.176 --> 00:17:09.719
Se la persona è del tutto ignota
o perfino malvagia,

00:17:09.743 --> 00:17:12.255
allora sarete meno disponibili
a essere spenti.

NOTE Paragraph

00:17:12.279 --> 00:17:14.145
CA: Giusto. Stuart, posso dire solo,

00:17:14.169 --> 00:17:16.483
spero davvero, davvero che tu
lo scopra per noi.

00:17:16.507 --> 00:17:18.882
Grazie per questa conferenza.
È stata fantastica.

NOTE Paragraph

00:17:18.906 --> 00:17:20.073
SR: Grazie.

NOTE Paragraph

00:17:20.097 --> 00:17:21.934
(Applausi)