[Script Info] Title: [Events] Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text Dialogue: 0,0:00:00.71,0:00:02.26,Default,,0000,0000,0000,,Questo è Lee Sedol. Dialogue: 0,0:00:02.29,0:00:06.28,Default,,0000,0000,0000,,Lee Sedol è uno dei più grandi giocatori\Ndi Go al mondo, Dialogue: 0,0:00:06.31,0:00:09.19,Default,,0000,0000,0000,,e sta avendo quello che i miei amici\Na Silicon Valley dicono Dialogue: 0,0:00:09.22,0:00:10.73,Default,,0000,0000,0000,,un momento "accidenti" -- Dialogue: 0,0:00:10.75,0:00:11.82,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:00:11.85,0:00:14.04,Default,,0000,0000,0000,,un momento in cui \Nci rendiamo conto Dialogue: 0,0:00:14.06,0:00:17.36,Default,,0000,0000,0000,,che l'IA sta progredendo\Nmolto più rapidamente del previsto. Dialogue: 0,0:00:18.15,0:00:21.20,Default,,0000,0000,0000,,Gli umani hanno perso a Go.\NE nel mondo reale? Dialogue: 0,0:00:21.22,0:00:23.32,Default,,0000,0000,0000,,Il mondo reale è molto più grande, Dialogue: 0,0:00:23.35,0:00:25.60,Default,,0000,0000,0000,,molto più complesso del gioco Go. Dialogue: 0,0:00:25.62,0:00:27.44,Default,,0000,0000,0000,,È molto meno evidente, Dialogue: 0,0:00:27.46,0:00:29.50,Default,,0000,0000,0000,,ma è comunque un problema di decisione Dialogue: 0,0:00:30.95,0:00:33.27,Default,,0000,0000,0000,,E se pensiamo ad alcune delle tecnologie Dialogue: 0,0:00:33.29,0:00:35.04,Default,,0000,0000,0000,,che stanno bollendo in pentola... Dialogue: 0,0:00:35.74,0:00:40.07,Default,,0000,0000,0000,,Noriko [Arai] ha detto che le macchine\Nnon sono ancora in grado di leggere, Dialogue: 0,0:00:40.10,0:00:41.60,Default,,0000,0000,0000,,o per lo meno di capire bene. Dialogue: 0,0:00:41.62,0:00:43.16,Default,,0000,0000,0000,,Ma succederà, Dialogue: 0,0:00:43.18,0:00:44.95,Default,,0000,0000,0000,,e quando succederà, Dialogue: 0,0:00:44.98,0:00:46.16,Default,,0000,0000,0000,,a breve, Dialogue: 0,0:00:46.19,0:00:50.76,Default,,0000,0000,0000,,le macchine dopo avranno letto tutto ciò\Nche gli umani hanno scritto. Dialogue: 0,0:00:51.85,0:00:53.88,Default,,0000,0000,0000,,E ciò permetterà alle macchine, Dialogue: 0,0:00:53.90,0:00:56.82,Default,,0000,0000,0000,,insieme all'abilità di guardare\Nmolto più lontano degli umani, Dialogue: 0,0:00:56.85,0:00:58.53,Default,,0000,0000,0000,,come abbiamo già visto nel Go, Dialogue: 0,0:00:58.55,0:01:00.72,Default,,0000,0000,0000,,se avranno anche accesso\Na più informazioni, Dialogue: 0,0:01:00.74,0:01:05.01,Default,,0000,0000,0000,,potranno prendere decisioni migliori\Nnel mondo reale rispetto a noi. Dialogue: 0,0:01:06.79,0:01:08.40,Default,,0000,0000,0000,,È una cosa buona? Dialogue: 0,0:01:09.90,0:01:12.13,Default,,0000,0000,0000,,Speriamo. Dialogue: 0,0:01:14.69,0:01:17.95,Default,,0000,0000,0000,,Tutta la nostra civiltà,\Ntutto ciò a cui diamo valore, Dialogue: 0,0:01:17.97,0:01:20.04,Default,,0000,0000,0000,,è basato sulla nostra intelligenza. Dialogue: 0,0:01:20.06,0:01:23.76,Default,,0000,0000,0000,,E se avessimo accesso\Na molta più intelligenza, Dialogue: 0,0:01:23.78,0:01:27.08,Default,,0000,0000,0000,,allora non c'è davvero un limite\Na ciò che la razza umana può fare. Dialogue: 0,0:01:28.66,0:01:31.99,Default,,0000,0000,0000,,E credo che ciò possa essere,\Ncome alcuni lo hanno descritto, Dialogue: 0,0:01:32.01,0:01:34.03,Default,,0000,0000,0000,,l'evento più grande nella storia umana. Dialogue: 0,0:01:36.66,0:01:39.49,Default,,0000,0000,0000,,Quindi perché le persone dicono cose come Dialogue: 0,0:01:39.52,0:01:42.39,Default,,0000,0000,0000,,"L'IA potrebbe segnare la fine\Ndella razza umana"? Dialogue: 0,0:01:43.44,0:01:45.10,Default,,0000,0000,0000,,È una cosa nuova? Dialogue: 0,0:01:45.12,0:01:49.23,Default,,0000,0000,0000,,Sono solo Elon Musk e Bill Gates\Ne Stephen Hawking? Dialogue: 0,0:01:49.95,0:01:53.22,Default,,0000,0000,0000,,In realtà no. Questa idea\Ncircola da un po'. Dialogue: 0,0:01:53.24,0:01:55.20,Default,,0000,0000,0000,,C'è una citazione: Dialogue: 0,0:01:55.22,0:01:59.58,Default,,0000,0000,0000,,"Anche se potessimo tenere le macchine\Nin una posizione subordinata, Dialogue: 0,0:01:59.60,0:02:02.58,Default,,0000,0000,0000,,ad esempio, staccando la corrente\Nin momenti strategici" -- Dialogue: 0,0:02:02.61,0:02:05.84,Default,,0000,0000,0000,,e ritornerò più tardi su quell'idea \Ndi "staccare la corrente" Dialogue: 0,0:02:05.87,0:02:08.67,Default,,0000,0000,0000,,"dovremmo, come specie,\Nsentirci fortemente umiliati." Dialogue: 0,0:02:10.18,0:02:13.62,Default,,0000,0000,0000,,Chi l'ha detto?\NQuesto è Alan Turing nel 1951. Dialogue: 0,0:02:14.30,0:02:17.06,Default,,0000,0000,0000,,Alan Turing, come sapete,\Nè il padre dell'informatica Dialogue: 0,0:02:17.09,0:02:20.14,Default,,0000,0000,0000,,e per molti versi,\Nanche il padre dell'IA. Dialogue: 0,0:02:21.24,0:02:23.12,Default,,0000,0000,0000,,Se pensiamo a questo problema, Dialogue: 0,0:02:23.14,0:02:26.93,Default,,0000,0000,0000,,il problema di creare qualcosa\Ndi più intelligente della nostra specie, Dialogue: 0,0:02:26.96,0:02:29.58,Default,,0000,0000,0000,,potremmo chiamarlo \Nil "problema del gorilla", Dialogue: 0,0:02:30.34,0:02:34.10,Default,,0000,0000,0000,,perché gli antenati dei gorilla\Nlo hanno fatto milioni di anni fa, Dialogue: 0,0:02:34.12,0:02:35.86,Default,,0000,0000,0000,,e adesso possiamo chiedere loro: Dialogue: 0,0:02:36.75,0:02:37.91,Default,,0000,0000,0000,,è stata una buona idea? Dialogue: 0,0:02:37.94,0:02:41.47,Default,,0000,0000,0000,,Qui si stanno incontrando\Nper discutere se è stata una buona idea, Dialogue: 0,0:02:41.49,0:02:44.84,Default,,0000,0000,0000,,e dopo un po',\Narrivano alla conclusione: no, Dialogue: 0,0:02:44.86,0:02:46.20,Default,,0000,0000,0000,,è stata un'idea terribile. Dialogue: 0,0:02:46.23,0:02:48.01,Default,,0000,0000,0000,,La nostra specie è in difficoltà. Dialogue: 0,0:02:48.54,0:02:52.80,Default,,0000,0000,0000,,In effetti, potete vedere \Nla tristezza esistenziale nei loro occhi. Dialogue: 0,0:02:52.82,0:02:54.46,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:02:54.49,0:02:59.33,Default,,0000,0000,0000,,La sensazione nauseante che fare qualcosa \Ndi più intelligente della propria specie Dialogue: 0,0:02:59.35,0:03:01.72,Default,,0000,0000,0000,,forse non è una buona idea -- Dialogue: 0,0:03:02.49,0:03:03.98,Default,,0000,0000,0000,,cosa possiamo fare? Dialogue: 0,0:03:04.00,0:03:08.77,Default,,0000,0000,0000,,Proprio nulla,\Nse non smettere di produrre IA, Dialogue: 0,0:03:08.79,0:03:11.30,Default,,0000,0000,0000,,e per tutti i benefici che ho citato, Dialogue: 0,0:03:11.33,0:03:13.04,Default,,0000,0000,0000,,e siccome sono un ricercatore di IA, Dialogue: 0,0:03:13.07,0:03:14.86,Default,,0000,0000,0000,,non lo permetterò. Dialogue: 0,0:03:15.28,0:03:17.75,Default,,0000,0000,0000,,In realtà voglio riuscire\Na produrre ancora IA. Dialogue: 0,0:03:18.62,0:03:21.29,Default,,0000,0000,0000,,In realtà ci occorre\Ndefinire un po' di più il problema. Dialogue: 0,0:03:21.32,0:03:22.69,Default,,0000,0000,0000,,Qual è il vero problema? Dialogue: 0,0:03:22.71,0:03:25.96,Default,,0000,0000,0000,,Perché un'IA migliore è potenzialmente\Nuna catastrofe? Dialogue: 0,0:03:27.40,0:03:28.90,Default,,0000,0000,0000,,Ecco un'altra citazione: Dialogue: 0,0:03:29.94,0:03:33.27,Default,,0000,0000,0000,,"Dovremmo esserne sicuri\Nche l'obiettivo inserito nella macchina Dialogue: 0,0:03:33.29,0:03:35.59,Default,,0000,0000,0000,,sia l'obiettivo che desideriamo davvero." Dialogue: 0,0:03:36.28,0:03:39.78,Default,,0000,0000,0000,,È stato detto da Norbert Wiener nel 1960, Dialogue: 0,0:03:39.80,0:03:43.81,Default,,0000,0000,0000,,subito dopo che aveva visto \Nuno dei primi sistemi di apprendimento Dialogue: 0,0:03:43.83,0:03:46.41,Default,,0000,0000,0000,,imparare a giocare a scacchi\Nmeglio del proprio creatore. Dialogue: 0,0:03:48.60,0:03:51.28,Default,,0000,0000,0000,,Ma potrebbe anche essere stato detto Dialogue: 0,0:03:51.31,0:03:52.48,Default,,0000,0000,0000,,da Re Mida. Dialogue: 0,0:03:53.08,0:03:56.22,Default,,0000,0000,0000,,Re Mida disse, "Voglio che tutto ciò\Nche tocco diventi oro," Dialogue: 0,0:03:56.24,0:03:58.71,Default,,0000,0000,0000,,e ottenne proprio quello che chiese. Dialogue: 0,0:03:58.74,0:04:01.49,Default,,0000,0000,0000,,Quello era l'obiettivo\Nche aveva inserito nella macchina, Dialogue: 0,0:04:01.51,0:04:02.96,Default,,0000,0000,0000,,per così dire, Dialogue: 0,0:04:02.99,0:04:06.43,Default,,0000,0000,0000,,e poi il suo cibo, le sue bevande\Ne i suoi parenti diventarono oro Dialogue: 0,0:04:06.46,0:04:08.74,Default,,0000,0000,0000,,e morì in miseria e di fame. Dialogue: 0,0:04:10.44,0:04:12.78,Default,,0000,0000,0000,,Lo chiameremo\N"problema di Re Mida" Dialogue: 0,0:04:12.81,0:04:16.11,Default,,0000,0000,0000,,dichiarare un obiettivo\Nche non è, in realtà, Dialogue: 0,0:04:16.14,0:04:18.55,Default,,0000,0000,0000,,proprio conforme a ciò che vogliamo. Dialogue: 0,0:04:18.58,0:04:21.83,Default,,0000,0000,0000,,In termini moderni, lo chiamiamo\N"problema di conformità dei valori." Dialogue: 0,0:04:25.05,0:04:28.53,Default,,0000,0000,0000,,Dichiarare l'obiettivo sbagliato\Nnon è l'unica parte del problema. Dialogue: 0,0:04:28.56,0:04:29.71,Default,,0000,0000,0000,,C'è un'altra parte. Dialogue: 0,0:04:30.16,0:04:32.10,Default,,0000,0000,0000,,Se inserite un obiettivo in una macchina Dialogue: 0,0:04:32.13,0:04:34.58,Default,,0000,0000,0000,,anche qualcosa di semplice come\N"Porta il caffè," Dialogue: 0,0:04:35.91,0:04:37.75,Default,,0000,0000,0000,,la macchina dice a se stessa, Dialogue: 0,0:04:38.73,0:04:41.36,Default,,0000,0000,0000,,"Be', come posso non riuscire\Na portare il caffè? Dialogue: 0,0:04:41.38,0:04:42.96,Default,,0000,0000,0000,,Qualcuno potrebbe spegnermi. Dialogue: 0,0:04:43.64,0:04:46.03,Default,,0000,0000,0000,,Ok, devo sapere come evitarlo. Dialogue: 0,0:04:46.06,0:04:47.96,Default,,0000,0000,0000,,Disattiverò il tasto "off". Dialogue: 0,0:04:48.53,0:04:51.49,Default,,0000,0000,0000,,Farò di tutto per difendermi\Ndalle interferenze Dialogue: 0,0:04:51.52,0:04:54.15,Default,,0000,0000,0000,,con questo obiettivo\Nche mi è stato dato." Dialogue: 0,0:04:54.17,0:04:56.18,Default,,0000,0000,0000,,Quindi questa ricerca risoluta Dialogue: 0,0:04:57.21,0:05:00.16,Default,,0000,0000,0000,,in modo molto difensivo di un obiettivo\Nche non è, in realtà, Dialogue: 0,0:05:00.18,0:05:02.100,Default,,0000,0000,0000,,conforme ai veri obiettivi\Ndella razza umana -- Dialogue: 0,0:05:04.12,0:05:05.98,Default,,0000,0000,0000,,questo è il problema che affrontiamo. Dialogue: 0,0:05:07.01,0:05:11.77,Default,,0000,0000,0000,,Infatti, è questo il succo\Ndi questa conferenza. Dialogue: 0,0:05:11.80,0:05:13.85,Default,,0000,0000,0000,,Se volete ricordare una cosa, Dialogue: 0,0:05:13.88,0:05:16.55,Default,,0000,0000,0000,,è che voi non potrete\Nportare il caffè se siete morti. Dialogue: 0,0:05:16.58,0:05:17.64,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:05:17.66,0:05:21.49,Default,,0000,0000,0000,,È molto semplice. Ricordate solo questo.\NRipetetevelo tre volte al giorno. Dialogue: 0,0:05:21.51,0:05:23.34,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:05:23.36,0:05:26.11,Default,,0000,0000,0000,,E in effetti, questa è\Nesattamente la trama Dialogue: 0,0:05:26.14,0:05:28.78,Default,,0000,0000,0000,,di "2001: Odissea nello spazio" Dialogue: 0,0:05:29.23,0:05:31.32,Default,,0000,0000,0000,,HAL ha un obiettivo, una missione, Dialogue: 0,0:05:31.34,0:05:35.07,Default,,0000,0000,0000,,che non è conforme\Nall'obiettivo degli umani, Dialogue: 0,0:05:35.10,0:05:36.91,Default,,0000,0000,0000,,e che porta a questo conflitto. Dialogue: 0,0:05:37.49,0:05:40.46,Default,,0000,0000,0000,,Adesso per fortuna, HAL\Nnon è super intelligente. Dialogue: 0,0:05:40.49,0:05:44.07,Default,,0000,0000,0000,,È abbastanza astuto\Nma alla fine Dave lo batte Dialogue: 0,0:05:44.10,0:05:45.95,Default,,0000,0000,0000,,e riesce a spegnerlo. Dialogue: 0,0:05:49.83,0:05:51.98,Default,,0000,0000,0000,,Ma possiamo non essere così fortunati. Dialogue: 0,0:05:56.19,0:05:57.78,Default,,0000,0000,0000,,Quindi cosa faremo? Dialogue: 0,0:06:00.37,0:06:02.97,Default,,0000,0000,0000,,Sto cercando di ridefinire l'IA Dialogue: 0,0:06:02.100,0:06:05.06,Default,,0000,0000,0000,,per fuggire da questa nozione classica Dialogue: 0,0:06:05.08,0:06:09.65,Default,,0000,0000,0000,,di macchine che perseguono obiettivi\Nin modo intelligente. Dialogue: 0,0:06:10.71,0:06:12.51,Default,,0000,0000,0000,,Ci sono tre principi coinvolti. Dialogue: 0,0:06:12.53,0:06:15.82,Default,,0000,0000,0000,,Il primo è un principio\Ndi altruismo, se volete, Dialogue: 0,0:06:15.85,0:06:19.11,Default,,0000,0000,0000,,secondo cui l'unico obiettivo del robot Dialogue: 0,0:06:19.13,0:06:23.38,Default,,0000,0000,0000,,è massimizzare la realizzazione\Ndegli obiettivi umani, Dialogue: 0,0:06:23.40,0:06:24.79,Default,,0000,0000,0000,,dei valori umani. Dialogue: 0,0:06:24.82,0:06:28.15,Default,,0000,0000,0000,,E con valori qui non intendo\Nvalori sdolcinati, da santarellini. Dialogue: 0,0:06:28.17,0:06:31.96,Default,,0000,0000,0000,,Intendo comunque vogliano\Ngli esseri umani Dialogue: 0,0:06:31.98,0:06:33.32,Default,,0000,0000,0000,,che sia la loro vita. Dialogue: 0,0:06:35.36,0:06:37.67,Default,,0000,0000,0000,,E in realtà ciò viola la legge di Asimov Dialogue: 0,0:06:37.70,0:06:40.15,Default,,0000,0000,0000,,secondo cui il robot\Ndeve tutelare la sua esistenza. Dialogue: 0,0:06:40.15,0:06:43.77,Default,,0000,0000,0000,,Non c'è alcun interesse \Nnel preservare la sua esistenza. Dialogue: 0,0:06:45.42,0:06:49.19,Default,,0000,0000,0000,,La seconda legge è una legge\Ndi umiltà, se volete. Dialogue: 0,0:06:49.97,0:06:53.72,Default,,0000,0000,0000,,E si rivela essere davvero importante\Nper rendere sicuri i robot. Dialogue: 0,0:06:53.74,0:06:56.88,Default,,0000,0000,0000,,Dice che il robot non sa Dialogue: 0,0:06:56.91,0:06:58.94,Default,,0000,0000,0000,,quali sono questi valori umani, Dialogue: 0,0:06:58.96,0:07:02.14,Default,,0000,0000,0000,,quindi li deve massimizzare,\Nma non sa cosa sono. Dialogue: 0,0:07:03.25,0:07:05.88,Default,,0000,0000,0000,,E questo evita questo problema\Ndella caccia risoluta Dialogue: 0,0:07:05.90,0:07:07.12,Default,,0000,0000,0000,,di un obiettivo. Dialogue: 0,0:07:07.14,0:07:09.31,Default,,0000,0000,0000,,Questa incertezza si rivela cruciale. Dialogue: 0,0:07:09.73,0:07:11.36,Default,,0000,0000,0000,,Per essere utile a noi, Dialogue: 0,0:07:11.39,0:07:14.12,Default,,0000,0000,0000,,deve avere un'idea di quello che vogliamo. Dialogue: 0,0:07:15.22,0:07:20.65,Default,,0000,0000,0000,,Lui ottiene l'informazione in primo luogo\Ndall'osservazione delle scelte umane, Dialogue: 0,0:07:20.67,0:07:23.48,Default,,0000,0000,0000,,quindi le nostre scelte rivelano\Ndelle informazioni Dialogue: 0,0:07:23.50,0:07:26.80,Default,,0000,0000,0000,,su ciò che vogliamo\Nche le nostre vite siano. Dialogue: 0,0:07:28.63,0:07:30.32,Default,,0000,0000,0000,,Quindi questi sono i tre principi. Dialogue: 0,0:07:30.34,0:07:32.66,Default,,0000,0000,0000,,Vediamo come si applicano\Nalla seguente domanda: Dialogue: 0,0:07:32.68,0:07:35.47,Default,,0000,0000,0000,,"Riuscite a spegnere la macchina?"\Ncome suggeriva Turing. Dialogue: 0,0:07:37.07,0:07:39.19,Default,,0000,0000,0000,,Ecco un robot PR2. Dialogue: 0,0:07:39.22,0:07:41.04,Default,,0000,0000,0000,,È uno che abbiamo in laboratorio, Dialogue: 0,0:07:41.06,0:07:43.96,Default,,0000,0000,0000,,e ha un gran pulsante "off"\Nsul dorso. Dialogue: 0,0:07:44.54,0:07:47.16,Default,,0000,0000,0000,,La domanda è: ti permetterà\Ndi spegnerlo? Dialogue: 0,0:07:47.18,0:07:48.64,Default,,0000,0000,0000,,Col metodo classico, Dialogue: 0,0:07:48.67,0:07:52.15,Default,,0000,0000,0000,,gli diamo l'obiettivo,\N"Porta il caffè, devo portare il caffè, Dialogue: 0,0:07:52.18,0:07:54.76,Default,,0000,0000,0000,,non posso portare il caffè se sono morto," Dialogue: 0,0:07:54.78,0:07:58.12,Default,,0000,0000,0000,,quindi ovviamente il PR2\Nha ascoltato il mio discorso, Dialogue: 0,0:07:58.14,0:08:01.90,Default,,0000,0000,0000,,e quindi dice,\N"Devo disabilitare il pulsante 'off'", Dialogue: 0,0:08:02.98,0:08:05.67,Default,,0000,0000,0000,,e forse stordire tutte le altre persone\Nnello Starbucks Dialogue: 0,0:08:05.69,0:08:07.25,Default,,0000,0000,0000,,che possono interferire con me." Dialogue: 0,0:08:07.28,0:08:09.34,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:08:09.36,0:08:11.52,Default,,0000,0000,0000,,Sembra inevitabile, giusto? Dialogue: 0,0:08:11.54,0:08:13.94,Default,,0000,0000,0000,,Questa modalità di guasto\Nsembra inevitabile, Dialogue: 0,0:08:13.96,0:08:17.51,Default,,0000,0000,0000,,e deriva dall'avere un obiettivo\Nconcreto e definito. Dialogue: 0,0:08:18.81,0:08:21.96,Default,,0000,0000,0000,,Quindi cosa succede se la macchina\Nè incerta sull'obiettivo? Dialogue: 0,0:08:21.98,0:08:24.11,Default,,0000,0000,0000,,Ragiona in modo diverso. Dialogue: 0,0:08:24.13,0:08:26.56,Default,,0000,0000,0000,,Dice, "Ok, l'essere umano\Npuò spegnermi, Dialogue: 0,0:08:27.14,0:08:29.01,Default,,0000,0000,0000,,ma soltanto se sbaglio qualcosa. Dialogue: 0,0:08:29.75,0:08:32.22,Default,,0000,0000,0000,,Non so bene cos'è sbagliato, Dialogue: 0,0:08:32.25,0:08:34.29,Default,,0000,0000,0000,,ma so che non voglio farlo." Dialogue: 0,0:08:34.31,0:08:37.32,Default,,0000,0000,0000,,Quindi, questi sono il primo\Ne il secondo principio. Dialogue: 0,0:08:37.35,0:08:40.71,Default,,0000,0000,0000,,"Quindi devo lasciare\Nche l'uomo mi spenga." Dialogue: 0,0:08:41.72,0:08:45.68,Default,,0000,0000,0000,,E in effetti potete calcolare\Nlo stimolo che riceve il robot Dialogue: 0,0:08:45.70,0:08:48.19,Default,,0000,0000,0000,,per permettere all'uomo di spegnerlo, Dialogue: 0,0:08:48.22,0:08:50.89,Default,,0000,0000,0000,,ed è direttamente legato \Nal grado di incertezza Dialogue: 0,0:08:50.89,0:08:52.90,Default,,0000,0000,0000,,dell'obiettivo di fondo. Dialogue: 0,0:08:53.98,0:08:56.93,Default,,0000,0000,0000,,Poi quando la macchina viene spenta, Dialogue: 0,0:08:56.95,0:08:58.76,Default,,0000,0000,0000,,entra in gioco il terzo principio. Dialogue: 0,0:08:58.78,0:09:01.84,Default,,0000,0000,0000,,Lui impara qualcosa sugli obiettivi\Nche deve perseguire, Dialogue: 0,0:09:01.86,0:09:04.40,Default,,0000,0000,0000,,perché impara \Nche ciò che ha fatto non era corretto. Dialogue: 0,0:09:04.42,0:09:07.99,Default,,0000,0000,0000,,In realtà possiamo, con un uso adeguato\Ndi simboli greci, Dialogue: 0,0:09:08.02,0:09:10.15,Default,,0000,0000,0000,,come fanno solitamente i matematici, Dialogue: 0,0:09:10.17,0:09:12.16,Default,,0000,0000,0000,,possiamo davvero dimostrare un teorema Dialogue: 0,0:09:12.18,0:09:15.73,Default,,0000,0000,0000,,che dice che un robot del genere\Nè certamente vantaggioso agli umani. Dialogue: 0,0:09:15.76,0:09:19.56,Default,,0000,0000,0000,,Voi siete certamente migliori\Ncon una macchina programmata in tale modo Dialogue: 0,0:09:19.58,0:09:20.83,Default,,0000,0000,0000,,che senza. Dialogue: 0,0:09:21.24,0:09:24.14,Default,,0000,0000,0000,,È un esempio molto semplice,\Nma è il primo passo Dialogue: 0,0:09:24.17,0:09:28.07,Default,,0000,0000,0000,,che proviamo a fare\Ncon l'IA compatibile con gli umani. Dialogue: 0,0:09:30.66,0:09:33.91,Default,,0000,0000,0000,,Questo terzo principio, Dialogue: 0,0:09:33.94,0:09:37.05,Default,,0000,0000,0000,,credo sia quello\Nche fa grattare la testa. Dialogue: 0,0:09:37.07,0:09:40.31,Default,,0000,0000,0000,,Probabilmente starete pensando,\N"Mi comporto male. Dialogue: 0,0:09:40.34,0:09:43.27,Default,,0000,0000,0000,,Non voglio che il mio robot\Nsi comporti come me. Dialogue: 0,0:09:43.29,0:09:46.72,Default,,0000,0000,0000,,Io sgattaiolo nel cuore della notte\Ne prendo roba dal frigo. Dialogue: 0,0:09:46.75,0:09:47.92,Default,,0000,0000,0000,,Faccio questo e quello." Dialogue: 0,0:09:47.94,0:09:50.74,Default,,0000,0000,0000,,Ci sono un sacco di cose\Nche non volete il robot faccia. Dialogue: 0,0:09:50.76,0:09:52.83,Default,,0000,0000,0000,,Ma in realtà, non funziona\Nsempre così. Dialogue: 0,0:09:52.86,0:09:54.88,Default,,0000,0000,0000,,Solo perché vi comportate male Dialogue: 0,0:09:54.88,0:09:57.68,Default,,0000,0000,0000,,non significa che il robot\Ncopierà il vostro comportamento. Dialogue: 0,0:09:57.68,0:10:01.59,Default,,0000,0000,0000,,Capirà le vostre motivazioni\Ne forse potrebbe aiutarvi a resistere, Dialogue: 0,0:10:01.62,0:10:02.94,Default,,0000,0000,0000,,eventualmente. Dialogue: 0,0:10:04.21,0:10:05.67,Default,,0000,0000,0000,,Ma è comunque difficile. Dialogue: 0,0:10:06.30,0:10:08.85,Default,,0000,0000,0000,,Quello che proviamo a fare, in realtà, Dialogue: 0,0:10:08.87,0:10:14.67,Default,,0000,0000,0000,,è permettere alle macchine di prevedere\Nper chiunque e per ogni possibile vita Dialogue: 0,0:10:14.69,0:10:15.85,Default,,0000,0000,0000,,che potrebbe vivere, Dialogue: 0,0:10:15.88,0:10:17.47,Default,,0000,0000,0000,,e le vite di tutti gli altri: Dialogue: 0,0:10:17.50,0:10:20.01,Default,,0000,0000,0000,,quale preferirebbero? Dialogue: 0,0:10:22.06,0:10:25.02,Default,,0000,0000,0000,,E le difficoltà sono molte; Dialogue: 0,0:10:25.04,0:10:27.97,Default,,0000,0000,0000,,non mi aspetto \Nche si risolva velocemente. Dialogue: 0,0:10:27.100,0:10:30.64,Default,,0000,0000,0000,,La vera difficoltà, in realtà, siamo noi. Dialogue: 0,0:10:32.15,0:10:35.27,Default,,0000,0000,0000,,Come ho già detto,\Nnoi ci comportiamo male. Dialogue: 0,0:10:35.29,0:10:37.61,Default,,0000,0000,0000,,Anzi, alcuni di noi sono molto cattivi. Dialogue: 0,0:10:38.43,0:10:41.48,Default,,0000,0000,0000,,Il robot, come ho detto,\Nnon deve copiare il comportamento. Dialogue: 0,0:10:41.51,0:10:44.30,Default,,0000,0000,0000,,Il robot non ha obiettivi propri. Dialogue: 0,0:10:44.32,0:10:46.06,Default,,0000,0000,0000,,È puramente altruista. Dialogue: 0,0:10:47.29,0:10:52.51,Default,,0000,0000,0000,,E non è programmato solo per soddisfare\Ni desideri di una persona, l'utente, Dialogue: 0,0:10:52.54,0:10:55.68,Default,,0000,0000,0000,,ma deve rispettare\Nle preferenze di ognuno. Dialogue: 0,0:10:57.26,0:10:59.83,Default,,0000,0000,0000,,Quindi può avere a che fare\Ncon una certa cattiveria, Dialogue: 0,0:10:59.86,0:11:03.56,Default,,0000,0000,0000,,e può anche capire \Nla vostra cattiveria, per esempio, Dialogue: 0,0:11:03.58,0:11:06.25,Default,,0000,0000,0000,,potete farvi corrompere \Nda agente doganale Dialogue: 0,0:11:06.28,0:11:10.09,Default,,0000,0000,0000,,perché dovete sfamare\Nla famiglia e mandare i bambini a scuola. Dialogue: 0,0:11:10.11,0:11:13.02,Default,,0000,0000,0000,,Lui è in grado di capirlo;\Nnon significa che andrà a rubare. Dialogue: 0,0:11:13.04,0:11:15.72,Default,,0000,0000,0000,,Anzi, vi aiuterà\Na mandare i vostri bambini a scuola. Dialogue: 0,0:11:16.98,0:11:19.99,Default,,0000,0000,0000,,Noi siamo anche limitati nei calcoli. Dialogue: 0,0:11:20.01,0:11:22.52,Default,,0000,0000,0000,,Lee Sedol è un brillante giocatore di Go, Dialogue: 0,0:11:22.54,0:11:23.87,Default,,0000,0000,0000,,ma ha comunque perso. Dialogue: 0,0:11:23.89,0:11:28.13,Default,,0000,0000,0000,,Osservando le sue mosse, \Nne ha fatta una che gli ha fatto perdere. Dialogue: 0,0:11:28.15,0:11:30.31,Default,,0000,0000,0000,,Non significa che voleva perdere. Dialogue: 0,0:11:31.34,0:11:33.38,Default,,0000,0000,0000,,Quindi per capire il suo comportamento, Dialogue: 0,0:11:33.40,0:11:37.05,Default,,0000,0000,0000,,dobbiamo invertire\Ncon un modello di cognizione umana Dialogue: 0,0:11:37.07,0:11:42.05,Default,,0000,0000,0000,,che include i nostri limiti di calcolo --\Nun modello molto complicato. Dialogue: 0,0:11:42.07,0:11:45.07,Default,,0000,0000,0000,,Ma possiamo comunque cercare di capirlo. Dialogue: 0,0:11:45.88,0:11:50.20,Default,,0000,0000,0000,,Forse la parte più complicata,\Ndal punto di vista di ricercatore di IA, Dialogue: 0,0:11:50.22,0:11:52.80,Default,,0000,0000,0000,,è il fatto che siamo molti, Dialogue: 0,0:11:54.29,0:11:57.88,Default,,0000,0000,0000,,e quindi la macchina deve in qualche modo\Nalternare, soppesare le preferenze Dialogue: 0,0:11:57.90,0:12:00.12,Default,,0000,0000,0000,,di tante persone diverse, Dialogue: 0,0:12:00.15,0:12:02.05,Default,,0000,0000,0000,,e ci sono diversi modi per farlo. Dialogue: 0,0:12:02.08,0:12:05.77,Default,,0000,0000,0000,,Economisti, sociologi,\Nfilosofi morali lo hanno capito, Dialogue: 0,0:12:05.79,0:12:08.25,Default,,0000,0000,0000,,e stiamo attivamente\Ncercando collaborazione. Dialogue: 0,0:12:08.27,0:12:11.52,Default,,0000,0000,0000,,Diamo un'occhiata a quel che succede\Nquando commettete uno sbaglio. Dialogue: 0,0:12:11.54,0:12:13.63,Default,,0000,0000,0000,,Potete conversare, per esempio, Dialogue: 0,0:12:13.63,0:12:15.68,Default,,0000,0000,0000,,col vostro assistente personale \Nintelligente Dialogue: 0,0:12:15.68,0:12:17.96,Default,,0000,0000,0000,,che potrebbe essere disponibile\Ntra pochi anni. Dialogue: 0,0:12:17.98,0:12:20.50,Default,,0000,0000,0000,,Pensate a Siri sotto steroidi. Dialogue: 0,0:12:21.63,0:12:25.95,Default,,0000,0000,0000,,Siri dice, "Tua moglie ha chiamato\Nper ricordarti della cena stasera." Dialogue: 0,0:12:26.62,0:12:29.12,Default,,0000,0000,0000,,Ovviamente, l'avevate dimenticato.\N"Cosa? Quale cena? Dialogue: 0,0:12:29.15,0:12:30.57,Default,,0000,0000,0000,,Di cosa stai parlando?" Dialogue: 0,0:12:30.60,0:12:34.34,Default,,0000,0000,0000,,"Ehm, il tuo 20° anniversario alle 7." Dialogue: 0,0:12:36.92,0:12:40.63,Default,,0000,0000,0000,,"Non posso farlo. Mi incontrerò\Ncol segretario generale alle 7:30. Dialogue: 0,0:12:40.66,0:12:42.35,Default,,0000,0000,0000,,Come può essere successo?" Dialogue: 0,0:12:42.37,0:12:47.03,Default,,0000,0000,0000,,"Io ti ho avvertito, ma tu hai ignorato \Nla mia raccomandazione." Dialogue: 0,0:12:48.15,0:12:51.47,Default,,0000,0000,0000,,"Cosa faccio? Non posso dirgli\Nche sono impegnato." Dialogue: 0,0:12:52.49,0:12:55.77,Default,,0000,0000,0000,,"Non preoccuparti. \NHo fatto ritardare il suo aereo." Dialogue: 0,0:12:55.80,0:12:57.48,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:12:58.25,0:13:00.35,Default,,0000,0000,0000,,"Una specie di guasto al computer." Dialogue: 0,0:13:00.37,0:13:01.59,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:13:01.61,0:13:03.23,Default,,0000,0000,0000,,"Davvero? Puoi farlo?" Dialogue: 0,0:13:04.40,0:13:06.58,Default,,0000,0000,0000,,"Si scusa tantissimo Dialogue: 0,0:13:06.60,0:13:09.16,Default,,0000,0000,0000,,e non vede l'ora di incontrarti\Na pranzo domani." Dialogue: 0,0:13:09.18,0:13:10.48,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:13:10.50,0:13:14.91,Default,,0000,0000,0000,,Quindi i valori qui --\Nsi è verificato un piccolo errore. Dialogue: 0,0:13:14.93,0:13:17.94,Default,,0000,0000,0000,,Questo segue chiaramente\Ni valori di mia moglie Dialogue: 0,0:13:17.96,0:13:20.03,Default,,0000,0000,0000,,cioè "Felice la moglie, felice la vita." Dialogue: 0,0:13:20.06,0:13:21.64,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:13:21.66,0:13:23.11,Default,,0000,0000,0000,,Potrebbe andare diversamente. Dialogue: 0,0:13:23.46,0:13:26.05,Default,,0000,0000,0000,,Potreste tornare a casa\Ndopo una dura giornata di lavoro, Dialogue: 0,0:13:26.05,0:13:28.24,Default,,0000,0000,0000,,e il computer dice, "Giornata lunga?" Dialogue: 0,0:13:28.26,0:13:30.55,Default,,0000,0000,0000,,"Sì, non ho avuto nemmeno il tempo\Ndi pranzare." Dialogue: 0,0:13:30.58,0:13:31.86,Default,,0000,0000,0000,,"Devi avere molta fame." Dialogue: 0,0:13:31.88,0:13:34.53,Default,,0000,0000,0000,,"Sto morendo di fame, sì.\NPuoi prepararmi la cena?" Dialogue: 0,0:13:36.07,0:13:38.16,Default,,0000,0000,0000,,"Devo dirti una cosa." Dialogue: 0,0:13:38.18,0:13:39.34,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:13:40.19,0:13:45.10,Default,,0000,0000,0000,,"Ci sono persone nel sud del Sudan\Nche hanno un bisogno più urgente del tuo." Dialogue: 0,0:13:45.12,0:13:46.23,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:13:46.25,0:13:48.32,Default,,0000,0000,0000,,"Quindi me ne vado. Preparati tu la cena." Dialogue: 0,0:13:48.35,0:13:50.35,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:13:50.82,0:13:52.56,Default,,0000,0000,0000,,Dobbiamo risolvere questi problemi, Dialogue: 0,0:13:52.59,0:13:55.10,Default,,0000,0000,0000,,e non vedo l'ora di lavorarci. Dialogue: 0,0:13:55.12,0:13:56.97,Default,,0000,0000,0000,,Ci sono motivi per essere ottimisti. Dialogue: 0,0:13:56.99,0:13:58.15,Default,,0000,0000,0000,,Un motivo è, Dialogue: 0,0:13:58.18,0:14:00.04,Default,,0000,0000,0000,,c'è una grande quantità di dati. Dialogue: 0,0:14:00.07,0:14:02.86,Default,,0000,0000,0000,,Perché ricordate -- \Nho detto che leggeranno tutto ciò Dialogue: 0,0:14:02.88,0:14:04.43,Default,,0000,0000,0000,,che la razza umana ha scritto. Dialogue: 0,0:14:04.46,0:14:07.18,Default,,0000,0000,0000,,Gran parte di ciò che scriviamo\Nè su uomini che fanno cose Dialogue: 0,0:14:07.20,0:14:09.12,Default,,0000,0000,0000,,e altri che se la prendono per questo. Dialogue: 0,0:14:09.14,0:14:11.54,Default,,0000,0000,0000,,Quindi c'è una grande mole di dati\Nda cui imparare. Dialogue: 0,0:14:11.56,0:14:13.80,Default,,0000,0000,0000,,C'è anche un incentivo\Neconomico molto forte Dialogue: 0,0:14:15.25,0:14:16.40,Default,,0000,0000,0000,,per farlo bene. Dialogue: 0,0:14:16.40,0:14:18.48,Default,,0000,0000,0000,,Immaginate il vostro robot domestico\Na casa. Dialogue: 0,0:14:18.48,0:14:21.73,Default,,0000,0000,0000,,Siete ancora in ritardo dal lavoro\Ne il robot deve sfamare i bambini, Dialogue: 0,0:14:21.73,0:14:24.48,Default,,0000,0000,0000,,e i bambini sono affamati\Ne non c'è niente nel frigo. Dialogue: 0,0:14:24.50,0:14:27.11,Default,,0000,0000,0000,,E il robot vede il gatto. Dialogue: 0,0:14:27.13,0:14:28.82,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:14:28.85,0:14:33.04,Default,,0000,0000,0000,,E il robot non ha ancora imparato\Ni valori umani in modo corretto, Dialogue: 0,0:14:33.06,0:14:34.31,Default,,0000,0000,0000,,quindi non capisce Dialogue: 0,0:14:34.34,0:14:39.18,Default,,0000,0000,0000,,che il valore sentimentale del gatto\Nsupera il suo valore nutrizionale. Dialogue: 0,0:14:39.21,0:14:40.30,Default,,0000,0000,0000,,(Risate) Dialogue: 0,0:14:40.32,0:14:42.07,Default,,0000,0000,0000,,Quindi cosa succede? Dialogue: 0,0:14:42.10,0:14:45.39,Default,,0000,0000,0000,,Be', succede questo: Dialogue: 0,0:14:45.42,0:14:48.38,Default,,0000,0000,0000,,"Robot folle cucina il micio\Nper la cena di famiglia." Dialogue: 0,0:14:48.41,0:14:52.93,Default,,0000,0000,0000,,Quell'unico incidente sarebbe la fine\Ndell'industria del robot domestico. Dialogue: 0,0:14:52.95,0:14:56.29,Default,,0000,0000,0000,,Quindi c'è un enorme incentivo\Nper farlo bene Dialogue: 0,0:14:56.29,0:14:59.06,Default,,0000,0000,0000,,molto prima che arriviamo\Nalle macchine super intelligenti. Dialogue: 0,0:15:00.13,0:15:01.66,Default,,0000,0000,0000,,Quindi per riassumere: Dialogue: 0,0:15:01.69,0:15:04.57,Default,,0000,0000,0000,,sto cercando di cambiare\Nla definizione di IA Dialogue: 0,0:15:04.59,0:15:07.58,Default,,0000,0000,0000,,così che probabilmente\Navremo macchine vantaggiose. Dialogue: 0,0:15:07.61,0:15:08.83,Default,,0000,0000,0000,,E i principi sono: Dialogue: 0,0:15:08.86,0:15:10.25,Default,,0000,0000,0000,,macchine che siano altruiste, Dialogue: 0,0:15:10.28,0:15:13.08,Default,,0000,0000,0000,,che vogliono raggiungere\Nsolo i nostri obiettivi, Dialogue: 0,0:15:13.10,0:15:16.20,Default,,0000,0000,0000,,ma che sono incerti\Nsui loro obiettivi, Dialogue: 0,0:15:16.20,0:15:18.20,Default,,0000,0000,0000,,e che guarderanno tutti noi Dialogue: 0,0:15:18.20,0:15:21.47,Default,,0000,0000,0000,,per imparare di più\Nsu cosa vogliamo veramente. Dialogue: 0,0:15:22.37,0:15:25.93,Default,,0000,0000,0000,,E se tutto va bene, in tutto ciò\Nimpareremo ad essere persone migliori. Dialogue: 0,0:15:25.95,0:15:27.15,Default,,0000,0000,0000,,Grazie tante. Dialogue: 0,0:15:27.17,0:15:30.59,Default,,0000,0000,0000,,(Applausi) Dialogue: 0,0:15:30.59,0:15:32.54,Default,,0000,0000,0000,,C. Anderson: Molto interessante, Stuart. Dialogue: 0,0:15:32.54,0:15:35.20,Default,,0000,0000,0000,,Staremo qui un po'\Nperché credo che stiano preparando Dialogue: 0,0:15:35.20,0:15:36.58,Default,,0000,0000,0000,,per il prossimo relatore. Dialogue: 0,0:15:36.58,0:15:38.70,Default,,0000,0000,0000,,Un paio di domande. Dialogue: 0,0:15:38.70,0:15:43.91,Default,,0000,0000,0000,,L'idea di programmare nell'ignoranza\Nsembra intuitivamente molto potente. Dialogue: 0,0:15:43.91,0:15:45.80,Default,,0000,0000,0000,,Quando giungi alla super intelligenza, Dialogue: 0,0:15:45.82,0:15:48.08,Default,,0000,0000,0000,,cosa fermerà un robot Dialogue: 0,0:15:48.10,0:15:50.96,Default,,0000,0000,0000,,dal leggere letteratura e scoprire\Nl'idea che la conoscenza Dialogue: 0,0:15:50.98,0:15:52.55,Default,,0000,0000,0000,,sia migliore dell'ignoranza, Dialogue: 0,0:15:52.58,0:15:56.79,Default,,0000,0000,0000,,e lo indurrà a spostare le sue finalità\Ne riscrivere la programmazione? Dialogue: 0,0:15:57.69,0:16:04.05,Default,,0000,0000,0000,,Stuart Russell: Sì, vogliamo\Nimparare meglio, come ho detto, Dialogue: 0,0:16:04.07,0:16:05.36,Default,,0000,0000,0000,,sui nostri obiettivi. Dialogue: 0,0:16:05.38,0:16:10.90,Default,,0000,0000,0000,,Diventerà più sicuro solo\Nquando diventerà più corretto, Dialogue: 0,0:16:10.93,0:16:12.87,Default,,0000,0000,0000,,quindi la prova è questa Dialogue: 0,0:16:12.90,0:16:15.62,Default,,0000,0000,0000,,e sarà progettata\Nper interpretarla correttamente. Dialogue: 0,0:16:15.64,0:16:19.60,Default,,0000,0000,0000,,Capirà, per esempio,\Nche i libri sono molto prevenuti Dialogue: 0,0:16:19.62,0:16:21.11,Default,,0000,0000,0000,,in ciò che contengono. Dialogue: 0,0:16:21.13,0:16:23.53,Default,,0000,0000,0000,,Parlano solo di re e principi Dialogue: 0,0:16:23.55,0:16:26.35,Default,,0000,0000,0000,,e di élite di maschi bianchi\Nche fanno cose. Dialogue: 0,0:16:26.38,0:16:28.47,Default,,0000,0000,0000,,Quindi è un problema complicato, Dialogue: 0,0:16:28.50,0:16:32.37,Default,,0000,0000,0000,,ma siccome impara di più\Nsui nostri obiettivi Dialogue: 0,0:16:32.39,0:16:34.46,Default,,0000,0000,0000,,diventerà ancora più utile per noi. Dialogue: 0,0:16:34.48,0:16:37.01,Default,,0000,0000,0000,,CA: E non potresti soltanto\Nlimitarti a una legge, Dialogue: 0,0:16:37.03,0:16:38.68,Default,,0000,0000,0000,,sai, programmata così: Dialogue: 0,0:16:38.70,0:16:41.100,Default,,0000,0000,0000,,"se un umano cerca di spegnermi, Dialogue: 0,0:16:42.02,0:16:43.96,Default,,0000,0000,0000,,lo assecondo. Lo assecondo." Dialogue: 0,0:16:43.98,0:16:45.16,Default,,0000,0000,0000,,SR: Assolutamente no. Dialogue: 0,0:16:45.19,0:16:46.68,Default,,0000,0000,0000,,Sarebbe un'idea terribile. Dialogue: 0,0:16:46.71,0:16:49.40,Default,,0000,0000,0000,,Immaginate di avere\Nuna macchina che si guida da sola Dialogue: 0,0:16:49.42,0:16:51.86,Default,,0000,0000,0000,,e volete mandare vostro figlio\Ndi cinque anni Dialogue: 0,0:16:51.88,0:16:53.05,Default,,0000,0000,0000,,all'asilo. Dialogue: 0,0:16:53.08,0:16:56.18,Default,,0000,0000,0000,,Volete che vostro figlio\Nsia capace di spegnere la macchina Dialogue: 0,0:16:56.20,0:16:57.42,Default,,0000,0000,0000,,mentre va in giro? Dialogue: 0,0:16:57.44,0:16:58.60,Default,,0000,0000,0000,,Probabilmente no. Dialogue: 0,0:16:58.62,0:17:03.32,Default,,0000,0000,0000,,Quindi deve capire quanto razionale\Ne sensibile sia la persona. Dialogue: 0,0:17:03.35,0:17:05.02,Default,,0000,0000,0000,,Più razionale è la persona, Dialogue: 0,0:17:05.05,0:17:07.15,Default,,0000,0000,0000,,più disponibile siete\Na essere spenti. Dialogue: 0,0:17:07.18,0:17:09.72,Default,,0000,0000,0000,,Se la persona è del tutto ignota\No perfino malvagia, Dialogue: 0,0:17:09.74,0:17:12.26,Default,,0000,0000,0000,,allora sarete meno disponibili\Na essere spenti. Dialogue: 0,0:17:12.28,0:17:14.14,Default,,0000,0000,0000,,CA: Giusto. Stuart, posso dire solo, Dialogue: 0,0:17:14.17,0:17:16.48,Default,,0000,0000,0000,,spero davvero, davvero che tu\Nlo scopra per noi. Dialogue: 0,0:17:16.51,0:17:18.88,Default,,0000,0000,0000,,Grazie per questa conferenza.\NÈ stata fantastica. Dialogue: 0,0:17:18.91,0:17:20.07,Default,,0000,0000,0000,,SR: Grazie. Dialogue: 0,0:17:20.10,0:17:21.93,Default,,0000,0000,0000,,(Applausi)