1
00:00:13,558 --> 00:00:16,178
A ascensão das máquinas!

2
00:00:18,118 --> 00:00:22,748
Quem aqui tem medo de robôs assassinos?

3
00:00:23,140 --> 00:00:25,250
(Risos)

4
00:00:25,882 --> 00:00:27,342
Eu tenho!

5
00:00:28,226 --> 00:00:31,896
Eu trabalhava em VAA
— Veículos Aéreos Autónomos —

6
00:00:31,926 --> 00:00:36,736
e sempre que via aquelas coisas
pensava que, um dia,

7
00:00:37,133 --> 00:00:41,043
alguém iria colocar
uma metralhadora naquelas coisas

8
00:00:41,153 --> 00:00:43,773
que me iam perseguir em enxames.

9
00:00:44,688 --> 00:00:49,738
Trabalho em robótica na Universidade Brown
e tenho medo de robôs.

10
00:00:50,541 --> 00:00:53,281
Sinto-me mesmo aterrorizado,

11
00:00:53,761 --> 00:00:55,731
mas poderão censurar-me?

12
00:00:55,991 --> 00:00:59,501
Desde miúdo, só tenho visto filmes

13
00:00:59,551 --> 00:01:02,961
que descrevem a ascensão
da Inteligência Artificial

14
00:01:03,011 --> 00:01:05,621
e o nosso inevitável conflito com ela

15
00:01:05,811 --> 00:01:11,161
— a Odisseia no Espaço 2001,
o Exterminador, Matrix —

16
00:01:11,800 --> 00:01:15,860
e as histórias que contam
são assustadoras:

17
00:01:16,200 --> 00:01:20,798
bandos de malfeitores a fugir
de máquinas super inteligentes.

18
00:01:21,935 --> 00:01:26,565
Isso assusta-me. Pelas vossas mãos,
parece que também vos assusta.

19
00:01:26,945 --> 00:01:30,045
Sei que é assustador para Elon Musk.

20
00:01:30,825 --> 00:01:34,905
Mas temos algum tempo
antes de os robôs se levantarem.

21
00:01:35,245 --> 00:01:38,571
Os robôs como o PR2,
que tenho na minha iniciativa,

22
00:01:38,571 --> 00:01:41,381
ainda nem conseguem abrir a porta.

23
00:01:42,191 --> 00:01:46,657
Portanto, acho que esta conversa
sobre robôs super inteligentes

24
00:01:46,707 --> 00:01:51,897
é uma manobra de diversão
para uma coisa ainda mais insidiosa

25
00:01:51,997 --> 00:01:56,217
que se passa com os sistemas IA
por todo o país.

26
00:01:56,917 --> 00:01:59,747
Neste momento, há pessoas

27
00:02:00,067 --> 00:02:04,227
— médicos, juízes, contabilistas —

28
00:02:04,357 --> 00:02:08,207
que estão a obter informações
de um sistema de IA

29
00:02:08,267 --> 00:02:12,577
e a trabalhá-las como se fossem
informações de um colega de confiança.

30
00:02:13,931 --> 00:02:16,901
É esta confiança que me preocupa,

31
00:02:17,141 --> 00:02:20,182
não pela frequência com que a IA erra.

32
00:02:20,322 --> 00:02:24,113
Todos os investigadores se orgulham
do rigor dos seus resultados.

33
00:02:24,869 --> 00:02:27,859
O pior é o grau de erro que existe
quando ela se engana

34
00:02:27,909 --> 00:02:29,519
que me preocupa mais.

35
00:02:29,779 --> 00:02:33,009
Estes sistemas, quando erram,
não erram por pouco.

36
00:02:34,240 --> 00:02:35,990
Vejamos o que acontece.

37
00:02:37,240 --> 00:02:42,120
Isto é um cão que um algoritmo da IA
identificou erradamente como um lobo.

38
00:02:43,233 --> 00:02:45,239
Os investigadores quiseram saber

39
00:02:45,269 --> 00:02:48,809
porque é que este "husky"
tinha sido confundido com um lobo.

40
00:02:49,751 --> 00:02:52,721
Voltaram a escrever o algoritmo
para que ele explicasse

41
00:02:52,721 --> 00:02:55,791
quais as partes da imagem
a que ele prestava atenção

42
00:02:55,831 --> 00:02:58,501
quando o algoritmo da IA
tomava a decisão.

43
00:02:59,069 --> 00:03:02,749
Nesta imagem, a que é que acham
que ele prestava atenção?

44
00:03:02,869 --> 00:03:05,099
A que é que vocês prestariam atenção?

45
00:03:05,359 --> 00:03:10,479
Talvez aos olhos,
talvez às orelhas, ao focinho...

46
00:03:13,041 --> 00:03:15,811
Mas ele prestava atenção a isto:

47
00:03:17,161 --> 00:03:20,221
sobretudo à neve, 
o pano de fundo da imagem.

48
00:03:21,003 --> 00:03:25,803
Estão a ver, havia um desvio no conjunto
de dados que alimentava este algoritmo.

49
00:03:26,293 --> 00:03:30,373
Na maior parte das imagens,
os lobos estão no meio da neve,

50
00:03:30,573 --> 00:03:34,783
por isso, o algoritmo da IA
associava a presença ou ausência da neve

51
00:03:34,783 --> 00:03:37,953
à presença ou ausência de um lobo.

52
00:03:39,912 --> 00:03:42,027
O que é assustador nisto

53
00:03:42,027 --> 00:03:46,027
é que os investigadores não faziam
ideia de que isso acontecia

54
00:03:46,297 --> 00:03:50,107
a não ser quando voltaram a escrever
o algoritmo para que se explicasse.

55
00:03:50,836 --> 00:03:52,896
É o que acontece com os algoritmos da IA,

56
00:03:52,976 --> 00:03:55,696
com a aprendizagem profunda,
a aprendizagem de máquinas.

57
00:03:55,696 --> 00:03:59,346
Mesmo os especialistas
que trabalham nesta coisa

58
00:03:59,386 --> 00:04:02,156
não fazem ideia do que se passa.

59
00:04:03,431 --> 00:04:07,461
Isto podia ser um bom exemplo
para uma investigação

60
00:04:07,491 --> 00:04:10,181
mas o que é que significa
no mundo real?

61
00:04:10,791 --> 00:04:15,521
O algoritmo Compas de Sentenças Criminais
é usado em 13 estados

62
00:04:15,841 --> 00:04:17,991
para determinar a reincidência criminal

63
00:04:18,061 --> 00:04:22,011
ou o risco de voltar a praticar um crime
depois de se ser libertado.

64
00:04:23,199 --> 00:04:26,959
A ProPublica descobriu
que, em relação aos afro-americanos,

65
00:04:26,959 --> 00:04:30,003
o Compas tinha mais 77%
de probabilidades de os classificar

66
00:04:30,003 --> 00:04:32,023
como um agressor potencialmente violento

67
00:04:32,023 --> 00:04:34,223
do que em relação aos caucasianos.

68
00:04:34,784 --> 00:04:37,884
Isto é um sistema real
que está a ser usado

69
00:04:37,914 --> 00:04:39,704
no mundo real por juízes reais

70
00:04:39,704 --> 00:04:42,734
para tomar decisões
sobre a vida de pessoas reais.

71
00:04:44,115 --> 00:04:48,565
Porque é que os juízes confiam nele
se tudo indica que é parcial?

72
00:04:49,866 --> 00:04:54,556
Eles usam o Compas porque
é um modelo de eficácia.

73
00:04:55,692 --> 00:05:00,312
O Compas permite-lhes resolver
contenciosos muito mais depressa

74
00:05:00,352 --> 00:05:02,992
num sistema judicial criminal
assoberbado.

75
00:05:04,747 --> 00:05:07,617
Porque é que haviam de pôr em causa
o seu próprio "software"?

76
00:05:07,627 --> 00:05:11,097
Foi adquirido pelo estado, aprovado
pelo Departamento de Informática.

77
00:05:11,137 --> 00:05:13,357
Porque é que haviam de o pôr em causa?

78
00:05:13,357 --> 00:05:16,513
As pessoas condenadas pelo Compas
puseram-no em causa

79
00:05:16,513 --> 00:05:19,193
e os processos deviam 
assustar-nos a todos.

80
00:05:19,243 --> 00:05:22,123
O Supremo Tribunal de Winsconsin
determinou

81
00:05:22,123 --> 00:05:25,643
que o Compass não negava
ao réu um processo correto

82
00:05:25,643 --> 00:05:28,583
se fosse usado "corretamente".

83
00:05:28,963 --> 00:05:31,068
Na mesma decisão, determinaram

84
00:05:31,078 --> 00:05:34,758
que o réu não podia inspecionar
o código de origem do Compass.

85
00:05:35,700 --> 00:05:37,875
Tinha que ser usado corretamente

86
00:05:37,885 --> 00:05:40,425
mas não era possível inspecionar
o código de origem?

87
00:05:40,425 --> 00:05:43,745
É um conjunto de normas perturbador,
quando consideradas em conjunto,

88
00:05:43,795 --> 00:05:46,485
para quem enfrenta
uma condenação criminal.

89
00:05:46,935 --> 00:05:48,886
Vocês podem não se preocupar com isto

90
00:05:48,906 --> 00:05:51,056
porque não enfrentam
uma sentença criminal,

91
00:05:51,056 --> 00:05:55,186
mas e se eu vos disser que 
algoritmos IA de caixa negra, como este,

92
00:05:55,226 --> 00:05:57,364
estão a ser usados para decidir

93
00:05:57,414 --> 00:06:00,144
se podemos obter ou não
um empréstimo para comprar casa,

94
00:06:00,144 --> 00:06:02,844
se conseguimos ou não
uma entrevista para um emprego,

95
00:06:03,364 --> 00:06:05,863
se obtemos ou não assistência médica,

96
00:06:05,954 --> 00:06:10,064
e até estão a dirigir carros e camiões
pelas autoestradas?

97
00:06:10,831 --> 00:06:14,531
Desejariam que o público
pudesse inspecionar o algoritmo

98
00:06:14,531 --> 00:06:17,239
que está a tomar decisões
entre um carrinho de compras

99
00:06:17,239 --> 00:06:20,169
e um carrinho de bebé,
num camião autónomo,

100
00:06:20,899 --> 00:06:23,679
do mesmo modo que o algoritmo
cão/lobo tentava decidir

101
00:06:23,679 --> 00:06:25,579
entre um cão e um lobo?

102
00:06:26,282 --> 00:06:31,462
Seremos potencialmente um cão
metafórico confundido com um lobo

103
00:06:31,462 --> 00:06:33,812
por qualquer algoritmo de IA?

104
00:06:34,868 --> 00:06:38,378
Considerando a complexidade
das pessoas, isso é possível.

105
00:06:38,811 --> 00:06:41,851
Haverá alguma coisa
que possamos fazer, neste momento?

106
00:06:42,201 --> 00:06:46,841
Provavelmente não, e é nisso
que devemos concentrar-nos.

107
00:06:47,487 --> 00:06:50,747
Precisamos de exigir normas
de responsabilização,

108
00:06:50,767 --> 00:06:55,397
de transparência e recurso
quanto aos sistemas de IA.

109
00:06:56,456 --> 00:06:59,194
A Organização Internacional
de Normalização,

110
00:06:59,194 --> 00:07:01,174
instituiu há pouco uma comissão

111
00:07:01,174 --> 00:07:04,604
para tomar decisões sobre o que fazer
para normas da IA.

112
00:07:05,053 --> 00:07:08,739
Vão demorar uns cinco anos
antes de apresentarem uma norma.

113
00:07:09,119 --> 00:07:12,449
Estes sistemas já estão a ser usados,

114
00:07:13,671 --> 00:07:18,991
não só para empréstimos, estão a ser
usados em veículos, como já referi.

115
00:07:20,841 --> 00:07:22,793
Estão a ser usados em coisas como

116
00:07:22,813 --> 00:07:25,273
o Controlo de Velocidade
Adaptável Cooperativo.

117
00:07:25,273 --> 00:07:27,833
É curioso que lhe chamem
"controlo de velocidade"

118
00:07:27,973 --> 00:07:31,343
porque o tipo de controlador que usaram
para o controlo de velocidade

119
00:07:31,363 --> 00:07:32,773
— um controlador PID —

120
00:07:32,773 --> 00:07:35,909
foi usado durante 30 anos
em instalações químicas,

121
00:07:35,949 --> 00:07:38,239
antes de ser adaptado para carros.

122
00:07:39,139 --> 00:07:41,138
O tipo de controlador que está a ser usado

123
00:07:41,138 --> 00:07:44,568
para dirigir um carro autónomo
e para aprendizagem de máquinas

124
00:07:44,638 --> 00:07:48,548
só tem sido usado
na investigação desde 2007.

125
00:07:49,680 --> 00:07:52,230
Trata-se de tecnologias novas.

126
00:07:52,470 --> 00:07:56,200
Precisamos de exigir as normas
e precisamos de exigir regulamentação

127
00:07:56,430 --> 00:07:59,820
para não termos "banha de cobra"
no mercado.

128
00:08:00,819 --> 00:08:04,279
Também temos de ter
um pouco de ceticismo.

129
00:08:05,861 --> 00:08:07,871
As experiências sobre autoridade

130
00:08:07,871 --> 00:08:11,041
feitas por Stanley Milgram
depois da II Guerra Mundial

131
00:08:11,121 --> 00:08:15,821
mostraram que uma pessoa comum
cumpre as ordens de figuras de autoridade

132
00:08:16,031 --> 00:08:19,741
mesmo que isso signifique
prejudicar os seus concidadãos.

133
00:08:20,461 --> 00:08:22,400
Nesta experiência,

134
00:08:22,860 --> 00:08:27,130
norte-americanos vulgares
infligiram choques a um ator

135
00:08:27,689 --> 00:08:30,189
ao ponto de ele se queixar

136
00:08:31,577 --> 00:08:34,717
ao ponto de ele gritar de dor,

137
00:08:35,934 --> 00:08:40,464
ao ponto de ele se calar,
numa morte simulada,

138
00:08:41,613 --> 00:08:43,689
só porque alguém

139
00:08:44,099 --> 00:08:47,779
sem credenciais,
com a bata do laboratório,

140
00:08:47,969 --> 00:08:50,795
lhes dizia, com algumas variantes:

141
00:08:50,855 --> 00:08:54,235
"A experiência tem que continuar".

142
00:08:56,945 --> 00:09:02,398
Na IA, temos as figuras supremas
de autoridade de Milgram.

143
00:09:03,656 --> 00:09:08,046
Temos um sistema calculista
que não reflete,

144
00:09:09,370 --> 00:09:12,390
que não pode tomar outra decisão,

145
00:09:12,920 --> 00:09:14,922
para a qual não há recurso,

146
00:09:15,074 --> 00:09:20,014
que dirá sempre: "O sistema —
ou o processo — tem que continuar".

147
00:09:23,313 --> 00:09:25,573
Agora, vou contar uma história.

148
00:09:25,883 --> 00:09:29,473
Trata-se se um passeio de carro
que fiz pelo país.

149
00:09:30,790 --> 00:09:34,690
Estava a chegar à cidade de Salt Lake,
quando começou a chover.

150
00:09:35,211 --> 00:09:39,900
Quando subi a montanha,
a chuva transformou-se em neve

151
00:09:40,380 --> 00:09:42,580
e, em breve, ficou tudo coberto de neve.

152
00:09:42,640 --> 00:09:45,590
Não via as luzes traseiras do carro
à minha frente.

153
00:09:46,153 --> 00:09:47,963
Comecei a derrapar.

154
00:09:48,023 --> 00:09:51,133
Dei uma volta para um lado,
dei uma volta para o outro lado.

155
00:09:51,243 --> 00:09:52,643
Saí da autoestrada.

156
00:09:52,663 --> 00:09:55,163
Com os vidros cheios de lama,
não conseguia ver nada.

157
00:09:55,203 --> 00:09:58,793
Fiquei aflito com medo
que outro carro colidisse comigo.

158
00:09:59,924 --> 00:10:03,634
Estou a contar esta história
para vocês pensarem

159
00:10:03,864 --> 00:10:07,324
como uma pequena coisa,
aparentemente vulgar,

160
00:10:07,324 --> 00:10:09,574
como um pouco de precipitação,

161
00:10:10,094 --> 00:10:14,404
pode facilmente passar a ser
uma coisa muito perigosa.

162
00:10:15,409 --> 00:10:19,239
Estamos a conduzir à chuva,
neste momento, com a IA

163
00:10:20,442 --> 00:10:23,402
e essa chuva vai transformar-se em neve.

164
00:10:23,887 --> 00:10:27,207
Essa neve pode passar a ser
uma tempestade de neve.

165
00:10:28,097 --> 00:10:29,847
Temos que parar,

166
00:10:30,537 --> 00:10:32,527
verificar as condições,

167
00:10:33,002 --> 00:10:35,372
instituir normas de segurança,

168
00:10:35,642 --> 00:10:40,812
e perguntar até onde
queremos chegar,

169
00:10:42,267 --> 00:10:46,437
porque os incentivos económicos
para a IA e para a automação,

170
00:10:46,557 --> 00:10:48,503
para substituir o trabalho humano

171
00:10:48,523 --> 00:10:52,733
vão ultrapassar tudo o que vimos
desde a Revolução Industrial.

172
00:10:54,193 --> 00:10:56,600
As exigências do salário dos seres humanos

173
00:10:56,630 --> 00:11:00,640
não podem competir
com o custo básico da eletricidade.

174
00:11:02,480 --> 00:11:04,925
A IA e os robôs vão substituir

175
00:11:04,955 --> 00:11:07,875
os cozinheiros nas cadeias
de comida rápida

176
00:11:08,035 --> 00:11:10,535
e os radiologistas nos hospitais.

177
00:11:11,135 --> 00:11:14,130
Um dia, a IA irá diagnosticar
o nosso cancro,

178
00:11:14,330 --> 00:11:16,880
e um robô realizará a cirurgia.

179
00:11:17,960 --> 00:11:22,310
Só um saudável ceticismo
em relação a esses sistemas

180
00:11:22,420 --> 00:11:25,711
irá manter as pessoas nesse ciclo.

181
00:11:26,481 --> 00:11:31,133
Tenho confiança de que,
se pudermos manter pessoas no ciclo,

182
00:11:31,473 --> 00:11:34,583
se pudermos criar sistemas de IA
transparentes,

183
00:11:34,623 --> 00:11:36,393
como o exemplo do cão/lobo,


184
00:11:36,393 --> 00:11:39,658
em que a IA explicou o que estava
a fazer às pessoas

185
00:11:39,658 --> 00:11:42,318
e as pessoas puderam detetá-lo.

186
00:11:42,588 --> 00:11:47,128
podemos criar novos empregos
para as pessoas fazerem parceria com a IA.

187
00:11:48,573 --> 00:11:51,103
Se trabalharmos em conjunto com a IA,

188
00:11:51,123 --> 00:11:55,143
provavelmente conseguiremos resolver
alguns dos nossos maiores problemas.

189
00:11:56,764 --> 00:12:01,254
Mas, para isso, precisamos
de comandar, não de obedecer.

190
00:12:01,801 --> 00:12:05,351
Precisamos de optar
por sermos menos como robôs

191
00:12:05,491 --> 00:12:09,601
e precisamos de construir robôs
mais parecidos com pessoas,

192
00:12:11,020 --> 00:12:12,930
porque, no final,

193
00:12:13,350 --> 00:12:18,040
a única coisa que temos de recear
não são os robôs assassinos,

194
00:12:18,700 --> 00:12:21,461
é a nossa preguiça intelectual.

195
00:12:22,215 --> 00:12:26,445
A única coisa de que precisamos
de ter medo é de nós mesmos.

196
00:12:26,989 --> 00:12:28,171
Obrigado.

197
00:12:28,241 --> 00:12:31,071
(Aplausos)