WEBVTT

00:00:13.558 --> 00:00:16.178
A ascensão das máquinas!

00:00:18.118 --> 00:00:22.748
Quem aqui tem medo de robôs assassinos?

00:00:23.140 --> 00:00:25.250
(Risos)

00:00:25.882 --> 00:00:27.342
Eu tenho!

00:00:28.226 --> 00:00:31.896
Eu trabalhava em VAA
— Veículos Aéreos Autónomos —

00:00:31.926 --> 00:00:36.736
e sempre que via aquelas coisas
pensava que, um dia,

00:00:37.133 --> 00:00:41.043
alguém iria colocar
uma metralhadora naquelas coisas

00:00:41.153 --> 00:00:43.773
que me iam perseguir em enxames.

00:00:44.688 --> 00:00:49.738
Trabalho em robótica na Universidade Brown
e tenho medo de robôs.

00:00:50.541 --> 00:00:53.281
Sinto-me mesmo aterrorizado,

00:00:53.761 --> 00:00:55.731
mas poderão censurar-me?

00:00:55.991 --> 00:00:59.501
Desde miúdo, só tenho visto filmes

00:00:59.551 --> 00:01:02.961
que descrevem a ascensão
da Inteligência Artificial

00:01:03.011 --> 00:01:05.621
e o nosso inevitável conflito com ela

00:01:05.811 --> 00:01:11.161
— a Odisseia no Espaço 2001,
o Exterminador, Matrix —

00:01:11.800 --> 00:01:15.860
e as histórias que contam
são assustadoras:

00:01:16.200 --> 00:01:20.798
bandos de malfeitores a fugir
de máquinas super inteligentes.

00:01:21.935 --> 00:01:26.565
Isso assusta-me. Pelas vossas mãos,
parece que também vos assusta.

00:01:26.945 --> 00:01:30.045
Sei que é assustador para Elon Musk.

00:01:30.825 --> 00:01:34.905
Mas temos algum tempo
antes de os robôs se levantarem.

00:01:35.245 --> 00:01:38.571
Os robôs como o PR2,
que tenho na minha iniciativa,

00:01:38.571 --> 00:01:41.381
ainda nem conseguem abrir a porta.

00:01:42.191 --> 00:01:46.657
Portanto, acho que esta conversa
sobre robôs super inteligentes

00:01:46.707 --> 00:01:51.897
é uma manobra de diversão
para uma coisa ainda mais insidiosa

00:01:51.997 --> 00:01:56.217
que se passa com os sistemas IA
por todo o país.

00:01:56.917 --> 00:01:59.747
Neste momento, há pessoas

00:02:00.067 --> 00:02:04.227
— médicos, juízes, contabilistas —

00:02:04.357 --> 00:02:08.207
que estão a obter informações
de um sistema de IA

00:02:08.267 --> 00:02:12.577
e a trabalhá-las como se fossem
informações de um colega de confiança.

00:02:13.931 --> 00:02:16.901
É esta confiança que me preocupa,

00:02:17.141 --> 00:02:20.182
não pela frequência com que a IA erra.

00:02:20.322 --> 00:02:24.113
Todos os investigadores se orgulham
do rigor dos seus resultados.

00:02:24.869 --> 00:02:27.859
O pior é o grau de erro que existe
quando ela se engana

00:02:27.909 --> 00:02:29.519
que me preocupa mais.

00:02:29.779 --> 00:02:33.009
Estes sistemas, quando erram,
não erram por pouco.

00:02:34.240 --> 00:02:35.990
Vejamos o que acontece.

00:02:37.240 --> 00:02:42.120
Isto é um cão que um algoritmo da IA
identificou erradamente como um lobo.

00:02:43.233 --> 00:02:45.239
Os investigadores quiseram saber

00:02:45.269 --> 00:02:48.809
porque é que este "husky"
tinha sido confundido com um lobo.

00:02:49.751 --> 00:02:52.721
Voltaram a escrever o algoritmo
para que ele explicasse

00:02:52.721 --> 00:02:55.791
quais as partes da imagem
a que ele prestava atenção

00:02:55.831 --> 00:02:58.501
quando o algoritmo da IA
tomava a decisão.

00:02:59.069 --> 00:03:02.749
Nesta imagem, a que é que acham
que ele prestava atenção?

00:03:02.869 --> 00:03:05.099
A que é que vocês prestariam atenção?

00:03:05.359 --> 00:03:10.479
Talvez aos olhos,
talvez às orelhas, ao focinho...

00:03:13.041 --> 00:03:15.811
Mas ele prestava atenção a isto:

00:03:17.161 --> 00:03:20.221
sobretudo à neve, 
o pano de fundo da imagem.

00:03:21.003 --> 00:03:25.803
Estão a ver, havia um desvio no conjunto
de dados que alimentava este algoritmo.

00:03:26.293 --> 00:03:30.373
Na maior parte das imagens,
os lobos estão no meio da neve,

00:03:30.573 --> 00:03:34.783
por isso, o algoritmo da IA
associava a presença ou ausência da neve

00:03:34.783 --> 00:03:37.953
à presença ou ausência de um lobo.

00:03:39.912 --> 00:03:42.027
O que é assustador nisto

00:03:42.027 --> 00:03:46.027
é que os investigadores não faziam
ideia de que isso acontecia

00:03:46.297 --> 00:03:50.107
a não ser quando voltaram a escrever
o algoritmo para que se explicasse.

00:03:50.836 --> 00:03:52.896
É o que acontece com os algoritmos da IA,

00:03:52.976 --> 00:03:55.696
com a aprendizagem profunda,
a aprendizagem de máquinas.

00:03:55.696 --> 00:03:59.346
Mesmo os especialistas
que trabalham nesta coisa

00:03:59.386 --> 00:04:02.156
não fazem ideia do que se passa.

00:04:03.431 --> 00:04:07.461
Isto podia ser um bom exemplo
para uma investigação

00:04:07.491 --> 00:04:10.181
mas o que é que significa
no mundo real?

00:04:10.791 --> 00:04:15.521
O algoritmo Compas de Sentenças Criminais
é usado em 13 estados

00:04:15.841 --> 00:04:17.991
para determinar a reincidência criminal

00:04:18.061 --> 00:04:22.011
ou o risco de voltar a praticar um crime
depois de se ser libertado.

00:04:23.199 --> 00:04:26.959
A ProPublica descobriu
que, em relação aos afro-americanos,

00:04:26.959 --> 00:04:30.003
o Compas tinha mais 77%
de probabilidades de os classificar

00:04:30.003 --> 00:04:32.023
como um agressor potencialmente violento

00:04:32.023 --> 00:04:34.223
do que em relação aos caucasianos.

00:04:34.784 --> 00:04:37.884
Isto é um sistema real
que está a ser usado

00:04:37.914 --> 00:04:39.704
no mundo real por juízes reais

00:04:39.704 --> 00:04:42.734
para tomar decisões
sobre a vida de pessoas reais.

00:04:44.115 --> 00:04:48.565
Porque é que os juízes confiam nele
se tudo indica que é parcial?

00:04:49.866 --> 00:04:54.556
Eles usam o Compas porque
é um modelo de eficácia.

00:04:55.692 --> 00:05:00.312
O Compas permite-lhes resolver
contenciosos muito mais depressa

00:05:00.352 --> 00:05:02.992
num sistema judicial criminal
assoberbado.

00:05:04.747 --> 00:05:07.617
Porque é que haviam de pôr em causa
o seu próprio "software"?

00:05:07.627 --> 00:05:11.097
Foi adquirido pelo estado, aprovado
pelo Departamento de Informática.

00:05:11.137 --> 00:05:13.357
Porque é que haviam de o pôr em causa?

00:05:13.357 --> 00:05:16.513
As pessoas condenadas pelo Compas
puseram-no em causa

00:05:16.513 --> 00:05:19.193
e os processos deviam 
assustar-nos a todos.

00:05:19.243 --> 00:05:22.123
O Supremo Tribunal de Winsconsin
determinou

00:05:22.123 --> 00:05:25.643
que o Compass não negava
ao réu um processo correto

00:05:25.643 --> 00:05:28.583
se fosse usado "corretamente".

00:05:28.963 --> 00:05:31.068
Na mesma decisão, determinaram

00:05:31.078 --> 00:05:34.758
que o réu não podia inspecionar
o código de origem do Compass.

00:05:35.700 --> 00:05:37.875
Tinha que ser usado corretamente

00:05:37.885 --> 00:05:40.425
mas não era possível inspecionar
o código de origem?

00:05:40.425 --> 00:05:43.745
É um conjunto de normas perturbador,
quando consideradas em conjunto,

00:05:43.795 --> 00:05:46.485
para quem enfrenta
uma condenação criminal.

00:05:46.935 --> 00:05:48.886
Vocês podem não se preocupar com isto

00:05:48.906 --> 00:05:51.056
porque não enfrentam
uma sentença criminal,

00:05:51.056 --> 00:05:55.186
mas e se eu vos disser que 
algoritmos IA de caixa negra, como este,

00:05:55.226 --> 00:05:57.364
estão a ser usados para decidir

00:05:57.414 --> 00:06:00.144
se podemos obter ou não
um empréstimo para comprar casa,

00:06:00.144 --> 00:06:02.844
se conseguimos ou não
uma entrevista para um emprego,

00:06:03.364 --> 00:06:05.863
se obtemos ou não assistência médica,

00:06:05.954 --> 00:06:10.064
e até estão a dirigir carros e camiões
pelas autoestradas?

00:06:10.831 --> 00:06:14.531
Desejariam que o público
pudesse inspecionar o algoritmo

00:06:14.531 --> 00:06:17.239
que está a tomar decisões
entre um carrinho de compras

00:06:17.239 --> 00:06:20.169
e um carrinho de bebé,
num camião autónomo,

00:06:20.899 --> 00:06:23.679
do mesmo modo que o algoritmo
cão/lobo tentava decidir

00:06:23.679 --> 00:06:25.579
entre um cão e um lobo?

00:06:26.282 --> 00:06:31.462
Seremos potencialmente um cão
metafórico confundido com um lobo

00:06:31.462 --> 00:06:33.812
por qualquer algoritmo de IA?

00:06:34.868 --> 00:06:38.378
Considerando a complexidade
das pessoas, isso é possível.

00:06:38.811 --> 00:06:41.851
Haverá alguma coisa
que possamos fazer, neste momento?

00:06:42.201 --> 00:06:46.841
Provavelmente não, e é nisso
que devemos concentrar-nos.

00:06:47.487 --> 00:06:50.747
Precisamos de exigir normas
de responsabilização,

00:06:50.767 --> 00:06:55.397
de transparência e recurso
quanto aos sistemas de IA.

00:06:56.456 --> 00:06:59.194
A Organização Internacional
de Normalização,

00:06:59.194 --> 00:07:01.174
instituiu há pouco uma comissão

00:07:01.174 --> 00:07:04.604
para tomar decisões sobre o que fazer
para normas da IA.

00:07:05.053 --> 00:07:08.739
Vão demorar uns cinco anos
antes de apresentarem uma norma.

00:07:09.119 --> 00:07:12.449
Estes sistemas já estão a ser usados,

00:07:13.671 --> 00:07:18.991
não só para empréstimos, estão a ser
usados em veículos, como já referi.

00:07:20.841 --> 00:07:22.793
Estão a ser usados em coisas como

00:07:22.813 --> 00:07:25.273
o Controlo de Velocidade
Adaptável Cooperativo.

00:07:25.273 --> 00:07:27.833
É curioso que lhe chamem
"controlo de velocidade"

00:07:27.973 --> 00:07:31.343
porque o tipo de controlador que usaram
para o controlo de velocidade

00:07:31.363 --> 00:07:32.773
— um controlador PID —

00:07:32.773 --> 00:07:35.909
foi usado durante 30 anos
em instalações químicas,

00:07:35.949 --> 00:07:38.239
antes de ser adaptado para carros.

00:07:39.139 --> 00:07:41.138
O tipo de controlador que está a ser usado

00:07:41.138 --> 00:07:44.568
para dirigir um carro autónomo
e para aprendizagem de máquinas

00:07:44.638 --> 00:07:48.548
só tem sido usado
na investigação desde 2007.

00:07:49.680 --> 00:07:52.230
Trata-se de tecnologias novas.

00:07:52.470 --> 00:07:56.200
Precisamos de exigir as normas
e precisamos de exigir regulamentação

00:07:56.430 --> 00:07:59.820
para não termos "banha de cobra"
no mercado.

00:08:00.819 --> 00:08:04.279
Também temos de ter
um pouco de ceticismo.

00:08:05.861 --> 00:08:07.871
As experiências sobre autoridade

00:08:07.871 --> 00:08:11.041
feitas por Stanley Milgram
depois da II Guerra Mundial

00:08:11.121 --> 00:08:15.821
mostraram que uma pessoa comum
cumpre as ordens de figuras de autoridade

00:08:16.031 --> 00:08:19.741
mesmo que isso signifique
prejudicar os seus concidadãos.

00:08:20.461 --> 00:08:22.400
Nesta experiência,

00:08:22.860 --> 00:08:27.130
norte-americanos vulgares
infligiram choques a um ator

00:08:27.689 --> 00:08:30.189
ao ponto de ele se queixar

00:08:31.577 --> 00:08:34.717
ao ponto de ele gritar de dor,

00:08:35.934 --> 00:08:40.464
ao ponto de ele se calar,
numa morte simulada,

00:08:41.613 --> 00:08:43.689
só porque alguém

00:08:44.099 --> 00:08:47.779
sem credenciais,
com a bata do laboratório,

00:08:47.969 --> 00:08:50.795
lhes dizia, com algumas variantes:

00:08:50.855 --> 00:08:54.235
"A experiência tem que continuar".

00:08:56.945 --> 00:09:02.398
Na IA, temos as figuras supremas
de autoridade de Milgram.

00:09:03.656 --> 00:09:08.046
Temos um sistema calculista
que não reflete,

00:09:09.370 --> 00:09:12.390
que não pode tomar outra decisão,

00:09:12.920 --> 00:09:14.922
para a qual não há recurso,

00:09:15.074 --> 00:09:20.014
que dirá sempre: "O sistema —
ou o processo — tem que continuar".

00:09:23.313 --> 00:09:25.573
Agora, vou contar uma história.

00:09:25.883 --> 00:09:29.473
Trata-se se um passeio de carro
que fiz pelo país.

00:09:30.790 --> 00:09:34.690
Estava a chegar à cidade de Salt Lake,
quando começou a chover.

00:09:35.211 --> 00:09:39.900
Quando subi a montanha,
a chuva transformou-se em neve

00:09:40.380 --> 00:09:42.580
e, em breve, ficou tudo coberto de neve.

00:09:42.640 --> 00:09:45.590
Não via as luzes traseiras do carro
à minha frente.

00:09:46.153 --> 00:09:47.963
Comecei a derrapar.

00:09:48.023 --> 00:09:51.133
Dei uma volta para um lado,
dei uma volta para o outro lado.

00:09:51.243 --> 00:09:52.643
Saí da autoestrada.

00:09:52.663 --> 00:09:55.163
Com os vidros cheios de lama,
não conseguia ver nada.

00:09:55.203 --> 00:09:58.793
Fiquei aflito com medo
que outro carro colidisse comigo.

00:09:59.924 --> 00:10:03.634
Estou a contar esta história
para vocês pensarem

00:10:03.864 --> 00:10:07.324
como uma pequena coisa,
aparentemente vulgar,

00:10:07.324 --> 00:10:09.574
como um pouco de precipitação,

00:10:10.094 --> 00:10:14.404
pode facilmente passar a ser
uma coisa muito perigosa.

00:10:15.409 --> 00:10:19.239
Estamos a conduzir à chuva,
neste momento, com a IA

00:10:20.442 --> 00:10:23.402
e essa chuva vai transformar-se em neve.

00:10:23.887 --> 00:10:27.207
Essa neve pode passar a ser
uma tempestade de neve.

00:10:28.097 --> 00:10:29.847
Temos que parar,

00:10:30.537 --> 00:10:32.527
verificar as condições,

00:10:33.002 --> 00:10:35.372
instituir normas de segurança,

00:10:35.642 --> 00:10:40.812
e perguntar até onde
queremos chegar,

00:10:42.267 --> 00:10:46.437
porque os incentivos económicos
para a IA e para a automação,

00:10:46.557 --> 00:10:48.503
para substituir o trabalho humano

00:10:48.523 --> 00:10:52.733
vão ultrapassar tudo o que vimos
desde a Revolução Industrial.

00:10:54.193 --> 00:10:56.600
As exigências do salário dos seres humanos

00:10:56.630 --> 00:11:00.640
não podem competir
com o custo básico da eletricidade.

00:11:02.480 --> 00:11:04.925
A IA e os robôs vão substituir

00:11:04.955 --> 00:11:07.875
os cozinheiros nas cadeias
de comida rápida

00:11:08.035 --> 00:11:10.535
e os radiologistas nos hospitais.

00:11:11.135 --> 00:11:14.130
Um dia, a IA irá diagnosticar
o nosso cancro,

00:11:14.330 --> 00:11:16.880
e um robô realizará a cirurgia.

00:11:17.960 --> 00:11:22.310
Só um saudável ceticismo
em relação a esses sistemas

00:11:22.420 --> 00:11:25.711
irá manter as pessoas nesse ciclo.

00:11:26.481 --> 00:11:31.133
Tenho confiança de que,
se pudermos manter pessoas no ciclo,

00:11:31.473 --> 00:11:34.583
se pudermos criar sistemas de IA
transparentes,

00:11:34.623 --> 00:11:36.393
como o exemplo do cão/lobo,


00:11:36.393 --> 00:11:39.658
em que a IA explicou o que estava
a fazer às pessoas

00:11:39.658 --> 00:11:42.318
e as pessoas puderam detetá-lo.

00:11:42.588 --> 00:11:47.128
podemos criar novos empregos
para as pessoas fazerem parceria com a IA.

00:11:48.573 --> 00:11:51.103
Se trabalharmos em conjunto com a IA,

00:11:51.123 --> 00:11:55.143
provavelmente conseguiremos resolver
alguns dos nossos maiores problemas.

00:11:56.764 --> 00:12:01.254
Mas, para isso, precisamos
de comandar, não de obedecer.

00:12:01.801 --> 00:12:05.351
Precisamos de optar
por sermos menos como robôs

00:12:05.491 --> 00:12:09.601
e precisamos de construir robôs
mais parecidos com pessoas,

00:12:11.020 --> 00:12:12.930
porque, no final,

00:12:13.350 --> 00:12:18.040
a única coisa que temos de recear
não são os robôs assassinos,

00:12:18.700 --> 00:12:21.461
é a nossa preguiça intelectual.

00:12:22.215 --> 00:12:26.445
A única coisa de que precisamos
de ter medo é de nós mesmos.

00:12:26.989 --> 00:12:28.171
Obrigado.

00:12:28.241 --> 00:12:31.071
(Aplausos)