0:00:13.558,0:00:16.178
A ascensão das máquinas!

0:00:18.118,0:00:22.748
Quem aqui tem medo de robôs assassinos?

0:00:23.140,0:00:25.250
(Risos)

0:00:25.882,0:00:27.342
Eu tenho!

0:00:28.226,0:00:31.896
Eu trabalhava em VAA[br]— Veículos Aéreos Autónomos —

0:00:31.926,0:00:36.736
e sempre que via aquelas coisas[br]pensava que, um dia,

0:00:37.133,0:00:41.043
alguém iria colocar[br]uma metralhadora naquelas coisas

0:00:41.153,0:00:43.773
que me iam perseguir em enxames.

0:00:44.688,0:00:49.738
Trabalho em robótica na Universidade Brown[br]e tenho medo de robôs.

0:00:50.541,0:00:53.281
Sinto-me mesmo aterrorizado,

0:00:53.761,0:00:55.731
mas poderão censurar-me?

0:00:55.991,0:00:59.501
Desde miúdo, só tenho visto filmes

0:00:59.551,0:01:02.961
que descrevem a ascensão[br]da Inteligência Artificial

0:01:03.011,0:01:05.621
e o nosso inevitável conflito com ela

0:01:05.811,0:01:11.161
— a Odisseia no Espaço 2001,[br]o Exterminador, Matrix —

0:01:11.800,0:01:15.860
e as histórias que contam[br]são assustadoras:

0:01:16.200,0:01:20.798
bandos de malfeitores a fugir[br]de máquinas super inteligentes.

0:01:21.935,0:01:26.565
Isso assusta-me. Pelas vossas mãos,[br]parece que também vos assusta.

0:01:26.945,0:01:30.045
Sei que é assustador para Elon Musk.

0:01:30.825,0:01:34.905
Mas temos algum tempo[br]antes de os robôs se levantarem.

0:01:35.245,0:01:38.571
Os robôs como o PR2,[br]que tenho na minha iniciativa,

0:01:38.571,0:01:41.381
ainda nem conseguem abrir a porta.

0:01:42.191,0:01:46.657
Portanto, acho que esta conversa[br]sobre robôs super inteligentes

0:01:46.707,0:01:51.897
é uma manobra de diversão[br]para uma coisa ainda mais insidiosa

0:01:51.997,0:01:56.217
que se passa com os sistemas IA[br]por todo o país.

0:01:56.917,0:01:59.747
Neste momento, há pessoas

0:02:00.067,0:02:04.227
— médicos, juízes, contabilistas —

0:02:04.357,0:02:08.207
que estão a obter informações[br]de um sistema de IA

0:02:08.267,0:02:12.577
e a trabalhá-las como se fossem[br]informações de um colega de confiança.

0:02:13.931,0:02:16.901
É esta confiança que me preocupa,

0:02:17.141,0:02:20.182
não pela frequência com que a IA erra.

0:02:20.322,0:02:24.113
Todos os investigadores se orgulham[br]do rigor dos seus resultados.

0:02:24.869,0:02:27.859
O pior é o grau de erro que existe[br]quando ela se engana

0:02:27.909,0:02:29.519
que me preocupa mais.

0:02:29.779,0:02:33.009
Estes sistemas, quando erram,[br]não erram por pouco.

0:02:34.240,0:02:35.990
Vejamos o que acontece.

0:02:37.240,0:02:42.120
Isto é um cão que um algoritmo da IA[br]identificou erradamente como um lobo.

0:02:43.233,0:02:45.239
Os investigadores quiseram saber

0:02:45.269,0:02:48.809
porque é que este "husky"[br]tinha sido confundido com um lobo.

0:02:49.751,0:02:52.721
Voltaram a escrever o algoritmo[br]para que ele explicasse

0:02:52.721,0:02:55.791
quais as partes da imagem[br]a que ele prestava atenção

0:02:55.831,0:02:58.501
quando o algoritmo da IA[br]tomava a decisão.

0:02:59.069,0:03:02.749
Nesta imagem, a que é que acham[br]que ele prestava atenção?

0:03:02.869,0:03:05.099
A que é que vocês prestariam atenção?

0:03:05.359,0:03:10.479
Talvez aos olhos,[br]talvez às orelhas, ao focinho...

0:03:13.041,0:03:15.811
Mas ele prestava atenção a isto:

0:03:17.161,0:03:20.221
sobretudo à neve, [br]o pano de fundo da imagem.

0:03:21.003,0:03:25.803
Estão a ver, havia um desvio no conjunto[br]de dados que alimentava este algoritmo.

0:03:26.293,0:03:30.373
Na maior parte das imagens,[br]os lobos estão no meio da neve,

0:03:30.573,0:03:34.783
por isso, o algoritmo da IA[br]associava a presença ou ausência da neve

0:03:34.783,0:03:37.953
à presença ou ausência de um lobo.

0:03:39.912,0:03:42.027
O que é assustador nisto

0:03:42.027,0:03:46.027
é que os investigadores não faziam[br]ideia de que isso acontecia

0:03:46.297,0:03:50.107
a não ser quando voltaram a escrever[br]o algoritmo para que se explicasse.

0:03:50.836,0:03:52.896
É o que acontece com os algoritmos da IA,

0:03:52.976,0:03:55.696
com a aprendizagem profunda,[br]a aprendizagem de máquinas.

0:03:55.696,0:03:59.346
Mesmo os especialistas[br]que trabalham nesta coisa

0:03:59.386,0:04:02.156
não fazem ideia do que se passa.

0:04:03.431,0:04:07.461
Isto podia ser um bom exemplo[br]para uma investigação

0:04:07.491,0:04:10.181
mas o que é que significa[br]no mundo real?

0:04:10.791,0:04:15.521
O algoritmo Compas de Sentenças Criminais[br]é usado em 13 estados

0:04:15.841,0:04:17.991
para determinar a reincidência criminal

0:04:18.061,0:04:22.011
ou o risco de voltar a praticar um crime[br]depois de se ser libertado.

0:04:23.199,0:04:26.959
A ProPublica descobriu[br]que, em relação aos afro-americanos,

0:04:26.959,0:04:30.003
o Compas tinha mais 77%[br]de probabilidades de os classificar

0:04:30.003,0:04:32.023
como um agressor potencialmente violento

0:04:32.023,0:04:34.223
do que em relação aos caucasianos.

0:04:34.784,0:04:37.884
Isto é um sistema real[br]que está a ser usado

0:04:37.914,0:04:39.704
no mundo real por juízes reais

0:04:39.704,0:04:42.734
para tomar decisões[br]sobre a vida de pessoas reais.

0:04:44.115,0:04:48.565
Porque é que os juízes confiam nele[br]se tudo indica que é parcial?

0:04:49.866,0:04:54.556
Eles usam o Compas porque[br]é um modelo de eficácia.

0:04:55.692,0:05:00.312
O Compas permite-lhes resolver[br]contenciosos muito mais depressa

0:05:00.352,0:05:02.992
num sistema judicial criminal[br]assoberbado.

0:05:04.747,0:05:07.617
Porque é que haviam de pôr em causa[br]o seu próprio "software"?

0:05:07.627,0:05:11.097
Foi adquirido pelo estado, aprovado[br]pelo Departamento de Informática.

0:05:11.137,0:05:13.357
Porque é que haviam de o pôr em causa?

0:05:13.357,0:05:16.513
As pessoas condenadas pelo Compas[br]puseram-no em causa

0:05:16.513,0:05:19.193
e os processos deviam [br]assustar-nos a todos.

0:05:19.243,0:05:22.123
O Supremo Tribunal de Winsconsin[br]determinou

0:05:22.123,0:05:25.643
que o Compass não negava[br]ao réu um processo correto

0:05:25.643,0:05:28.583
se fosse usado "corretamente".

0:05:28.963,0:05:31.068
Na mesma decisão, determinaram

0:05:31.078,0:05:34.758
que o réu não podia inspecionar[br]o código de origem do Compass.

0:05:35.700,0:05:37.875
Tinha que ser usado corretamente

0:05:37.885,0:05:40.425
mas não era possível inspecionar[br]o código de origem?

0:05:40.425,0:05:43.745
É um conjunto de normas perturbador,[br]quando consideradas em conjunto,

0:05:43.795,0:05:46.485
para quem enfrenta[br]uma condenação criminal.

0:05:46.935,0:05:48.886
Vocês podem não se preocupar com isto

0:05:48.906,0:05:51.056
porque não enfrentam[br]uma sentença criminal,

0:05:51.056,0:05:55.186
mas e se eu vos disser que [br]algoritmos IA de caixa negra, como este,

0:05:55.226,0:05:57.364
estão a ser usados para decidir

0:05:57.414,0:06:00.144
se podemos obter ou não[br]um empréstimo para comprar casa,

0:06:00.144,0:06:02.844
se conseguimos ou não[br]uma entrevista para um emprego,

0:06:03.364,0:06:05.863
se obtemos ou não assistência médica,

0:06:05.954,0:06:10.064
e até estão a dirigir carros e camiões[br]pelas autoestradas?

0:06:10.831,0:06:14.531
Desejariam que o público[br]pudesse inspecionar o algoritmo

0:06:14.531,0:06:17.239
que está a tomar decisões[br]entre um carrinho de compras

0:06:17.239,0:06:20.169
e um carrinho de bebé,[br]num camião autónomo,

0:06:20.899,0:06:23.679
do mesmo modo que o algoritmo[br]cão/lobo tentava decidir

0:06:23.679,0:06:25.579
entre um cão e um lobo?

0:06:26.282,0:06:31.462
Seremos potencialmente um cão[br]metafórico confundido com um lobo

0:06:31.462,0:06:33.812
por qualquer algoritmo de IA?

0:06:34.868,0:06:38.378
Considerando a complexidade[br]das pessoas, isso é possível.

0:06:38.811,0:06:41.851
Haverá alguma coisa[br]que possamos fazer, neste momento?

0:06:42.201,0:06:46.841
Provavelmente não, e é nisso[br]que devemos concentrar-nos.

0:06:47.487,0:06:50.747
Precisamos de exigir normas[br]de responsabilização,

0:06:50.767,0:06:55.397
de transparência e recurso[br]quanto aos sistemas de IA.

0:06:56.456,0:06:59.194
A Organização Internacional[br]de Normalização,

0:06:59.194,0:07:01.174
instituiu há pouco uma comissão

0:07:01.174,0:07:04.604
para tomar decisões sobre o que fazer[br]para normas da IA.

0:07:05.053,0:07:08.739
Vão demorar uns cinco anos[br]antes de apresentarem uma norma.

0:07:09.119,0:07:12.449
Estes sistemas já estão a ser usados,

0:07:13.671,0:07:18.991
não só para empréstimos, estão a ser[br]usados em veículos, como já referi.

0:07:20.841,0:07:22.793
Estão a ser usados em coisas como

0:07:22.813,0:07:25.273
o Controlo de Velocidade[br]Adaptável Cooperativo.

0:07:25.273,0:07:27.833
É curioso que lhe chamem[br]"controlo de velocidade"

0:07:27.973,0:07:31.343
porque o tipo de controlador que usaram[br]para o controlo de velocidade

0:07:31.363,0:07:32.773
— um controlador PID —

0:07:32.773,0:07:35.909
foi usado durante 30 anos[br]em instalações químicas,

0:07:35.949,0:07:38.239
antes de ser adaptado para carros.

0:07:39.139,0:07:41.138
O tipo de controlador que está a ser usado

0:07:41.138,0:07:44.568
para dirigir um carro autónomo[br]e para aprendizagem de máquinas

0:07:44.638,0:07:48.548
só tem sido usado[br]na investigação desde 2007.

0:07:49.680,0:07:52.230
Trata-se de tecnologias novas.

0:07:52.470,0:07:56.200
Precisamos de exigir as normas[br]e precisamos de exigir regulamentação

0:07:56.430,0:07:59.820
para não termos "banha de cobra"[br]no mercado.

0:08:00.819,0:08:04.279
Também temos de ter[br]um pouco de ceticismo.

0:08:05.861,0:08:07.871
As experiências sobre autoridade

0:08:07.871,0:08:11.041
feitas por Stanley Milgram[br]depois da II Guerra Mundial

0:08:11.121,0:08:15.821
mostraram que uma pessoa comum[br]cumpre as ordens de figuras de autoridade

0:08:16.031,0:08:19.741
mesmo que isso signifique[br]prejudicar os seus concidadãos.

0:08:20.461,0:08:22.400
Nesta experiência,

0:08:22.860,0:08:27.130
norte-americanos vulgares[br]infligiram choques a um ator

0:08:27.689,0:08:30.189
ao ponto de ele se queixar

0:08:31.577,0:08:34.717
ao ponto de ele gritar de dor,

0:08:35.934,0:08:40.464
ao ponto de ele se calar,[br]numa morte simulada,

0:08:41.613,0:08:43.689
só porque alguém

0:08:44.099,0:08:47.779
sem credenciais,[br]com a bata do laboratório,

0:08:47.969,0:08:50.795
lhes dizia, com algumas variantes:

0:08:50.855,0:08:54.235
"A experiência tem que continuar".

0:08:56.945,0:09:02.398
Na IA, temos as figuras supremas[br]de autoridade de Milgram.

0:09:03.656,0:09:08.046
Temos um sistema calculista[br]que não reflete,

0:09:09.370,0:09:12.390
que não pode tomar outra decisão,

0:09:12.920,0:09:14.922
para a qual não há recurso,

0:09:15.074,0:09:20.014
que dirá sempre: "O sistema —[br]ou o processo — tem que continuar".

0:09:23.313,0:09:25.573
Agora, vou contar uma história.

0:09:25.883,0:09:29.473
Trata-se se um passeio de carro[br]que fiz pelo país.

0:09:30.790,0:09:34.690
Estava a chegar à cidade de Salt Lake,[br]quando começou a chover.

0:09:35.211,0:09:39.900
Quando subi a montanha,[br]a chuva transformou-se em neve

0:09:40.380,0:09:42.580
e, em breve, ficou tudo coberto de neve.

0:09:42.640,0:09:45.590
Não via as luzes traseiras do carro[br]à minha frente.

0:09:46.153,0:09:47.963
Comecei a derrapar.

0:09:48.023,0:09:51.133
Dei uma volta para um lado,[br]dei uma volta para o outro lado.

0:09:51.243,0:09:52.643
Saí da autoestrada.

0:09:52.663,0:09:55.163
Com os vidros cheios de lama,[br]não conseguia ver nada.

0:09:55.203,0:09:58.793
Fiquei aflito com medo[br]que outro carro colidisse comigo.

0:09:59.924,0:10:03.634
Estou a contar esta história[br]para vocês pensarem

0:10:03.864,0:10:07.324
como uma pequena coisa,[br]aparentemente vulgar,

0:10:07.324,0:10:09.574
como um pouco de precipitação,

0:10:10.094,0:10:14.404
pode facilmente passar a ser[br]uma coisa muito perigosa.

0:10:15.409,0:10:19.239
Estamos a conduzir à chuva,[br]neste momento, com a IA

0:10:20.442,0:10:23.402
e essa chuva vai transformar-se em neve.

0:10:23.887,0:10:27.207
Essa neve pode passar a ser[br]uma tempestade de neve.

0:10:28.097,0:10:29.847
Temos que parar,

0:10:30.537,0:10:32.527
verificar as condições,

0:10:33.002,0:10:35.372
instituir normas de segurança,

0:10:35.642,0:10:40.812
e perguntar até onde[br]queremos chegar,

0:10:42.267,0:10:46.437
porque os incentivos económicos[br]para a IA e para a automação,

0:10:46.557,0:10:48.503
para substituir o trabalho humano

0:10:48.523,0:10:52.733
vão ultrapassar tudo o que vimos[br]desde a Revolução Industrial.

0:10:54.193,0:10:56.600
As exigências do salário dos seres humanos

0:10:56.630,0:11:00.640
não podem competir[br]com o custo básico da eletricidade.

0:11:02.480,0:11:04.925
A IA e os robôs vão substituir

0:11:04.955,0:11:07.875
os cozinheiros nas cadeias[br]de comida rápida

0:11:08.035,0:11:10.535
e os radiologistas nos hospitais.

0:11:11.135,0:11:14.130
Um dia, a IA irá diagnosticar[br]o nosso cancro,

0:11:14.330,0:11:16.880
e um robô realizará a cirurgia.

0:11:17.960,0:11:22.310
Só um saudável ceticismo[br]em relação a esses sistemas

0:11:22.420,0:11:25.711
irá manter as pessoas nesse ciclo.

0:11:26.481,0:11:31.133
Tenho confiança de que,[br]se pudermos manter pessoas no ciclo,

0:11:31.473,0:11:34.583
se pudermos criar sistemas de IA[br]transparentes,

0:11:34.623,0:11:36.393
como o exemplo do cão/lobo,[br]

0:11:36.393,0:11:39.658
em que a IA explicou o que estava[br]a fazer às pessoas

0:11:39.658,0:11:42.318
e as pessoas puderam detetá-lo.

0:11:42.588,0:11:47.128
podemos criar novos empregos[br]para as pessoas fazerem parceria com a IA.

0:11:48.573,0:11:51.103
Se trabalharmos em conjunto com a IA,

0:11:51.123,0:11:55.143
provavelmente conseguiremos resolver[br]alguns dos nossos maiores problemas.

0:11:56.764,0:12:01.254
Mas, para isso, precisamos[br]de comandar, não de obedecer.

0:12:01.801,0:12:05.351
Precisamos de optar[br]por sermos menos como robôs

0:12:05.491,0:12:09.601
e precisamos de construir robôs[br]mais parecidos com pessoas,

0:12:11.020,0:12:12.930
porque, no final,

0:12:13.350,0:12:18.040
a única coisa que temos de recear[br]não são os robôs assassinos,

0:12:18.700,0:12:21.461
é a nossa preguiça intelectual.

0:12:22.215,0:12:26.445
A única coisa de que precisamos[br]de ter medo é de nós mesmos.

0:12:26.989,0:12:28.171
Obrigado.

0:12:28.241,0:12:31.071
(Aplausos)