A ascensão das máquinas!

Quem aqui tem medo de robôs assassinos?

(Risos)

Eu tenho!

Eu trabalhava em VAA
— Veículos Aéreos Autónomos —

e sempre que via aquelas coisas
pensava que, um dia,

alguém iria colocar
uma metralhadora naquelas coisas

que me iam perseguir em enxames.

Trabalho em robótica na Universidade Brown
e tenho medo de robôs.

Sinto-me mesmo aterrorizado,

mas poderão censurar-me?

Desde miúdo, só tenho visto filmes

que descrevem a ascensão
da Inteligência Artificial

e o nosso inevitável conflito com ela

— a Odisseia no Espaço 2001,
o Exterminador, Matrix —

e as histórias que contam
são assustadoras:

bandos de malfeitores a fugir
de máquinas super inteligentes.

Isso assusta-me. Pelas vossas mãos,
parece que também vos assusta.

Sei que é assustador para Elon Musk.

Mas temos algum tempo
antes de os robôs se levantarem.

Os robôs como o PR2,
que tenho na minha iniciativa,

ainda nem conseguem abrir a porta.

Portanto, acho que esta conversa
sobre robôs super inteligentes

é uma manobra de diversão
para uma coisa ainda mais insidiosa

que se passa com os sistemas IA
por todo o país.

Neste momento, há pessoas

— médicos, juízes, contabilistas —

que estão a obter informações
de um sistema de IA

e a trabalhá-las como se fossem
informações de um colega de confiança.

É esta confiança que me preocupa,

não pela frequência com que a IA erra.

Todos os investigadores se orgulham
do rigor dos seus resultados.

O pior é o grau de erro que existe
quando ela se engana

que me preocupa mais.

Estes sistemas, quando erram,
não erram por pouco.

Vejamos o que acontece.

Isto é um cão que um algoritmo da IA
identificou erradamente como um lobo.

Os investigadores quiseram saber

porque é que este "husky"
tinha sido confundido com um lobo.

Voltaram a escrever o algoritmo
para que ele explicasse

quais as partes da imagem
a que ele prestava atenção

quando o algoritmo da IA
tomava a decisão.

Nesta imagem, a que é que acham
que ele prestava atenção?

A que é que vocês prestariam atenção?

Talvez aos olhos,
talvez às orelhas, ao focinho...

Mas ele prestava atenção a isto:

sobretudo à neve, 
o pano de fundo da imagem.

Estão a ver, havia um desvio no conjunto
de dados que alimentava este algoritmo.

Na maior parte das imagens,
os lobos estão no meio da neve,

por isso, o algoritmo da IA
associava a presença ou ausência da neve

à presença ou ausência de um lobo.

O que é assustador nisto

é que os investigadores não faziam
ideia de que isso acontecia

a não ser quando voltaram a escrever
o algoritmo para que se explicasse.

É o que acontece com os algoritmos da IA,

com a aprendizagem profunda,
a aprendizagem de máquinas.

Mesmo os especialistas
que trabalham nesta coisa

não fazem ideia do que se passa.

Isto podia ser um bom exemplo
para uma investigação

mas o que é que significa
no mundo real?

O algoritmo Compas de Sentenças Criminais
é usado em 13 estados

para determinar a reincidência criminal

ou o risco de voltar a praticar um crime
depois de se ser libertado.

A ProPublica descobriu
que, em relação aos afro-americanos,

o Compas tinha mais 77%
de probabilidades de os classificar

como um agressor potencialmente violento

do que em relação aos caucasianos.

Isto é um sistema real
que está a ser usado

no mundo real por juízes reais

para tomar decisões
sobre a vida de pessoas reais.

Porque é que os juízes confiam nele
se tudo indica que é parcial?

Eles usam o Compas porque
é um modelo de eficácia.

O Compas permite-lhes resolver
contenciosos muito mais depressa

num sistema judicial criminal
assoberbado.

Porque é que haviam de pôr em causa
o seu próprio "software"?

Foi adquirido pelo estado, aprovado
pelo Departamento de Informática.

Porque é que haviam de o pôr em causa?

As pessoas condenadas pelo Compas
puseram-no em causa

e os processos deviam 
assustar-nos a todos.

O Supremo Tribunal de Winsconsin
determinou

que o Compass não negava
ao réu um processo correto

se fosse usado "corretamente".

Na mesma decisão, determinaram

que o réu não podia inspecionar
o código de origem do Compass.

Tinha que ser usado corretamente

mas não era possível inspecionar
o código de origem?

É um conjunto de normas perturbador,
quando consideradas em conjunto,

para quem enfrenta
uma condenação criminal.

Vocês podem não se preocupar com isto

porque não enfrentam
uma sentença criminal,

mas e se eu vos disser que 
algoritmos IA de caixa negra, como este,

estão a ser usados para decidir

se podemos obter ou não
um empréstimo para comprar casa,

se conseguimos ou não
uma entrevista para um emprego,

se obtemos ou não assistência médica,

e até estão a dirigir carros e camiões
pelas autoestradas?

Desejariam que o público
pudesse inspecionar o algoritmo

que está a tomar decisões
entre um carrinho de compras

e um carrinho de bebé,
num camião autónomo,

do mesmo modo que o algoritmo
cão/lobo tentava decidir

entre um cão e um lobo?

Seremos potencialmente um cão
metafórico confundido com um lobo

por qualquer algoritmo de IA?

Considerando a complexidade
das pessoas, isso é possível.

Haverá alguma coisa
que possamos fazer, neste momento?

Provavelmente não, e é nisso
que devemos concentrar-nos.

Precisamos de exigir normas
de responsabilização,

de transparência e recurso
quanto aos sistemas de IA.

A Organização Internacional
de Normalização,

instituiu há pouco uma comissão

para tomar decisões sobre o que fazer
para normas da IA.

Vão demorar uns cinco anos
antes de apresentarem uma norma.

Estes sistemas já estão a ser usados,

não só para empréstimos, estão a ser
usados em veículos, como já referi.

Estão a ser usados em coisas como

o Controlo de Velocidade
Adaptável Cooperativo.

É curioso que lhe chamem
"controlo de velocidade"

porque o tipo de controlador que usaram
para o controlo de velocidade

— um controlador PID —

foi usado durante 30 anos
em instalações químicas,

antes de ser adaptado para carros.

O tipo de controlador que está a ser usado

para dirigir um carro autónomo
e para aprendizagem de máquinas

só tem sido usado
na investigação desde 2007.

Trata-se de tecnologias novas.

Precisamos de exigir as normas
e precisamos de exigir regulamentação

para não termos "banha de cobra"
no mercado.

Também temos de ter
um pouco de ceticismo.

As experiências sobre autoridade

feitas por Stanley Milgram
depois da II Guerra Mundial

mostraram que uma pessoa comum
cumpre as ordens de figuras de autoridade

mesmo que isso signifique
prejudicar os seus concidadãos.

Nesta experiência,

norte-americanos vulgares
infligiram choques a um ator

ao ponto de ele se queixar

ao ponto de ele gritar de dor,

ao ponto de ele se calar,
numa morte simulada,

só porque alguém

sem credenciais,
com a bata do laboratório,

lhes dizia, com algumas variantes:

"A experiência tem que continuar".

Na IA, temos as figuras supremas
de autoridade de Milgram.

Temos um sistema calculista
que não reflete,

que não pode tomar outra decisão,

para a qual não há recurso,

que dirá sempre: "O sistema —
ou o processo — tem que continuar".

Agora, vou contar uma história.

Trata-se se um passeio de carro
que fiz pelo país.

Estava a chegar à cidade de Salt Lake,
quando começou a chover.

Quando subi a montanha,
a chuva transformou-se em neve

e, em breve, ficou tudo coberto de neve.

Não via as luzes traseiras do carro
à minha frente.

Comecei a derrapar.

Dei uma volta para um lado,
dei uma volta para o outro lado.

Saí da autoestrada.

Com os vidros cheios de lama,
não conseguia ver nada.

Fiquei aflito com medo
que outro carro colidisse comigo.

Estou a contar esta história
para vocês pensarem

como uma pequena coisa,
aparentemente vulgar,

como um pouco de precipitação,

pode facilmente passar a ser
uma coisa muito perigosa.

Estamos a conduzir à chuva,
neste momento, com a IA

e essa chuva vai transformar-se em neve.

Essa neve pode passar a ser
uma tempestade de neve.

Temos que parar,

verificar as condições,

instituir normas de segurança,

e perguntar até onde
queremos chegar,

porque os incentivos económicos
para a IA e para a automação,

para substituir o trabalho humano

vão ultrapassar tudo o que vimos
desde a Revolução Industrial.

As exigências do salário dos seres humanos

não podem competir
com o custo básico da eletricidade.

A IA e os robôs vão substituir

os cozinheiros nas cadeias
de comida rápida

e os radiologistas nos hospitais.

Um dia, a IA irá diagnosticar
o nosso cancro,

e um robô realizará a cirurgia.

Só um saudável ceticismo
em relação a esses sistemas

irá manter as pessoas nesse ciclo.

Tenho confiança de que,
se pudermos manter pessoas no ciclo,

se pudermos criar sistemas de IA
transparentes,

como o exemplo do cão/lobo,

em que a IA explicou o que estava
a fazer às pessoas

e as pessoas puderam detetá-lo.

podemos criar novos empregos
para as pessoas fazerem parceria com a IA.

Se trabalharmos em conjunto com a IA,

provavelmente conseguiremos resolver
alguns dos nossos maiores problemas.

Mas, para isso, precisamos
de comandar, não de obedecer.

Precisamos de optar
por sermos menos como robôs

e precisamos de construir robôs
mais parecidos com pessoas,

porque, no final,

a única coisa que temos de recear
não são os robôs assassinos,

é a nossa preguiça intelectual.

A única coisa de que precisamos
de ter medo é de nós mesmos.

Obrigado.

(Aplausos)