A ascensão das máquinas!
Quem aqui tem medo de robôs assassinos?
(Risos)
Eu tenho!
Eu trabalhava em VAA
— Veículos Aéreos Autónomos —
e sempre que via aquelas coisas
pensava que, um dia,
alguém iria colocar
uma metralhadora naquelas coisas
que me iam perseguir em enxames.
Trabalho em robótica na Universidade Brown
e tenho medo de robôs.
Sinto-me mesmo aterrorizado,
mas poderão censurar-me?
Desde miúdo, só tenho visto filmes
que descrevem a ascensão
da Inteligência Artificial
e o nosso inevitável conflito com ela
— a Odisseia no Espaço 2001,
o Exterminador, Matrix —
e as histórias que contam
são assustadoras:
bandos de malfeitores a fugir
de máquinas super inteligentes.
Isso assusta-me. Pelas vossas mãos,
parece que também vos assusta.
Sei que é assustador para Elon Musk.
Mas temos algum tempo
antes de os robôs se levantarem.
Os robôs como o PR2,
que tenho na minha iniciativa,
ainda nem conseguem abrir a porta.
Portanto, acho que esta conversa
sobre robôs super inteligentes
é uma manobra de diversão
para uma coisa ainda mais insidiosa
que se passa com os sistemas IA
por todo o país.
Neste momento, há pessoas
— médicos, juízes, contabilistas —
que estão a obter informações
de um sistema de IA
e a trabalhá-las como se fossem
informações de um colega de confiança.
É esta confiança que me preocupa,
não pela frequência com que a IA erra.
Todos os investigadores se orgulham
do rigor dos seus resultados.
O pior é o grau de erro que existe
quando ela se engana
que me preocupa mais.
Estes sistemas, quando erram,
não erram por pouco.
Vejamos o que acontece.
Isto é um cão que um algoritmo da IA
identificou erradamente como um lobo.
Os investigadores quiseram saber
porque é que este "husky"
tinha sido confundido com um lobo.
Voltaram a escrever o algoritmo
para que ele explicasse
quais as partes da imagem
a que ele prestava atenção
quando o algoritmo da IA
tomava a decisão.
Nesta imagem, a que é que acham
que ele prestava atenção?
A que é que vocês prestariam atenção?
Talvez aos olhos,
talvez às orelhas, ao focinho...
Mas ele prestava atenção a isto:
sobretudo à neve,
o pano de fundo da imagem.
Estão a ver, havia um desvio no conjunto
de dados que alimentava este algoritmo.
Na maior parte das imagens,
os lobos estão no meio da neve,
por isso, o algoritmo da IA
associava a presença ou ausência da neve
à presença ou ausência de um lobo.
O que é assustador nisto
é que os investigadores não faziam
ideia de que isso acontecia
a não ser quando voltaram a escrever
o algoritmo para que se explicasse.
É o que acontece com os algoritmos da IA,
com a aprendizagem profunda,
a aprendizagem de máquinas.
Mesmo os especialistas
que trabalham nesta coisa
não fazem ideia do que se passa.
Isto podia ser um bom exemplo
para uma investigação
mas o que é que significa
no mundo real?
O algoritmo Compas de Sentenças Criminais
é usado em 13 estados
para determinar a reincidência criminal
ou o risco de voltar a praticar um crime
depois de se ser libertado.
A ProPublica descobriu
que, em relação aos afro-americanos,
o Compas tinha mais 77%
de probabilidades de os classificar
como um agressor potencialmente violento
do que em relação aos caucasianos.
Isto é um sistema real
que está a ser usado
no mundo real por juízes reais
para tomar decisões
sobre a vida de pessoas reais.
Porque é que os juízes confiam nele
se tudo indica que é parcial?
Eles usam o Compas porque
é um modelo de eficácia.
O Compas permite-lhes resolver
contenciosos muito mais depressa
num sistema judicial criminal
assoberbado.
Porque é que haviam de pôr em causa
o seu próprio "software"?
Foi adquirido pelo estado, aprovado
pelo Departamento de Informática.
Porque é que haviam de o pôr em causa?
As pessoas condenadas pelo Compas
puseram-no em causa
e os processos deviam
assustar-nos a todos.
O Supremo Tribunal de Winsconsin
determinou
que o Compass não negava
ao réu um processo correto
se fosse usado "corretamente".
Na mesma decisão, determinaram
que o réu não podia inspecionar
o código de origem do Compass.
Tinha que ser usado corretamente
mas não era possível inspecionar
o código de origem?
É um conjunto de normas perturbador,
quando consideradas em conjunto,
para quem enfrenta
uma condenação criminal.
Vocês podem não se preocupar com isto
porque não enfrentam
uma sentença criminal,
mas e se eu vos disser que
algoritmos IA de caixa negra, como este,
estão a ser usados para decidir
se podemos obter ou não
um empréstimo para comprar casa,
se conseguimos ou não
uma entrevista para um emprego,
se obtemos ou não assistência médica,
e até estão a dirigir carros e camiões
pelas autoestradas?
Desejariam que o público
pudesse inspecionar o algoritmo
que está a tomar decisões
entre um carrinho de compras
e um carrinho de bebé,
num camião autónomo,
do mesmo modo que o algoritmo
cão/lobo tentava decidir
entre um cão e um lobo?
Seremos potencialmente um cão
metafórico confundido com um lobo
por qualquer algoritmo de IA?
Considerando a complexidade
das pessoas, isso é possível.
Haverá alguma coisa
que possamos fazer, neste momento?
Provavelmente não, e é nisso
que devemos concentrar-nos.
Precisamos de exigir normas
de responsabilização,
de transparência e recurso
quanto aos sistemas de IA.
A Organização Internacional
de Normalização,
instituiu há pouco uma comissão
para tomar decisões sobre o que fazer
para normas da IA.
Vão demorar uns cinco anos
antes de apresentarem uma norma.
Estes sistemas já estão a ser usados,
não só para empréstimos, estão a ser
usados em veículos, como já referi.
Estão a ser usados em coisas como
o Controlo de Velocidade
Adaptável Cooperativo.
É curioso que lhe chamem
"controlo de velocidade"
porque o tipo de controlador que usaram
para o controlo de velocidade
— um controlador PID —
foi usado durante 30 anos
em instalações químicas,
antes de ser adaptado para carros.
O tipo de controlador que está a ser usado
para dirigir um carro autónomo
e para aprendizagem de máquinas
só tem sido usado
na investigação desde 2007.
Trata-se de tecnologias novas.
Precisamos de exigir as normas
e precisamos de exigir regulamentação
para não termos "banha de cobra"
no mercado.
Também temos de ter
um pouco de ceticismo.
As experiências sobre autoridade
feitas por Stanley Milgram
depois da II Guerra Mundial
mostraram que uma pessoa comum
cumpre as ordens de figuras de autoridade
mesmo que isso signifique
prejudicar os seus concidadãos.
Nesta experiência,
norte-americanos vulgares
infligiram choques a um ator
ao ponto de ele se queixar
ao ponto de ele gritar de dor,
ao ponto de ele se calar,
numa morte simulada,
só porque alguém
sem credenciais,
com a bata do laboratório,
lhes dizia, com algumas variantes:
"A experiência tem que continuar".
Na IA, temos as figuras supremas
de autoridade de Milgram.
Temos um sistema calculista
que não reflete,
que não pode tomar outra decisão,
para a qual não há recurso,
que dirá sempre: "O sistema —
ou o processo — tem que continuar".
Agora, vou contar uma história.
Trata-se se um passeio de carro
que fiz pelo país.
Estava a chegar à cidade de Salt Lake,
quando começou a chover.
Quando subi a montanha,
a chuva transformou-se em neve
e, em breve, ficou tudo coberto de neve.
Não via as luzes traseiras do carro
à minha frente.
Comecei a derrapar.
Dei uma volta para um lado,
dei uma volta para o outro lado.
Saí da autoestrada.
Com os vidros cheios de lama,
não conseguia ver nada.
Fiquei aflito com medo
que outro carro colidisse comigo.
Estou a contar esta história
para vocês pensarem
como uma pequena coisa,
aparentemente vulgar,
como um pouco de precipitação,
pode facilmente passar a ser
uma coisa muito perigosa.
Estamos a conduzir à chuva,
neste momento, com a IA
e essa chuva vai transformar-se em neve.
Essa neve pode passar a ser
uma tempestade de neve.
Temos que parar,
verificar as condições,
instituir normas de segurança,
e perguntar até onde
queremos chegar,
porque os incentivos económicos
para a IA e para a automação,
para substituir o trabalho humano
vão ultrapassar tudo o que vimos
desde a Revolução Industrial.
As exigências do salário dos seres humanos
não podem competir
com o custo básico da eletricidade.
A IA e os robôs vão substituir
os cozinheiros nas cadeias
de comida rápida
e os radiologistas nos hospitais.
Um dia, a IA irá diagnosticar
o nosso cancro,
e um robô realizará a cirurgia.
Só um saudável ceticismo
em relação a esses sistemas
irá manter as pessoas nesse ciclo.
Tenho confiança de que,
se pudermos manter pessoas no ciclo,
se pudermos criar sistemas de IA
transparentes,
como o exemplo do cão/lobo,
em que a IA explicou o que estava
a fazer às pessoas
e as pessoas puderam detetá-lo.
podemos criar novos empregos
para as pessoas fazerem parceria com a IA.
Se trabalharmos em conjunto com a IA,
provavelmente conseguiremos resolver
alguns dos nossos maiores problemas.
Mas, para isso, precisamos
de comandar, não de obedecer.
Precisamos de optar
por sermos menos como robôs
e precisamos de construir robôs
mais parecidos com pessoas,
porque, no final,
a única coisa que temos de recear
não são os robôs assassinos,
é a nossa preguiça intelectual.
A única coisa de que precisamos
de ter medo é de nós mesmos.
Obrigado.
(Aplausos)