¿Qué decisiones morales deberían tomar los vehículos autónomos?

Si para salvarle a vida a cinco peatones tu vehículo autónomo tuviera que matarte a ti ¿debería hacerlo? En esta introducción a los dilemas sociales de los vehículos autónomos, Iyad Rahwan analiza cómo esta tecnología va a desafiar nuestra moralidad. Asimismo, Rahwan explica su trabajo de recolección de datos a través de encuestas con el público, acerca de los compromisos éticos que estamos dispuestos a hacer, o no.

Hoy voy a hablar de tecnología
y de la sociedad.

El Departamento de Transporte
estimó que, el año pasado,

hubo 35 000 muertos
en accidentes de auto, tan solo en EE.UU.

A nivel mundial, mueren 1,2 millones
de personas por año en accidentes de auto.

Si hubiera una manera de eliminar
el 90 % de esos accidentes,

¿apoyarían la causa?

Por supuesto que lo harían.

Esto es lo que promete
la tecnología de vehículos autónomos,

al eliminar la principal causa
de accidentes:

el error humano.

Imagínense en el año 2030,
viajando en un vehículo autónomo,

sentados, mirando este video vintage
de un evento TEDxCambridge.

(Risas)

De pronto,

el auto tiene una falla mecánica
y no puede detenerse.

Si el auto continúa,

va a atropellar a un grupo
de peatones que cruza la calle.

Pero el auto puede cambiar de dirección,

atropellar a un solo transeúnte,

matarlo, y así salvar a los peatones.

¿Qué debería hacer el auto,
y quién debería decidir?

¿Y si en cambio el auto
pudiera irse contra una pared,

chocar y matarte a ti, el pasajero,

para salvar a los peatones?

Este caso hipotético está inspirado
en el dilema del tranvía,

que fue inventado por unos filósofos
hace unas décadas

para reflexionar sobre la ética.

Es importante saber
cómo pensamos en este problema.

Podríamos, por ejemplo,
no pensar en esto en absoluto.

Podríamos decir que la situación
es poco realista,

remotamente probable,
o simplemente absurda.

Pero para mí esta crítica
pierde de vista el problema,

porque se toma la situación
muy al pie de la letra.

Por supuesto que ningún accidente
es exactamente así;

ningún accidente tiene dos o tres opciones

donde de una forma u otra muere alguien.

Lo que va a ocurrir,
es que el auto va a calcular algo,

como la probabilidad de atropellar
a un determinado grupo de personas

si toma una dirección u otra.

Se podría aumentar levemente el riesgo
de los pasajeros y conductores,

en favor de los peatones.

Va a ser un cálculo más complejo,

pero aun así va a implicar
hacer concesiones,

y las concesiones normalmente
requieren una ética.

Podríamos decir: "Bueno,
no nos preocupemos por esto.

Esperemos a que la tecnología esté
totalmente preparada y sea 100 % segura".

Supongamos que efectivamente podemos
eliminar el 90 % de esos accidentes,

o incluso el 99 % en los próximos 10 años.

¿Qué pasaría si eliminar el 1 %
de los accidentes restante

llevara 50 años más de investigación?

¿No deberíamos adoptar la tecnología?

Estaríamos hablando de 60 millones
de muertos en accidentes de auto

si seguimos al ritmo al que vamos.

Quiere decir que,

esperar a tener seguridad total
también es una elección

y también implica hacer concesiones.

En línea, en las redes sociales, la gente
ha estado proponiendo todo tipo de ideas

para no pensar en este problema.

Una persona sugirió que el auto
debería zigzaguear de alguna forma

entre los peatones...

(Risas)

y el transeúnte.

Por supuesto que, si el auto fuera capaz
de hacer eso, debería hacerlo.

Pero nos interesan las situaciones
donde esto no es posible.

Mi favorita fue la idea de un bloguero

que propuso un botón de "eyectarse"
que se presiona justo antes...

(Risas)

de que el auto se autodestruya.

(Risas)

Entonces, si aceptamos que los autos
van a tener que hacer concesiones,

¿cómo pensamos en esas concesiones,

y cómo decidimos cuáles son?

Tal vez deberíamos hacer una encuesta
y ver qué quiere la sociedad,

porque en última instancia,

las regulaciones y las leyes
son el reflejo de los valores sociales.

Y fue lo que hicimos.

Con mis colaboradores,

Jean-François Bonnefon y Azim Shariff,

hicimos una encuesta

en la que le propusimos a la gente
este tipo de situaciones.

Les dimos dos opciones
inspiradas en dos filósofos:

Jeremy Bentham e Immanuel Kant.

Bentham dice que el auto
debería seguir la ética del utilitarismo:

debería tomar la acción
que minimice el daño total,

aun si esto implica matar a un transeúnte,

y aun si esto implica matar al pasajero.

Immanuel Kant dice que el auto
debería seguir la ética del deber,

tal como "No matarás".

O sea que no deberías tomar ninguna acción
que implique hacerle daño a un ser humano,

y deberías dejar que el auto siga su curso

aun si eso resulta en más heridos.

¿Uds. qué piensan?

¿Bentham o Kant?

El resultado fue este:

la mayoría optó por Bentham.

Así que parece que la gente quiere
que los autos sean utilitarios,

minimizar el daño total,

y eso es lo que deberíamos hacer.

Problema solucionado.

Pero hay una pequeña trampa.

Cuando le preguntamos a la gente
si comprarían estos autos,

la respuesta fue un "No" rotundo.

(Risas)

Les gustaría comprar un auto
que los proteja a ellos a toda costa,

pero quieren que los demás compren autos
que minimicen el daño.

(Risas)

Ya conocemos este tipo de problema.

Es un dilema social.

Y para entender el dilema social,

hay que retroceder
un poco en la historia.

En el 1800,

el economista inglés William Forster Lloyd
publicó un folleto

que describe la siguiente situación.

Hay un grupo de pastores,

pastores ingleses,

que comparten un prado común
donde pastan sus ovejas.

Si cada pastor
trae una cierta cantidad de ovejas,

digamos tres ovejas,

el suelo se recupera bien,

los pastores contentos,

las ovejas contentas,

todo va bien.

Ahora, si uno de los pastores
trae una oveja extra,

ese pastor va a estar un poquito mejor,
y nadie más va a salir perjudicado.

Pero si cada pastor tomara esa decisión
individualmente racional,

el prado se vería sobreexplotado
y el pasto se agotaría,

en detrimento de todos los pastores,

y por supuesto,
en detrimento de las ovejas.

Es un problema que se ve mucho:

en la dificultad de
controlar la sobrepesca,

o al reducir las emisiones de carbono
para contrarrestar el cambio climático.

Volviendo al tema de la regulación
de vehículos autónomos,

el prado común vendría a ser
básicamente la seguridad pública;

ese es el bien común.

Y los pastores serían los pasajeros

o los dueños de los autos que
eligen viajar en esos vehículos.

Y al tomar la decisión
individualmente racional

de priorizar su propia seguridad,

podrían estar disminuyendo
colectivamente el bien común,

que es minimizar el daño total.

Esto se llama "tragedia de los comunes",

tradicionalmente,

pero creo que en el caso
de los vehículos autónomos,

el problema es tal vez
un poquito más traicionero

porque no es necesariamente
un ser humano

el que toma las decisiones.

Entonces, los fabricantes podrían
simplemente programar los autos

para maximizar la seguridad
de sus clientes.

Y esos autos podrían aprender,
automáticamente y por su cuenta,

que hacer eso requiere aumentar
levemente el riesgo de los peatones.

O sea que, volviendo a las ovejas:

es como si ahora tuviéramos
ovejas eléctricas que piensan solas.

(Risas)

Y pueden irse a pastar solas
aunque el pastor no lo sepa.

O sea que a esto podríamos llamarlo
"la tragedia de los comunes algorítmicos",

y nos presenta nuevos desafíos.

Típicamente, tradicionalmente,

este tipo de dilemas sociales
se resuelven implementando regulación.

Ya sea el gobierno
o la comunidad, se juntan

y deciden colectivamente
qué resultado quieren obtener,

y qué tipo de restricciones
a la conducta individual

necesitan implementar.

Y luego, a través del control
y la imposición de normas,

pueden garantizar
la preservación del bien común.

Entonces ¿por qué no exigimos,

en nuestro rol de reguladores,

que todos los autos
tienen que minimizar el daño?

A fin de cuentas, eso es
lo que la gente dice que quiere.

Y más importante aún,

puedo estar seguro de que, como individuo,

si compro un auto que en un caso
muy extremo podría llegar a sacrificarme,

no soy el único papanatas haciéndolo

mientras todos los demás
gozan de protección ilimitada.

En nuestra encuesta indagamos
acerca de la idea de la regulación,

y el resultado fue este:

Primero, la gente dijo
"no" a la regulación;

y segundo:

"Bueno, si van a regular los autos
para actuar así y minimizar el daño total,

yo no los voy a comprar".

Entonces, irónicamente,

al regular los autos
para minimizar el daño,

podríamos acabar con más daño

porque la gente no adoptaría
esta nueva tecnología

aun cuando es mucho más segura
que los conductores humanos.

No tengo la respuesta final
a este acertijo,

pero creo que, para empezar,

necesitamos que la sociedad
se ponga de acuerdo

sobre las concesiones
que está dispuesta a aceptar,

y las posibles maneras
de imponer esas concesiones.

Como punto de partida,
mis brillantes alumnos,

Edmond Awad y Sohan Dsouza,

construyeron el sitio web Moral Machine,

que genera y presenta
situaciones hipotéticas al azar;

es básicamente una secuencia
aleatoria de dilemas

donde tienes que elegir
qué debería hacer el auto en cada caso.

Y variamos las edades y hasta las especies
de las distintas víctimas.

Hasta ahora hemos recolectado
más de 5 millones de decisiones,

de más de un millón de personas
en todo el mundo

a través del sitio web.

Esto nos está ayudando
a pintar un panorama inicial

de las concesiones
que la gente está dispuesta a hacer

y de qué es lo que les importa,

incluso en distintas culturas.

Pero, lo que es más importante,

este ejercicio está ayudando
a la gente a comprender

lo difícil que es tomar esas decisiones,

y que los organismos reguladores
se enfrentan con decisiones imposibles.

Y tal vez esto nos ayude, como sociedad,
a entender el tipo de concesiones

que se van a implementar,
en última instancia, como normativa.

Me alegré mucho cuando me enteré

de que el primer conjunto de regulaciones

que publicó el Departamento de Transporte

la semana pasada

incluye una lista de 15 ítems
que deben presentar los fabricantes,

y el número 14
es "consideraciones éticas";

cómo van a manejar ese tema.

En el sitio, la gente también
puede reflexionar sobre sus decisiones

al recibir un resumen
de las opciones que eligieron.

Les voy a dar un ejemplo.

Les advierto que no es un ejemplo típico;

no es un usuario típico.

Estos son los individuos que esta persona
más salvó y más sacrificó.

(Risas)

Algunos de Uds. estarán de acuerdo con él,

o ella, no sabemos.

Esta persona también parece inclinarse
más a favor del pasajero que del peatón,

según las opciones que escogió,

y no tiene problema
en castigar al peatón imprudente.

(Risas)

Entonces, redondeando.

Empezamos con la pregunta,
llamémosle dilema ético,

de qué debería hacer el auto
en una situación específica:

¿cambiar de dirección o seguir?

Pero luego nos dimos cuenta
de que el problema es otro.

El problema es que la sociedad
se ponga de acuerdo

sobre qué concesiones le son aceptables
y cómo imponerlas.

Es un dilema social.

En 1940, Isaac Asimov escribió
sus famosas leyes de la robótica;

las tres leyes de la robótica.

Un robot no hará daño al ser humano,

un robot debe obedecer al ser humano,

y un robot debe preservarse a sí mismo.

En ese orden de importancia.

Pero después de 40 años más o menos,

y después de tantas historias
que llevaron estas leyes al límite,

Asimov introdujo la ley cero,

que precede a las demás,

y es que un robot
no hará daño a la Humanidad.

No sé qué quiere decir esto
en el contexto de los vehículos autónomos,

o en cualquier situación específica,

y no sé cómo lo podemos implementar,

pero creo que reconociendo

que la regulación de vehículos autónomos
no es solo un problema tecnológico

sino también un problema
de cooperación social,

espero que podamos al menos empezar
a hacer las preguntas adecuadas.

Gracias.

(Aplausos)