Buenos días.
Yo vengo a hablaros de qué es
la ética de la tecnología,
porque creo humildemente
que debería importaros.
Y es una buena semana para hacerlo,
porque seguramente
aún tenemos grabadas en el cerebro
las imágenes de Mark zuckerberg,
el CEO de Facebook,
hablando ante el congreso de EE.UU,
justificando un poco lo injustificable,
que es que básicamente Facebook
nos ha hecho creer que teníamos unos
niveles de privacidad en su plataforma
que en realidad no tenemos.
Pero no solo eso.
Por suerte, hoy somos menos ingenuos
en relación con la tecnología
y ya sabemos que cuando un producto
tecnológico no lo pagamos con dinero,
en realidad es que nosotros
somos el producto,
y nuestros datos son los que están
alimentando una maquinaria de anuncios,
un modelo de negocio
basado en la comercialización
de datos personales.
Hoy también sabemos,
somos menos ingenuos,
que todo lo "smart", todas las
herramientas tecnológicas inteligentes
nos espian.
Y si no, os reto si tenéis una smart TV
a que leáis el manual de instrucciones,
donde veréis que os recomiendan
no tener conversaciones privadas
delante del televisor,
si tenéis televisor en vuestra habitación
igual tenéis un problema,
porque básicamente una smart TV,
como todo lo que es smart, nos espía.
El producto somos nosotros.
Y en tecnología creo que por suerte
ya nos hemos acostumbrado a oír
a personas que nos hablan del problema
de la privacidad de los datos.
Pero la ética de la tecnología
va mucho más allá de la privacidad.
Y permitidme que dé un paso atrás
para contaros,
para compartir con vosotros
cómo empecé yo a darme cuenta
de que en tecnología
teníamos que mirar
todo un universo de cosas
que muy poca gente estaba mirando.
Yo empecé a hacer mi tesis
hace muchísimos años,
mi tesis doctoral en videovigilancia.
Quería ver cómo las cámaras
impactaban sobre cómo utilizamos la ciudad
cuáles eran las motivaciones
de los diferentes actores
para confiar a una solución tecnológica
un problema social importantísimo,
como es la percepción de inseguridad.
Y ahí estaba yo haciendo mi tesis,
descubriendo cosas interesantísimas,
viendo métricas y como las cámaras
eran capaces de capturar
dinámicas y expectativas sociales,
pero además devolvérnoslas a la sociedad
muchas veces con diferencias.
La cámara no era solo
un actor tecnológico, o solo un cacharro.
La cámara intervenía
en cómo utilizábamos el espacio público,
las expectativas que teníamos
los unos sobre los otros,
cómo comprendíamos la seguridad.
Pero en todo este proceso un buen día
se me ocurrió coger el libro,
un libro de Richard Sennett,
un conocido sociólogo,
"El declive del hombre público"
y en él se preguntaba,
mucho antes de que tuviéramos
drones y sensores
y cámaras por todas partes,
y ojos constantes que nos vigilan
en nuestra deriva urbana,
él se preguntaba en estas ciudades
que estamos creando llenas de ojos,
dónde se enamorarían Romeo y Julieta.
Y para mí ese fue mi "Aha moment",
mi momento de darme cuenta
de que mientras yo me focalizaba
en dinámicas sociales y métricas
y expectativas, me había olvidado
de una pregunta importantísima.
Esto que estamos haciendo ¿es deseable?
¿Queremos que en nuestras ciudades,
Romeo y Julieta,
hijos de 2 familias enfrentadas,
un amor prohibido,
queremos crear ciudades donde
los jóvenes de familias
dispares o enfrentadas
no puedan enamorarse?
Y sobre todo pensando en la gente joven.
Una de las cosas que más me
sorprendió en mi trabajo
es la ignorancia total que tenemos,
ignorancia por decirlo suave.
Cómo ignoramos los datos
y los derechos de los jóvenes,
los jóvenes aparecen en mi trabajo
de forma sistemática
como un colectivo constantemente
maltratado por la recogida de datos.
Los jóvenes, porque además
no tienen casa propia,
tienen una habitación
en el mejor de los casos
donde ponen candados
y carteles de no entrar,
mi zona de privacidad, etc.
Su zona de privacidad
muchas veces es el espacio público,
y se lo estábamos quitando.
Les estábamos y les estamos quitando
a los jóvenes los espacios
para darse el primer beso
en la clandestinidad, en la privacidad,
en la intimidad
que necesitan y que merecen,
pero no solo para los jóvenes.
Se han preguntado
dónde se enamorarían Romeo y Julieta
y para mí la gran pregunta es
todo esto que estamos haciendo
en tecnología,
ese dinero que estamos invirtiendo.
¿Es deseable lo que estamos haciendo
a nuestro alrededor?
Cosas que ocurren con la tecnología,
por ejemplo, vinculado a los jóvenes
y a los entornos urbanos,
por primera vez en la historia
y a consecuencia de la penetración
de aparatos tecnológicos,
es más caro olvidar que recordar.
En toda la historia
fue mucho más dificil recordar.
Había que escribir pergaminos,
después la imprenta.
Eso tiene un coste.
Ahora mismo lo difícil es poder olvidar,
porque todo genera un registro digital.
Yo siempre digo que tengo la suerte
de tener más de cuarenta años,
porque los primeros 20 años de mi vida
no los grabó nadie,
tengo alguna foto, pero nada más.
A los jóvenes de ahora
les condenamos a una vida de miedo,
por cómo su huella digital puede impactar
en su vida en el futuro.
Esa foto de esa fiesta, ese comentario
en una red social, ese momento
que queremos olvidar, ese conflicto,
incluso esa condena judicial
o ese archivo de una causa.
Todo eso las personas que han nacido
ya en la sociedad actual,
totalmente digitalizada,
puede emerger en cualquier momento
y arruinarte la vida,
tu relación de pareja,
la consecución de ese trabajo
que tanto deseabas.
Por lo tanto,
en mi trabajo sobre videovigilancia
me di cuenta de que había un montón
de preguntas sobre tecnología
que no estábamos haciendo, y que era
importantísimo que alguien realizara.
Desde entonces he tenido la suerte
de poder dedicarme a hacer esas preguntas,
a explorar cuáles son las preguntas
que deberíamos hacer, y cómo debería
la tecnología responder a esas preguntas,
y entender e incorporar
todas esas preocupaciones.
Quería detallaros brevemente
algunos de los proyectos
en los que estuve involucrada,
para que veáis cómo se aterriza
este tema de la ética de la tecnología.
He trabajado mucho tiempo,
por ejemplo,
en la automatización
del paso de fronteras.
No sé si habéis ido
a algún aeropuerto recientemente,
pero veréis que muchas veces
quien nos controla
el pasaporte ya no es un policía,
sino una máquina,
metéis vuestro pasaporte, se os hace
un reconocimiento de la huella digital,
un match biométrico
con vuestro documento de identidad,
y la máquina decide si podéis pasar o no.
Cuando empezamos a trabajar
en las "fronteras inteligentes",
una de las primeras cosas
que nos sorprendió,
y que después hemos visto
reproducida en muchos otros casos,
es que cuando el parlamento europeo
empezó a plantearse la automatización
del cruce de fronteras,
el debate no pasó por el parlamento
europeo porque se consideró
una enmienda técnica.
Cambiar a policías por un proceso de datos
era nada más que una enmienda técnica.
No afectaba
según las personas que inicialmente
propusieron ese cambio,
a la conceptualización
de lo que era la frontera,
con lo cual podía ser una
enmienda técnica que no requería
ningún tipo de control público o político.
Para que veáis
lo poco técnico que esto es,
la incorporación de automatización
del paso de fronteras ha hecho,
por ejemplo, que la frontera desaparezca.
Hoy en día, el cruce de la frontera,
la línea en el suelo, el aeropuerto,
no es lo importante.
Empezamos a viajar y se nos empieza
a autorizar el viaje en el momento
en el que compramos nuestro billete
o solicitamos la visa para viajar.
Y nuestro paso de frontera no acaba
cuando cruzamos la frontera
o cuando llegamos a nuestro destino.
Si hemos pedido una visa continúa,
porque la validez de nuestra visa
es controlada hasta que
abandonamos el país,
o si no lo abandonamos salta una alarma,
para que la policía pueda
tomar cartas en el asunto.
Con lo cual la introducción de los datos,
la automatización de todo este proceso,
ha cambiado completamente
lo que supone una frontera.
La frontera es ahora mismo
un espacio larguísimo,
para muchas personas
un espacio de control continuo.
Han pasado otras cosas.
con la automatización de fronteras
hemos incorporado la biometría
como herramienta
para comprobar la identidad.
¿Qué pasaba en el pasado
cuando alguien no quería
que su identidad fuera conocida?
Quemaba su pasaporte.
Cuando alguien no quería
ser devuelto a su país,
porque consideraba que en ese país
podía sufrir consecuencias indeseables,
podía quemar su pasaporte
y con eso aspirar a quedarse
en un espacio
y en un limbo legal y jurídico.
Hoy, nuestro pasaporte
está en nuestros dedos.
¿Qué están haciendo los migrantes?
Quemarse los dedos, mutilarse,
porque es la única forma de evitar
que su cuerpo se convierta en su enemigo.
Eso que querían pasar como enmienda
técnica, está teniendo unas consecuencias
brutales sobre los derechos
fundamentales de los migrantes.
Inicialmente, hoy ya no, alguien quería
que no habláramos de eso,
que no nos planteáramos cuáles eran
las implicaciones de esa decisión.
No solo eso, a través de mi trabajo
he podido hablar con más de 1500 personas
que han utilizado estos sistemas
automáticos de control de la identidad
en pasos de fronteras.
Y es curioso ver como cuando les preguntas
a los viajeros de terceros países,
no europeos, no personas del espacio
del entorno Schengen:
¿Qué prefieres, un control policial humano
o un control automático?
La mayoría te dice:
"Prefiero el control automático".
Confiamos en la tecnología,
creemos que es más eficiente
y más justa incluso
que la toma de decisiones humana.
Pero cuando les preguntábamos
a estas mismas personas:
¿Y si la máquina se equivoca?
¿Qué crees que va a pasar?
Todos coincidían:
"Estoy perdido, no voy a poder salir".
Cuando hay lo que llamamos
un falso positivo,
cuando la máquina se equivoca,
no tenemos los mecanismos
ni las leyes que garanticen
que podemos salir del hoyo
donde nos ha metido ese proceso
de toma de decisiones automáticas.
Esas son algunas de las cosas
que hemos encontrado en el trabajo
en el entorno de fronteras.
Otro ejemplo: también hemos trabajado
con universidades,
para ver el impacto ético
de la ciencia ciudadana.
La ciencia ciudadana es la ciencia
que se hace con la ayuda de las personas,
gente que trabaja el movimiento de
los mares o la migración de los pájaros,
si tuvieran que desplegar
a investigadores a todas partes,
para hacer fotografías constantes
de cómo está el mar,
o cómo se mueven los pájaros
esto sería muy costoso.
Gracias a la tecnología podemos pedir
a la gente que vive en espacios concretos
que nos manden una foto del mar cada día
cuando se levanten a la misma hora
y yo proceso todos esos datos
y a partir de ahí hago ciencia.
Está muy bien,
pero cuando empezamos a trabajar
con la universidad y los investigadores,
nos encontramos un caso paradigmático
de lo que yo llamo despotismo de los datos
que es "Todo por el pueblo, con los datos
del pueblo, pero sin el pueblo".
Los investigadores pedían a la gente que
les mandaran un montón de datos personales
donde una fotografía geolocalizada
puede decir exactamente dónde vivimos,
cómo es nuestro entorno
e incluso con quién estamos.
Pues no había ningún tipo de precaución
en relación con la gestión de esos datos.
Y lo llamábamos "ciencia ciudadana".
Afortunadamente, hoy ya no es así,
y hemos creado mecanismos
para que la ciencia ciudadana
sea realmente ciencia ciudadana,
al servicio de las personas
y no solo un espacio de uso y abuso
de las personas voluntarias
que se prestan para participar
en esas investigaciones.
Trabajamos también mucho
en el ámbito del trabajo,
el futuro del trabajo,
inteligencia artificial,
los robots que nos van
a quitar el trabajo,
todos esos miedos que tenemos.
¿Y qué nos encontramos?.
Los directores de las empresas, los CEOs,
los responsables de las empresas
tienden a tomar malas decisiones,
cuando éstas involucran la tecnología.
Es decir, un responsable de una empresa
estará mucho más dispuesto
a gastar dinero en tecnología
que en procesos no tecnológicos,
con lo cual adquirimos tecnología
sin pensar si realmente la necesitamos,
sobre todo en entornos de trabajo.
Estamos viendo la introducción
de exoesqueletos,
de sensores de control 24 horas
en entornos de trabajo
en los que no son necesarios
para mejorar la eficacia, la eficiencia
ni la rentabilidad de esa empresa.
Pero, entre que la gente en las empresas
no sabe que existen
tecnologías menos lesivas,
y que quien vende la tecnología
siempre quiere venderte la máxima
capacidad que puede desarrollar,
acabamos con entornos laborales
que son insufribles
desde la perspectiva de los que trabajan.
Tomamos malas decisiones porque
la tecnología nos fascina constantemente.
Cómo construimos los mecanismos
para empoderarnos a todos
a saber distinguir cuando una tecnología
realmente nos ayuda o no nos ayuda.
Pues a eso nos dedicamos
en la ética de la tecnología.
Un cuarto ejemplo: trabajo mucho
en tecnologías de seguridad.
La verdad es que podría dar 10 TED talks
solo sobre seguridad,
porque es un ámbito terriblemente sensible
Un par de ejemplos: hace unos años
estábamos auditando los algoritmos
de un proyecto que quería desplegar
cámaras de videovigilancia inteligentes
en entornos sensibles;
bancos y aeropuertos.
Las cámaras de videovigilancia
inteligentes son capaces de reconocer
comportamientos potencialmente criminales
de forma automática,
no es necesario que el ojo humano
esté controlando lo que ocurre,
sino que pueden ver
por la forma en que se mueve la gente,
si su forma de moverse por un espacio
es potencialmente peligrosa
y así mandar una alarma
y la intervención humana solo es necesaria
cuando se ha identificado
un comportamiento peligroso.
¿Qué nos encontramos?
Que los ingenieros se habían codificado
a sí mismos como la normalidad.
Es decir, la forma de utilizar
un banco es entrar y salir,
porque tienes mucha prisa,
porque tienes trabajo,
porque eres joven y te lo puedes permitir.
En ese algoritmo quien emergía
como potencialmente sospechoso
eran gente mayor, que tiene
mucho más tiempo, claro, está lloviendo,
vas al banco, hay un sofá, oye pues
me quedo un ratín, ¿no?
Eso no es potencialmente criminal,
pero el algoritmo lo identificaba así
porque no era cómo el ingeniero
habría utilizado ese espacio.
O las familias en aeropuertos.
Yo que viajo mucho, voy al aeropuerto
y quiero salir lo antes posible,
pero yo no soy la mayoría,
y no soy sobre todo la normalidad.
Hay gente que viaja
y coge un avión una vez al año.
Para quien la experiencia del aeropuerto
forma parte del viaje en sí,
que van 5 horas antes y dan vueltas,
comen, vuelven a comer, descansan,
salen a la terraza, y todo eso es normal.
Debería ser normal, y en cambio
el algoritmo de la cámara inteligente
lo había codificado como anormal,
y eso pasa constantemente.
Como los ingenieros no tienen formación
en este tipo de cosas,
no se dan cuenta de que codifican
su normalidad como la de todos.
Y eso, en el ámbito de la seguridad
es problemático,
porque todo lo que no es normal,
es sospechoso.
Y todos tenemos derecho
a no ser sospechosos,
a no ser que hagamos algo
realmente sospechoso.
Con lo cual la cámara nos acaba
convirtiendo en sospechosos constantemente
por salir fuera de esa normalidad
tan pequeña definida por los tecnólogos.
Por no hablar de los algoritmos
predictivos en el ámbito de la seguridad.
Yo no sé cómo se puede decir
más alto y más claro.
No podemos predecir el futuro.
Eso es magia. Y no sabemos hacerlo.
Lo máximo que podemos hacer
con los algoritmos
es entender lo que ha pasado hasta hoy,
y a partir de ahí hacer
que emerjan ciertos patrones,
y decir: el pasado me lleva a pensar
que es posible que en el futuro ocurra eso
Esto es lo que podemos hacer.
Llamar a eso predicción es muy arriesgado.
Y la insistencia actual de las muchísimas
fuerzas policiales de todo el mundo
en pedir el algoritmo
de la radicalización, de la prevención,
el pre-crimen, es imposible.
La tecnología nos puede ayudar,
pero hasta cierto punto.
Y todos tenemos derecho
a la presunción de inocencia
hasta que cometamos un acto ilícito.
La tecnología tiende a olvidar eso
y se siente tan poderosa y tan poco
controlada por todos estos elementos
que se atreve a prometer
la capacidad de prever y de saber
lo que vamos a hacer antes de que
a nosotros se nos pase por la cabeza.
Y finalmente un último ejemplo:
el de movilidad.
Todos habéis oído hablar
de los coches autónomos ¿no?
Teóricamente en poco tiempo
todas las ciudades estarán llenas
de coches que conducen solos.
Pues el coche autónomo
es uno de los grandes ejemplos
de cómo la arrogancia de la ingeniería
puede llevar al fracaso una buena idea.
El coche autónomo es muchísimo más seguro
que el coche no autónomo.
Pero, ¿qué pasa?
A las muertes de los coches no autónomos
nos hemos acostumbrado,
pero cada vez que un coche autónomo
mata o hiere a alguien
es portada en todo el mundo.
Con lo cual la percepción social
es que es mucho más inseguro
el coche autónomo que el no autónomo.
Y mientras los ingenieros insistan
en decir tengo aquí todas estas cifras
que demuestran que es más seguro,
y no se preocupen
de convencer a la población,
de trabajar la aceptabilidad
de esa tecnología,
de incorporar los miedos
y las preocupaciones sociales
en la conceptualización de esa tecnología,
seguramente lo que va a pasar
es que lo que es una buena idea
que podría salvar muchísimas vidas,
tardará muchísimo más en implementarse,
porque los ingenieros
tienden a la arrogancia
de los números y de la técnica.
Para que veáis que la ética
de la tecnología no es solo un tema
de tu smartphone, de tu televisor,
de los aparatos de consumo que usamos.
Hay una infraestructura de datos
que marca todo lo que hacemos,
que requiere urgentemente
de un cierto control, o como mínimo,
de la incorporación de responsabilidad.
Lo que he encontrado en mi trabajo,
es que como hacemos tecnología actualmente
es profundamente irresponsable.
A ningún médico ni a ninguna
empresa farmacéutica se le ocurriría
pedirle a la sociedad poder lanzar
medicamentos no testados.
O lanzar medicamentos que dijeran: "Mira
esto cura el constipado pero da cáncer".
No lo aceptaríamos.
No se puede vender.
Y en cambio en ingeniería informática
se pide el derecho
a lanzar cosas a la sociedad
sin testarlas de ninguna manera,
sin tener ningún tipo de conciencia
de su impacto social.
La buena noticia es que creo
que esto está empezando a cambiar.
Que existan perfiles como el mío,
con conocimientos en ciencia social,
pero también en elementos técnicos
de la matemática y de la física,
muestra que empieza a haber
interés por estas cosas.
Cada vez hay más grupos de investigación
y de trabajo en empresas, en universidades
y en espacios público-privados que aúnan
a sociólogos, filósofos, abogados,
a físicos, matemáticos, ingenieros
e informáticos para intentar entender
cuáles son esos impactos legales,
sociales y éticos de las tecnologías,
que ayudan a dilucidar
cuál es la deseabilidad
y cómo aumentar esa deseabilidad
de los productos
que se quieren fabricar en el futuro.
Cada vez hay más grupos que trabajan
en mejorar la transparencia
y el control de los algoritmos,
por ejemplo.
La idea de los estudios de impacto
está cada vez más extendida.
De la misma forma que no podemos
construir un nuevo desarrollo
de infraestructuras, una nueva carretera,
sin justificar su impacto ambiental,
no deberíamos poder lanzar
productos tecnológicos al mercado
sin justificar antes que nos hemos
planteado en algún momento
qué impacto va a tener eso
sobre la sociedad
y si ese impacto es deseable o no,
y si no es deseable,
qué medidas hemos tomado para
aumentar la deseabilidad de ese producto.
Ahora mismo muchísima gente
estamos implicados en crear la innovación
responsable del futuro,
que creo que es muy necesaria.
Y no obstante, se siguen oyendo voces
que dicen constantemente
que la prevención, ética y regulación
van en contra de la innovación,
que no podemos poner límites
a la capacidad creadora
de los hombres ingenieros
y sus grandes ideas.
Pues lo siento pero no es así.
Como humanidad,
llevamos toda nuestra historia
domesticando a la tecnología.
¿Un coche necesita un cinturón
de seguridad para circular?
No.
¿Un coche necesita un límite de velocidad?
No.
Los coches podrían ir muchísimo más rápido
de lo que van por nuestras calles.
¿Un coche necesita pasos de cebra,
semáforos,
control de emisiones contaminantes?
No.
Todas estas cosas se las hemos añadido
las sociedad humana,
para asegurar que lo que es
una innovación tecnológica deseable,
que es un motor, algo que nos lleve
de A a B de forma más rápida,
sea también deseable
desde la perspectiva social.
Hemos limitado las posibilidades
de los coches,
porque hemos entendido
que queremos ir más rápido de A a B,
pero no queremos que muera
tanta gente en ese proceso.
Eso lo hemos hecho siempre.
Siempre hemos limitado
las capacidades de la tecnología,
porque la tecnología
solo tiene sentido si mejora,
si aborda las problemáticas sociales.
Y que desde la ingeniería informática
se hayan olvidado tantas veces esa lógica
es claramente preocupante.
Al final lo que hemos hecho con el coche
es tener debates
a lo largo de mucho tiempo,
el primero no tenía cinturón de seguridad,
ni había semáforos, ni pasos de cebra.
Pero durante mucho tiempo
creamos esos marcos, como sociedad,
esos consensos sociales que nos llevan
a poder utilizar hoy los vehículos
de forma normalizada.
Estos son los debates y consensos sociales
que deben emerger alrededor
de cualquier nueva tecnología.
Debemos dilucidar cuando aparece
un nuevo algoritmo,
una nueva innovación tecnológica,
un nuevo invento,
debemos decidir entre todos
cuáles van a ser
los cinturones de seguridad,
los límites de velocidad,
los límites de emisiones,
los pasos de cebra y los semáforos
de esa nueva innovación.
A eso se dedica la ética de la tecnología.
Primero a fomentar esos debates,
para que entre todos decidamos
si es mejor un control humano,
o uno mecánico para cruzar una frontera,
para tomar entre todos
responsabilidad de las decisiones
que tomamos en relación con la tecnología,
y a partir de esa deseabilidad
lo que vemos es cómo construir
valores fundamentales, cohesión social,
confianza, no discriminación, derechos
humanos en las especificaciones técnicas.
Porque no es solo un tema de dar discursos
Hay formas a través
de las especificaciones técnicas
para hacer que las tecnologías
respondan mucho mejor
a las expectativas y deseos de la sociedad
De la misma forma que hemos podido
construir coches que maten menos,
podemos construir tecnologías
que no solo sean menos lesivas
sino que contribuyan de forma definitiva
a mejorar el futuro de nuestras sociedades
En definitiva, de lo que se trata
la ética de la tecnología
es de poner a las personas
en el centro del desarrollo tecnológico,
y poner la tecnología
al servicio de las personas.
Y no como estamos ahora muchísimas veces,
las personas al servicio de la tecnologías
Gracias.
(Aplausos)