WEBVTT

00:00:04.780 --> 00:00:06.720
Buenos días.

00:00:07.050 --> 00:00:11.860
Yo vengo a hablaros de qué es
la ética de la tecnología,

00:00:11.860 --> 00:00:15.930
porque creo humildemente
que debería importaros.

00:00:15.930 --> 00:00:19.474
Y es una buena semana para hacerlo,
porque seguramente

00:00:19.474 --> 00:00:23.040
aún tenemos grabadas en el cerebro
las imágenes de Mark zuckerberg,

00:00:23.040 --> 00:00:26.370
el CEO de Facebook,
hablando ante el congreso de EE.UU,

00:00:26.370 --> 00:00:30.346
justificando un poco lo injustificable,
que es que básicamente Facebook

00:00:30.346 --> 00:00:34.650
nos ha hecho creer que teníamos unos
niveles de privacidad en su plataforma

00:00:34.650 --> 00:00:37.240
que en realidad no tenemos.

00:00:37.240 --> 00:00:38.240
Pero no solo eso.

00:00:38.240 --> 00:00:41.530
Por suerte, hoy somos menos ingenuos 
en relación con la tecnología

00:00:41.530 --> 00:00:46.600
y ya sabemos que cuando un producto
tecnológico no lo pagamos con dinero,

00:00:46.600 --> 00:00:48.820
en realidad es que nosotros 
somos el producto,

00:00:48.820 --> 00:00:55.135
y nuestros datos son los que están 
alimentando una maquinaria de anuncios,

00:00:55.135 --> 00:00:57.590
un modelo de negocio 
basado en la comercialización

00:00:57.590 --> 00:00:59.743
de datos personales.

00:00:59.743 --> 00:01:02.440
Hoy también sabemos,
somos menos ingenuos,

00:01:02.440 --> 00:01:06.512
que todo lo "smart", todas las
herramientas tecnológicas inteligentes

00:01:06.512 --> 00:01:07.832
nos espian.

00:01:07.832 --> 00:01:10.482
Y si no, os reto si tenéis una smart TV

00:01:10.482 --> 00:01:16.002
a que leáis el manual de instrucciones,
donde veréis que os recomiendan

00:01:16.002 --> 00:01:20.005
no tener conversaciones privadas
delante del televisor,

00:01:20.005 --> 00:01:24.140
si tenéis televisor en vuestra habitación
igual tenéis un problema,

00:01:24.140 --> 00:01:29.148
porque básicamente una smart TV,
como todo lo que es smart, nos espía.

00:01:29.148 --> 00:01:31.478
El producto somos nosotros.

00:01:31.478 --> 00:01:36.419
Y en tecnología creo que por suerte
ya nos hemos acostumbrado a oír

00:01:36.419 --> 00:01:40.541
a personas que nos hablan del problema
de la privacidad de los datos.

00:01:40.541 --> 00:01:44.982
Pero la ética de la tecnología
va mucho más allá de la privacidad.

00:01:44.982 --> 00:01:47.768
Y permitidme que dé un paso atrás
para contaros,

00:01:47.768 --> 00:01:49.271
para compartir con vosotros

00:01:49.271 --> 00:01:51.645
cómo empecé yo a darme cuenta
de que en tecnología

00:01:51.645 --> 00:01:53.765
teníamos que mirar
todo un universo de cosas

00:01:53.765 --> 00:01:56.505
que muy poca gente estaba mirando.

00:01:56.505 --> 00:01:59.705
Yo empecé a hacer mi tesis
hace muchísimos años,

00:01:59.705 --> 00:02:02.035
mi tesis doctoral en videovigilancia.

00:02:02.035 --> 00:02:07.481
Quería ver cómo las cámaras
impactaban sobre cómo utilizamos la ciudad

00:02:07.481 --> 00:02:10.527
cuáles eran las motivaciones
de los diferentes actores

00:02:10.527 --> 00:02:14.504
para confiar a una solución tecnológica
un problema social importantísimo,

00:02:14.504 --> 00:02:17.645
como es la percepción de inseguridad.

00:02:17.645 --> 00:02:21.035
Y ahí estaba yo haciendo mi tesis,
descubriendo cosas interesantísimas,

00:02:21.035 --> 00:02:24.797
viendo métricas y como las cámaras 
eran capaces de capturar

00:02:24.797 --> 00:02:30.015
dinámicas y expectativas sociales,
pero además devolvérnoslas a la sociedad

00:02:30.015 --> 00:02:31.775
muchas veces con diferencias.

00:02:31.775 --> 00:02:35.525
La cámara no era solo
un actor tecnológico, o solo un cacharro.

00:02:35.525 --> 00:02:38.565
La cámara intervenía
en cómo utilizábamos el espacio público,

00:02:38.565 --> 00:02:41.515
las expectativas que teníamos
los unos sobre los otros,

00:02:41.515 --> 00:02:43.516
cómo comprendíamos la seguridad.

00:02:44.256 --> 00:02:47.756
Pero en todo este proceso un buen día
se me ocurrió coger el libro,

00:02:47.756 --> 00:02:52.227
un libro de Richard Sennett,
un conocido sociólogo,

00:02:52.227 --> 00:02:55.487
"El declive del hombre público"
y en él se preguntaba,

00:02:55.487 --> 00:02:59.299
mucho antes de que tuviéramos
drones y sensores

00:02:59.299 --> 00:03:01.387
y cámaras por todas partes,

00:03:01.387 --> 00:03:05.097
y ojos constantes que nos vigilan 
en nuestra deriva urbana,

00:03:05.097 --> 00:03:12.317
él se preguntaba en estas ciudades
que estamos creando llenas de ojos,

00:03:12.317 --> 00:03:15.220
dónde se enamorarían Romeo y Julieta.

00:03:15.860 --> 00:03:20.850
Y para mí ese fue mi "Aha moment",
mi momento de darme cuenta

00:03:20.850 --> 00:03:24.310
de que mientras yo me focalizaba
en dinámicas sociales y métricas

00:03:24.310 --> 00:03:28.470
y expectativas, me había olvidado
de una pregunta importantísima.

00:03:28.470 --> 00:03:31.780
Esto que estamos haciendo ¿es deseable?

00:03:31.780 --> 00:03:35.118
¿Queremos que en nuestras ciudades,
Romeo y Julieta,

00:03:35.118 --> 00:03:39.763
hijos de 2 familias enfrentadas,
un amor prohibido,

00:03:39.763 --> 00:03:43.037
queremos crear ciudades donde
los jóvenes de familias

00:03:43.037 --> 00:03:46.243
dispares o enfrentadas
no puedan enamorarse?

00:03:46.243 --> 00:03:49.194
Y sobre todo pensando en la gente joven.

00:03:49.194 --> 00:03:51.633
Una de las cosas que más me
sorprendió en mi trabajo

00:03:51.633 --> 00:03:57.234
es la ignorancia total que tenemos,
ignorancia por decirlo suave.

00:03:57.234 --> 00:04:01.108
Cómo ignoramos los datos
y los derechos de los jóvenes,

00:04:01.108 --> 00:04:03.686
los jóvenes aparecen en mi trabajo
de forma sistemática

00:04:03.686 --> 00:04:09.236
como un colectivo constantemente
maltratado por la recogida de datos.

00:04:09.236 --> 00:04:12.506
Los jóvenes, porque además
no tienen casa propia,

00:04:12.506 --> 00:04:14.756
tienen una habitación
en el mejor de los casos

00:04:14.756 --> 00:04:17.156
donde ponen candados
y carteles de no entrar,

00:04:17.156 --> 00:04:18.446
mi zona de privacidad, etc.

00:04:18.446 --> 00:04:21.136
Su zona de privacidad
muchas veces es el espacio público,

00:04:21.136 --> 00:04:22.966
y se lo estábamos quitando.

00:04:22.966 --> 00:04:26.446
Les estábamos y les estamos quitando
a los jóvenes los espacios

00:04:26.446 --> 00:04:29.906
para darse el primer beso
en la clandestinidad, en la privacidad,

00:04:29.906 --> 00:04:33.576
en la intimidad
que necesitan y que merecen,

00:04:33.576 --> 00:04:35.006
pero no solo para los jóvenes.

00:04:35.006 --> 00:04:37.526
Se han preguntado
dónde se enamorarían Romeo y Julieta

00:04:37.526 --> 00:04:38.906
y para mí la gran pregunta es

00:04:38.906 --> 00:04:41.006
todo esto que estamos haciendo
en tecnología,

00:04:41.006 --> 00:04:43.496
ese dinero que estamos invirtiendo.

00:04:43.496 --> 00:04:46.416
¿Es deseable lo que estamos haciendo
a nuestro alrededor?

00:04:46.416 --> 00:04:50.096
Cosas que ocurren con la tecnología,
por ejemplo, vinculado a los jóvenes

00:04:50.096 --> 00:04:53.946
y a los entornos urbanos,
por primera vez en la historia

00:04:53.946 --> 00:04:58.406
y a consecuencia de la penetración
de aparatos tecnológicos,

00:04:58.406 --> 00:05:01.486
es más caro olvidar que recordar.

00:05:02.136 --> 00:05:04.666
En toda la historia
fue mucho más dificil recordar.

00:05:04.666 --> 00:05:07.703
Había que escribir pergaminos,
después la imprenta.

00:05:07.703 --> 00:05:08.763
Eso tiene un coste.

00:05:08.763 --> 00:05:15.670
Ahora mismo lo difícil es poder olvidar,
porque todo genera un registro digital.

00:05:15.670 --> 00:05:19.670
Yo siempre digo que tengo la suerte
de tener más de cuarenta años,

00:05:19.670 --> 00:05:23.734
porque los primeros 20 años de mi vida
no los grabó nadie,

00:05:23.734 --> 00:05:27.057
tengo alguna foto, pero nada más.

00:05:27.057 --> 00:05:31.070
A los jóvenes de ahora
les condenamos a una vida de miedo,

00:05:31.070 --> 00:05:35.110
por cómo su huella digital puede impactar
en su vida en el futuro.

00:05:35.530 --> 00:05:41.370
Esa foto de esa fiesta, ese comentario
en una red social, ese momento

00:05:41.370 --> 00:05:46.562
que queremos olvidar, ese conflicto,
incluso esa condena judicial

00:05:46.562 --> 00:05:49.478
o ese archivo de una causa.

00:05:49.478 --> 00:05:53.238
Todo eso las personas que han nacido
ya en la sociedad actual,

00:05:53.238 --> 00:05:56.508
totalmente digitalizada,
puede emerger en cualquier momento

00:05:56.508 --> 00:05:59.298
y arruinarte la vida,
tu relación de pareja,

00:05:59.298 --> 00:06:03.498
la consecución de ese trabajo
que tanto deseabas.

00:06:03.498 --> 00:06:06.628
Por lo tanto,
en mi trabajo sobre videovigilancia

00:06:06.628 --> 00:06:09.962
me di cuenta de que había un montón
de preguntas sobre tecnología

00:06:09.962 --> 00:06:14.522
que no estábamos haciendo, y que era
importantísimo que alguien realizara.

00:06:15.242 --> 00:06:18.882
Desde entonces he tenido la suerte
de poder dedicarme a hacer esas preguntas,

00:06:18.882 --> 00:06:22.262
a explorar cuáles son las preguntas
que deberíamos hacer, y cómo debería

00:06:22.262 --> 00:06:25.092
la tecnología responder a esas preguntas,

00:06:25.092 --> 00:06:28.002
y entender e incorporar
todas esas preocupaciones.

00:06:28.002 --> 00:06:30.528
Quería detallaros brevemente
algunos de los proyectos

00:06:30.528 --> 00:06:33.461
en los que estuve involucrada,
para que veáis cómo se aterriza

00:06:33.461 --> 00:06:35.512
este tema de la ética de la tecnología.

00:06:35.512 --> 00:06:37.358
He trabajado mucho tiempo,
por ejemplo,

00:06:37.358 --> 00:06:39.731
en la automatización
del paso de fronteras.

00:06:39.731 --> 00:06:42.231
No sé si habéis ido
a algún aeropuerto recientemente,

00:06:42.231 --> 00:06:44.421
pero veréis que muchas veces
quien nos controla

00:06:44.421 --> 00:06:46.985
el pasaporte ya no es un policía,
sino una máquina,

00:06:46.985 --> 00:06:50.775
metéis vuestro pasaporte, se os hace
un reconocimiento de la huella digital,

00:06:50.775 --> 00:06:53.341
un match biométrico
con vuestro documento de identidad,

00:06:53.341 --> 00:06:58.301
y la máquina decide si podéis pasar o no.

00:06:58.301 --> 00:07:02.612
Cuando empezamos a trabajar
en las "fronteras inteligentes",

00:07:02.612 --> 00:07:04.952
una de las primeras cosas
que nos sorprendió,

00:07:04.952 --> 00:07:08.512
y que después hemos visto
reproducida en muchos otros casos,

00:07:08.512 --> 00:07:10.182
es que cuando el parlamento europeo

00:07:10.182 --> 00:07:13.412
empezó a plantearse la automatización
del cruce de fronteras,

00:07:15.232 --> 00:07:18.562
el debate no pasó por el parlamento
europeo porque se consideró

00:07:18.562 --> 00:07:20.762
una enmienda técnica.

00:07:20.762 --> 00:07:26.272
Cambiar a policías por un proceso de datos
era nada más que una enmienda técnica.

00:07:26.272 --> 00:07:28.935
No afectaba

00:07:28.935 --> 00:07:31.702
según las personas que inicialmente
propusieron ese cambio,

00:07:31.702 --> 00:07:35.262
a la conceptualización
de lo que era la frontera,

00:07:35.262 --> 00:07:37.972
con lo cual podía ser una
enmienda técnica que no requería

00:07:37.972 --> 00:07:41.497
ningún tipo de control público o político.

00:07:41.947 --> 00:07:46.257
Para que veáis
lo poco técnico que esto es,

00:07:46.257 --> 00:07:49.382
la incorporación de automatización
del paso de fronteras ha hecho,

00:07:49.382 --> 00:07:51.982
por ejemplo, que la frontera desaparezca.

00:07:52.782 --> 00:07:59.972
Hoy en día, el cruce de la frontera,
la línea en el suelo, el aeropuerto,

00:07:59.972 --> 00:08:01.762
no es lo importante.

00:08:01.762 --> 00:08:05.812
Empezamos a viajar y se nos empieza
a autorizar el viaje en el momento

00:08:05.812 --> 00:08:10.652
en el que compramos nuestro billete
o solicitamos la visa para viajar.

00:08:10.652 --> 00:08:13.882
Y nuestro paso de frontera no acaba
cuando cruzamos la frontera

00:08:13.882 --> 00:08:16.092
o cuando llegamos a nuestro destino.

00:08:16.762 --> 00:08:19.962
Si hemos pedido una visa continúa,
porque la validez de nuestra visa

00:08:19.962 --> 00:08:22.012
es controlada hasta que
abandonamos el país,

00:08:22.012 --> 00:08:24.772
o si no lo abandonamos salta una alarma,

00:08:24.772 --> 00:08:27.752
para que la policía pueda
tomar cartas en el asunto.

00:08:27.752 --> 00:08:33.002
Con lo cual la introducción de los datos,
la automatización de todo este proceso,

00:08:33.002 --> 00:08:36.002
ha cambiado completamente
lo que supone una frontera.

00:08:36.002 --> 00:08:39.270
La frontera es ahora mismo
un espacio larguísimo,

00:08:39.270 --> 00:08:42.940
para muchas personas
un espacio de control continuo.

00:08:44.270 --> 00:08:45.520
Han pasado otras cosas.

00:08:46.250 --> 00:08:49.530
con la automatización de fronteras
hemos incorporado la biometría

00:08:49.530 --> 00:08:52.725
como herramienta
para comprobar la identidad.

00:08:52.725 --> 00:08:55.895
¿Qué pasaba en el pasado
cuando alguien no quería

00:08:55.895 --> 00:08:57.929
que su identidad fuera conocida?

00:08:57.929 --> 00:08:59.245
Quemaba su pasaporte.

00:08:59.245 --> 00:09:01.485
Cuando alguien no quería
ser devuelto a su país,

00:09:01.485 --> 00:09:07.235
porque consideraba que en ese país
podía sufrir consecuencias indeseables,

00:09:07.235 --> 00:09:09.985
podía quemar su pasaporte
y con eso aspirar a quedarse

00:09:09.985 --> 00:09:12.735
en un espacio
y en un limbo legal y jurídico.

00:09:14.045 --> 00:09:18.725
Hoy, nuestro pasaporte
está en nuestros dedos.

00:09:19.175 --> 00:09:21.745
¿Qué están haciendo los migrantes?

00:09:21.745 --> 00:09:24.759
Quemarse los dedos, mutilarse,

00:09:25.165 --> 00:09:30.308
porque es la única forma de evitar
que su cuerpo se convierta en su enemigo.

00:09:30.308 --> 00:09:33.925
Eso que querían pasar como enmienda
técnica, está teniendo unas consecuencias

00:09:33.925 --> 00:09:37.265
brutales sobre los derechos
fundamentales de los migrantes.

00:09:37.265 --> 00:09:41.495
Inicialmente, hoy ya no, alguien quería
que no habláramos de eso,

00:09:41.495 --> 00:09:46.255
que no nos planteáramos cuáles eran
las implicaciones de esa decisión.

00:09:46.255 --> 00:09:51.055
No solo eso, a través de mi trabajo
he podido hablar con más de 1500 personas

00:09:51.055 --> 00:09:56.265
que han utilizado estos sistemas
automáticos de control de la identidad

00:09:56.265 --> 00:09:57.815
en pasos de fronteras.

00:09:57.815 --> 00:10:01.525
Y es curioso ver como cuando les preguntas
a los viajeros de terceros países,

00:10:01.525 --> 00:10:05.405
no europeos, no personas del espacio
del entorno Schengen:

00:10:05.405 --> 00:10:10.015
¿Qué prefieres, un control policial humano
o un control automático?

00:10:10.015 --> 00:10:12.505
La mayoría te dice:
"Prefiero el control automático".

00:10:13.515 --> 00:10:17.759
Confiamos en la tecnología,
creemos que es más eficiente

00:10:17.759 --> 00:10:21.635
y más justa incluso
que la toma de decisiones humana.

00:10:21.635 --> 00:10:24.175
Pero cuando les preguntábamos
a estas mismas personas:

00:10:24.175 --> 00:10:28.655
¿Y si la máquina se equivoca?
¿Qué crees que va a pasar?

00:10:28.655 --> 00:10:32.973
Todos coincidían:
"Estoy perdido, no voy a poder salir".

00:10:33.503 --> 00:10:35.603
Cuando hay lo que llamamos
un falso positivo,

00:10:35.603 --> 00:10:38.225
cuando la máquina se equivoca,
no tenemos los mecanismos

00:10:38.225 --> 00:10:41.195
ni las leyes que garanticen
que podemos salir del hoyo

00:10:41.195 --> 00:10:44.285
donde nos ha metido ese proceso
de toma de decisiones automáticas.

00:10:45.105 --> 00:10:49.245
Esas son algunas de las cosas
que hemos encontrado en el trabajo

00:10:49.245 --> 00:10:50.535
en el entorno de fronteras.

00:10:51.505 --> 00:10:55.811
Otro ejemplo: también hemos trabajado
con universidades,

00:10:55.811 --> 00:10:58.145
para ver el impacto ético
de la ciencia ciudadana.

00:10:58.145 --> 00:11:01.735
La ciencia ciudadana es la ciencia
que se hace con la ayuda de las personas,

00:11:01.735 --> 00:11:06.499
gente que trabaja el movimiento de
los mares o la migración de los pájaros,

00:11:06.499 --> 00:11:09.215
si tuvieran que desplegar
a investigadores a todas partes,

00:11:09.215 --> 00:11:11.735
para hacer fotografías constantes
de cómo está el mar,

00:11:11.735 --> 00:11:14.231
o cómo se mueven los pájaros
esto sería muy costoso.

00:11:14.231 --> 00:11:17.955
Gracias a la tecnología podemos pedir
a la gente que vive en espacios concretos

00:11:17.955 --> 00:11:21.495
que nos manden una foto del mar cada día
cuando se levanten a la misma hora

00:11:21.495 --> 00:11:24.385
y yo proceso todos esos datos
y a partir de ahí hago ciencia.

00:11:24.385 --> 00:11:25.705
Está muy bien,

00:11:25.705 --> 00:11:29.135
pero cuando empezamos a trabajar
con la universidad y los investigadores,

00:11:29.135 --> 00:11:33.575
nos encontramos un caso paradigmático
de lo que yo llamo despotismo de los datos

00:11:33.575 --> 00:11:37.785
que es "Todo por el pueblo, con los datos
del pueblo, pero sin el pueblo".

00:11:37.785 --> 00:11:41.695
Los investigadores pedían a la gente que
les mandaran un montón de datos personales

00:11:41.695 --> 00:11:45.999
donde una fotografía geolocalizada
puede decir exactamente dónde vivimos,

00:11:45.999 --> 00:11:48.502
cómo es nuestro entorno
e incluso con quién estamos.

00:11:48.502 --> 00:11:53.012
Pues no había ningún tipo de precaución
en relación con la gestión de esos datos.

00:11:53.012 --> 00:11:56.012
Y lo llamábamos "ciencia ciudadana".

00:11:56.012 --> 00:11:57.642
Afortunadamente, hoy ya no es así,

00:11:57.642 --> 00:12:00.232
y hemos creado mecanismos
para que la ciencia ciudadana

00:12:00.232 --> 00:12:03.392
sea realmente ciencia ciudadana,
al servicio de las personas

00:12:03.392 --> 00:12:06.853
y no solo un espacio de uso y abuso
de las personas voluntarias

00:12:06.853 --> 00:12:09.422
que se prestan para participar
en esas investigaciones.

00:12:10.262 --> 00:12:12.592
Trabajamos también mucho
en el ámbito del trabajo,

00:12:12.592 --> 00:12:14.782
el futuro del trabajo,
inteligencia artificial,

00:12:14.782 --> 00:12:16.792
los robots que nos van
a quitar el trabajo,

00:12:16.792 --> 00:12:19.236
todos esos miedos que tenemos.

00:12:19.752 --> 00:12:21.512
¿Y qué nos encontramos?.

00:12:21.512 --> 00:12:25.272
Los directores de las empresas, los CEOs,
los responsables de las empresas

00:12:25.272 --> 00:12:31.812
tienden a tomar malas decisiones,
cuando éstas involucran la tecnología.

00:12:31.812 --> 00:12:37.502
Es decir, un responsable de una empresa
estará mucho más dispuesto

00:12:37.502 --> 00:12:40.697
a gastar dinero en tecnología
que en procesos no tecnológicos,

00:12:40.697 --> 00:12:45.062
con lo cual adquirimos tecnología
sin pensar si realmente la necesitamos,

00:12:45.062 --> 00:12:48.199
sobre todo en entornos de trabajo.

00:12:48.199 --> 00:12:50.439
Estamos viendo la introducción
de exoesqueletos,

00:12:50.439 --> 00:12:53.988
de sensores de control 24 horas
en entornos de trabajo

00:12:53.988 --> 00:12:57.244
en los que no son necesarios
para mejorar la eficacia, la eficiencia

00:12:57.244 --> 00:12:59.774
ni la rentabilidad de esa empresa.

00:12:59.774 --> 00:13:02.584
Pero, entre que la gente en las empresas
no sabe que existen

00:13:02.584 --> 00:13:05.354
tecnologías menos lesivas,
y que quien vende la tecnología

00:13:05.354 --> 00:13:08.450
siempre quiere venderte la máxima
capacidad que puede desarrollar,

00:13:08.450 --> 00:13:11.514
acabamos con entornos laborales
que son insufribles

00:13:11.514 --> 00:13:13.849
desde la perspectiva de los que trabajan.

00:13:13.849 --> 00:13:17.524
Tomamos malas decisiones porque
la tecnología nos fascina constantemente.

00:13:17.524 --> 00:13:20.514
Cómo construimos los mecanismos
para empoderarnos a todos

00:13:20.514 --> 00:13:24.274
a saber distinguir cuando una tecnología
realmente nos ayuda o no nos ayuda.

00:13:24.274 --> 00:13:27.883
Pues a eso nos dedicamos
en la ética de la tecnología.

00:13:28.253 --> 00:13:32.244
Un cuarto ejemplo: trabajo mucho
en tecnologías de seguridad.

00:13:32.244 --> 00:13:35.150
La verdad es que podría dar 10 TED talks
solo sobre seguridad,

00:13:35.150 --> 00:13:37.880
porque es un ámbito terriblemente sensible

00:13:37.880 --> 00:13:41.880
Un par de ejemplos: hace unos años
estábamos auditando los algoritmos

00:13:41.880 --> 00:13:45.880
de un proyecto que quería desplegar
cámaras de videovigilancia inteligentes

00:13:45.880 --> 00:13:49.232
en entornos sensibles;
bancos y aeropuertos.

00:13:49.502 --> 00:13:53.387
Las cámaras de videovigilancia
inteligentes son capaces de reconocer

00:13:53.387 --> 00:13:58.180
comportamientos potencialmente criminales
de forma automática,

00:13:58.180 --> 00:14:01.767
no es necesario que el ojo humano
esté controlando lo que ocurre,

00:14:01.767 --> 00:14:04.938
sino que pueden ver
por la forma en que se mueve la gente,

00:14:04.938 --> 00:14:08.827
si su forma de moverse por un espacio
es potencialmente peligrosa

00:14:08.827 --> 00:14:12.100
y así mandar una alarma
y la intervención humana solo es necesaria

00:14:12.100 --> 00:14:15.252
cuando se ha identificado
un comportamiento peligroso.

00:14:15.532 --> 00:14:16.860
¿Qué nos encontramos?

00:14:16.860 --> 00:14:21.234
Que los ingenieros se habían codificado
a sí mismos como la normalidad.

00:14:21.234 --> 00:14:25.957
Es decir, la forma de utilizar
un banco es entrar y salir,

00:14:25.957 --> 00:14:28.267
porque tienes mucha prisa,
porque tienes trabajo,

00:14:28.267 --> 00:14:30.713
porque eres joven y te lo puedes permitir.

00:14:30.713 --> 00:14:33.590
En ese algoritmo quien emergía
como potencialmente sospechoso

00:14:33.590 --> 00:14:38.777
eran gente mayor, que tiene
mucho más tiempo, claro, está lloviendo,

00:14:38.777 --> 00:14:41.540
vas al banco, hay un sofá, oye pues
me quedo un ratín, ¿no?

00:14:41.540 --> 00:14:45.947
Eso no es potencialmente criminal,
pero el algoritmo lo identificaba así

00:14:45.947 --> 00:14:49.947
porque no era cómo el ingeniero
habría utilizado ese espacio.

00:14:49.947 --> 00:14:52.528
O las familias en aeropuertos.

00:14:52.528 --> 00:14:55.817
Yo que viajo mucho, voy al aeropuerto
y quiero salir lo antes posible,

00:14:55.817 --> 00:14:58.727
pero yo no soy la mayoría,
y no soy sobre todo la normalidad.

00:14:59.597 --> 00:15:01.977
Hay gente que viaja
y coge un avión una vez al año.

00:15:02.267 --> 00:15:05.566
Para quien la experiencia del aeropuerto
forma parte del viaje en sí,

00:15:05.566 --> 00:15:10.520
que van 5 horas antes y dan vueltas,
comen, vuelven a comer, descansan,

00:15:10.520 --> 00:15:14.381
salen a la terraza, y todo eso es normal.

00:15:14.381 --> 00:15:17.785
Debería ser normal, y en cambio
el algoritmo de la cámara inteligente

00:15:17.785 --> 00:15:21.400
lo había codificado como anormal,
y eso pasa constantemente.

00:15:21.400 --> 00:15:24.780
Como los ingenieros no tienen formación
en este tipo de cosas,

00:15:24.780 --> 00:15:29.319
no se dan cuenta de que codifican
su normalidad como la de todos.

00:15:29.319 --> 00:15:32.228
Y eso, en el ámbito de la seguridad
es problemático,

00:15:32.228 --> 00:15:35.740
porque todo lo que no es normal,
es sospechoso.

00:15:35.740 --> 00:15:38.500
Y todos tenemos derecho
a no ser sospechosos,

00:15:38.500 --> 00:15:41.060
a no ser que hagamos algo
realmente sospechoso.

00:15:41.060 --> 00:15:44.530
Con lo cual la cámara nos acaba
convirtiendo en sospechosos constantemente

00:15:44.530 --> 00:15:51.094
por salir fuera de esa normalidad
tan pequeña definida por los tecnólogos.

00:15:52.274 --> 00:15:56.740
Por no hablar de los algoritmos
predictivos en el ámbito de la seguridad.

00:15:58.050 --> 00:16:01.900
Yo no sé cómo se puede decir
más alto y más claro.

00:16:01.900 --> 00:16:07.980
No podemos predecir el futuro.
Eso es magia. Y no sabemos hacerlo.

00:16:07.980 --> 00:16:10.240
Lo máximo que podemos hacer
con los algoritmos

00:16:10.240 --> 00:16:13.074
es entender lo que ha pasado hasta hoy,

00:16:13.074 --> 00:16:16.500
y a partir de ahí hacer
que emerjan ciertos patrones,

00:16:16.500 --> 00:16:22.765
y decir: el pasado me lleva a pensar
que es posible que en el futuro ocurra eso

00:16:22.765 --> 00:16:28.235
Esto es lo que podemos hacer.
Llamar a eso predicción es muy arriesgado.

00:16:28.235 --> 00:16:32.505
Y la insistencia actual de las muchísimas
fuerzas policiales de todo el mundo

00:16:32.505 --> 00:16:36.235
en pedir el algoritmo
de la radicalización, de la prevención,

00:16:36.235 --> 00:16:39.515
el pre-crimen, es imposible.

00:16:39.515 --> 00:16:42.435
La tecnología nos puede ayudar,
pero hasta cierto punto.

00:16:42.435 --> 00:16:45.111
Y todos tenemos derecho
a la presunción de inocencia

00:16:45.111 --> 00:16:48.181
hasta que cometamos un acto ilícito.

00:16:48.181 --> 00:16:50.361
La tecnología tiende a olvidar eso

00:16:50.361 --> 00:16:54.515
y se siente tan poderosa y tan poco
controlada por todos estos elementos

00:16:54.515 --> 00:16:58.385
que se atreve a prometer
la capacidad de prever y de saber

00:16:58.385 --> 00:17:02.743
lo que vamos a hacer antes de que
a nosotros se nos pase por la cabeza.

00:17:03.273 --> 00:17:06.955
Y finalmente un último ejemplo:
el de movilidad.

00:17:06.955 --> 00:17:09.936
Todos habéis oído hablar
de los coches autónomos ¿no?

00:17:09.936 --> 00:17:12.953
Teóricamente en poco tiempo
todas las ciudades estarán llenas

00:17:12.953 --> 00:17:15.235
de coches que conducen solos.

00:17:15.235 --> 00:17:17.916
Pues el coche autónomo
es uno de los grandes ejemplos

00:17:17.916 --> 00:17:23.495
de cómo la arrogancia de la ingeniería
puede llevar al fracaso una buena idea.

00:17:23.495 --> 00:17:28.285
El coche autónomo es muchísimo más seguro
que el coche no autónomo.

00:17:28.285 --> 00:17:29.494
Pero, ¿qué pasa?

00:17:30.145 --> 00:17:33.905
A las muertes de los coches no autónomos
nos hemos acostumbrado,

00:17:33.905 --> 00:17:38.014
pero cada vez que un coche autónomo 
mata o hiere a alguien

00:17:38.014 --> 00:17:39.655
es portada en todo el mundo.

00:17:40.285 --> 00:17:44.485
Con lo cual la percepción social
es que es mucho más inseguro

00:17:44.485 --> 00:17:46.912
el coche autónomo que el no autónomo.

00:17:46.912 --> 00:17:50.515
Y mientras los ingenieros insistan
en decir tengo aquí todas estas cifras

00:17:50.515 --> 00:17:52.515
que demuestran que es más seguro,

00:17:52.515 --> 00:17:56.145
y no se preocupen
de convencer a la población,

00:17:56.145 --> 00:17:59.068
de trabajar la aceptabilidad
de esa tecnología,

00:17:59.068 --> 00:18:03.310
de incorporar los miedos
y las preocupaciones sociales

00:18:03.310 --> 00:18:06.990
en la conceptualización de esa tecnología,
seguramente lo que va a pasar

00:18:06.990 --> 00:18:10.130
es que lo que es una buena idea
que podría salvar muchísimas vidas,

00:18:10.130 --> 00:18:13.520
tardará muchísimo más en implementarse,
porque los ingenieros

00:18:13.520 --> 00:18:17.510
tienden a la arrogancia
de los números y de la técnica.

00:18:17.510 --> 00:18:21.520
Para que veáis que la ética
de la tecnología no es solo un tema

00:18:21.520 --> 00:18:26.470
de tu smartphone, de tu televisor,
de los aparatos de consumo que usamos.

00:18:26.470 --> 00:18:30.260
Hay una infraestructura de datos
que marca todo lo que hacemos,

00:18:30.260 --> 00:18:34.518
que requiere urgentemente
de un cierto control, o como mínimo,

00:18:34.518 --> 00:18:36.927
de la incorporación de responsabilidad.

00:18:36.927 --> 00:18:41.257
Lo que he encontrado en mi trabajo,
es que como hacemos tecnología actualmente

00:18:41.257 --> 00:18:43.957
es profundamente irresponsable.

00:18:44.757 --> 00:18:48.926
A ningún médico ni a ninguna
empresa farmacéutica se le ocurriría

00:18:48.926 --> 00:18:52.747
pedirle a la sociedad poder lanzar
medicamentos no testados.

00:18:53.287 --> 00:18:57.997
O lanzar medicamentos que dijeran: "Mira
esto cura el constipado pero da cáncer".

00:18:57.997 --> 00:18:59.237
No lo aceptaríamos.

00:18:59.237 --> 00:19:00.543
No se puede vender.

00:19:00.543 --> 00:19:04.127
Y en cambio en ingeniería informática
se pide el derecho

00:19:04.127 --> 00:19:07.777
a lanzar cosas a la sociedad
sin testarlas de ninguna manera,

00:19:07.777 --> 00:19:11.727
sin tener ningún tipo de conciencia
de su impacto social.

00:19:12.937 --> 00:19:16.117
La buena noticia es que creo
que esto está empezando a cambiar.

00:19:16.547 --> 00:19:21.277
Que existan perfiles como el mío,
con conocimientos en ciencia social,

00:19:21.277 --> 00:19:24.474
pero también en elementos técnicos
de la matemática y de la física,

00:19:25.234 --> 00:19:28.240
muestra que empieza a haber
interés por estas cosas.

00:19:28.240 --> 00:19:32.770
Cada vez hay más grupos de investigación
y de trabajo en empresas, en universidades

00:19:32.770 --> 00:19:39.814
y en espacios público-privados que aúnan
a sociólogos, filósofos, abogados,

00:19:39.814 --> 00:19:44.150
a físicos, matemáticos, ingenieros
e informáticos para intentar entender

00:19:44.150 --> 00:19:48.520
cuáles son esos impactos legales,
sociales y éticos de las tecnologías,

00:19:49.750 --> 00:19:53.157
que ayudan a dilucidar
cuál es la deseabilidad

00:19:53.157 --> 00:19:55.772
y cómo aumentar esa deseabilidad
de los productos

00:19:55.772 --> 00:19:58.340
que se quieren fabricar en el futuro.

00:19:58.340 --> 00:20:02.070
Cada vez hay más grupos que trabajan
en mejorar la transparencia

00:20:02.070 --> 00:20:04.727
y el control de los algoritmos,
por ejemplo.

00:20:05.767 --> 00:20:11.040
La idea de los estudios de impacto
está cada vez más extendida.

00:20:11.510 --> 00:20:15.295
De la misma forma que no podemos
construir un nuevo desarrollo

00:20:15.295 --> 00:20:20.150
de infraestructuras, una nueva carretera,
sin justificar su impacto ambiental,

00:20:20.150 --> 00:20:23.625
no deberíamos poder lanzar
productos tecnológicos al mercado

00:20:23.625 --> 00:20:27.237
sin justificar antes que nos hemos
planteado en algún momento

00:20:27.237 --> 00:20:29.708
qué impacto va a tener eso
sobre la sociedad

00:20:29.708 --> 00:20:32.285
y si ese impacto es deseable o no,
y si no es deseable,

00:20:32.285 --> 00:20:38.085
qué medidas hemos tomado para
aumentar la deseabilidad de ese producto.

00:20:38.085 --> 00:20:42.245
Ahora mismo muchísima gente
estamos implicados en crear la innovación

00:20:42.245 --> 00:20:46.488
responsable del futuro,
que creo que es muy necesaria.

00:20:47.085 --> 00:20:51.344
Y no obstante, se siguen oyendo voces
que dicen constantemente

00:20:51.344 --> 00:20:57.375
que la prevención, ética y regulación
van en contra de la innovación,

00:20:57.375 --> 00:21:00.495
que no podemos poner límites
a la capacidad creadora

00:21:00.495 --> 00:21:03.475
de los hombres ingenieros
y sus grandes ideas.

00:21:04.795 --> 00:21:06.545
Pues lo siento pero no es así.

00:21:06.545 --> 00:21:09.155
Como humanidad,
llevamos toda nuestra historia

00:21:09.155 --> 00:21:11.252
domesticando a la tecnología.

00:21:11.512 --> 00:21:14.765
¿Un coche necesita un cinturón
de seguridad para circular?

00:21:15.505 --> 00:21:16.240
No.

00:21:17.230 --> 00:21:19.640
¿Un coche necesita un límite de velocidad?

00:21:19.940 --> 00:21:20.660
No.

00:21:20.660 --> 00:21:24.466
Los coches podrían ir muchísimo más rápido
de lo que van por nuestras calles.

00:21:25.266 --> 00:21:28.505
¿Un coche necesita pasos de cebra,
semáforos,

00:21:28.505 --> 00:21:30.518
control de emisiones contaminantes?

00:21:30.518 --> 00:21:31.260
No.

00:21:31.540 --> 00:21:35.750
Todas estas cosas se las hemos añadido
las sociedad humana,

00:21:35.750 --> 00:21:39.375
para asegurar que lo que es
una innovación tecnológica deseable,

00:21:39.375 --> 00:21:43.515
que es un motor, algo que nos lleve
de A a B de forma más rápida,

00:21:43.515 --> 00:21:46.730
sea también deseable
desde la perspectiva social.

00:21:47.255 --> 00:21:50.091
Hemos limitado las posibilidades
de los coches,

00:21:50.091 --> 00:21:53.275
porque hemos entendido
que queremos ir más rápido de A a B,

00:21:53.275 --> 00:21:57.710
pero no queremos que muera 
tanta gente en ese proceso.

00:21:58.150 --> 00:21:59.472
Eso lo hemos hecho siempre.

00:21:59.472 --> 00:22:02.100
Siempre hemos limitado
las capacidades de la tecnología,

00:22:02.100 --> 00:22:04.907
porque la tecnología
solo tiene sentido si mejora,

00:22:04.907 --> 00:22:08.215
si aborda las problemáticas sociales.

00:22:08.505 --> 00:22:10.265
Y que desde la ingeniería informática

00:22:10.265 --> 00:22:15.044
se hayan olvidado tantas veces esa lógica
es claramente preocupante.

00:22:16.794 --> 00:22:18.695
Al final lo que hemos hecho con el coche

00:22:18.695 --> 00:22:20.765
es tener debates
a lo largo de mucho tiempo,

00:22:20.765 --> 00:22:25.545
el primero no tenía cinturón de seguridad,
ni había semáforos, ni pasos de cebra.

00:22:25.545 --> 00:22:29.749
Pero durante mucho tiempo
creamos esos marcos, como sociedad,

00:22:29.749 --> 00:22:33.755
esos consensos sociales que nos llevan
a poder utilizar hoy los vehículos

00:22:33.755 --> 00:22:35.235
de forma normalizada.

00:22:35.555 --> 00:22:38.835
Estos son los debates y consensos sociales
que deben emerger alrededor

00:22:38.835 --> 00:22:41.025
de cualquier nueva tecnología.

00:22:41.025 --> 00:22:43.450
Debemos dilucidar cuando aparece
un nuevo algoritmo,

00:22:43.450 --> 00:22:46.017
una nueva innovación tecnológica,
un nuevo invento,

00:22:46.017 --> 00:22:48.410
debemos decidir entre todos
cuáles van a ser

00:22:48.410 --> 00:22:51.236
los cinturones de seguridad,
los límites de velocidad,

00:22:51.236 --> 00:22:54.816
los límites de emisiones,
los pasos de cebra y los semáforos

00:22:54.816 --> 00:22:56.791
de esa nueva innovación.

00:22:56.791 --> 00:22:58.926
A eso se dedica la ética de la tecnología.

00:22:58.926 --> 00:23:02.736
Primero a fomentar esos debates,
para que entre todos decidamos

00:23:02.736 --> 00:23:07.267
si es mejor un control humano,
o uno mecánico para cruzar una frontera,

00:23:07.646 --> 00:23:10.266
para tomar entre todos
responsabilidad de las decisiones

00:23:10.266 --> 00:23:14.239
que tomamos en relación con la tecnología,
y a partir de esa deseabilidad

00:23:14.239 --> 00:23:17.942
lo que vemos es cómo construir
valores fundamentales, cohesión social,

00:23:17.942 --> 00:23:23.240
confianza, no discriminación, derechos
humanos en las especificaciones técnicas.

00:23:23.240 --> 00:23:25.635
Porque no es solo un tema de dar discursos

00:23:25.635 --> 00:23:28.900
Hay formas a través
de las especificaciones técnicas

00:23:28.900 --> 00:23:31.578
para hacer que las tecnologías
respondan mucho mejor

00:23:31.578 --> 00:23:35.061
a las expectativas y deseos de la sociedad

00:23:35.061 --> 00:23:39.486
De la misma forma que hemos podido
construir coches que maten menos,

00:23:39.486 --> 00:23:42.929
podemos construir tecnologías
que no solo sean menos lesivas

00:23:42.929 --> 00:23:47.466
sino que contribuyan de forma definitiva
a mejorar el futuro de nuestras sociedades

00:23:47.926 --> 00:23:50.840
En definitiva, de lo que se trata
la ética de la tecnología

00:23:50.840 --> 00:23:53.992
es de poner a las personas
en el centro del desarrollo tecnológico,

00:23:53.992 --> 00:23:56.334
y poner la tecnología
al servicio de las personas.

00:23:56.334 --> 00:24:01.234
Y no como estamos ahora muchísimas veces,
las personas al servicio de la tecnologías

00:24:01.542 --> 00:24:02.492
Gracias.

00:24:02.492 --> 00:24:05.242
(Aplausos)