0:00:04.780,0:00:06.720
Buenos días.

0:00:07.050,0:00:11.860
Yo vengo a hablaros de qué es[br]la ética de la tecnología,

0:00:11.860,0:00:15.930
porque creo humildemente[br]que debería importaros.

0:00:15.930,0:00:19.474
Y es una buena semana para hacerlo,[br]porque seguramente

0:00:19.474,0:00:23.040
aún tenemos grabadas en el cerebro[br]las imágenes de Mark zuckerberg,

0:00:23.040,0:00:26.370
el CEO de Facebook,[br]hablando ante el congreso de EE.UU,

0:00:26.370,0:00:30.346
justificando un poco lo injustificable,[br]que es que básicamente Facebook

0:00:30.346,0:00:34.650
nos ha hecho creer que teníamos unos[br]niveles de privacidad en su plataforma

0:00:34.650,0:00:37.240
que en realidad no tenemos.

0:00:37.240,0:00:38.240
Pero no solo eso.

0:00:38.240,0:00:41.530
Por suerte, hoy somos menos ingenuos [br]en relación con la tecnología

0:00:41.530,0:00:46.600
y ya sabemos que cuando un producto[br]tecnológico no lo pagamos con dinero,

0:00:46.600,0:00:48.820
en realidad es que nosotros [br]somos el producto,

0:00:48.820,0:00:55.135
y nuestros datos son los que están [br]alimentando una maquinaria de anuncios,

0:00:55.135,0:00:57.590
un modelo de negocio [br]basado en la comercialización

0:00:57.590,0:00:59.743
de datos personales.

0:00:59.743,0:01:02.440
Hoy también sabemos,[br]somos menos ingenuos,

0:01:02.440,0:01:06.512
que todo lo "smart", todas las[br]herramientas tecnológicas inteligentes

0:01:06.512,0:01:07.832
nos espian.

0:01:07.832,0:01:10.482
Y si no, os reto si tenéis una smart TV

0:01:10.482,0:01:16.002
a que leáis el manual de instrucciones,[br]donde veréis que os recomiendan

0:01:16.002,0:01:20.005
no tener conversaciones privadas[br]delante del televisor,

0:01:20.005,0:01:24.140
si tenéis televisor en vuestra habitación[br]igual tenéis un problema,

0:01:24.140,0:01:29.148
porque básicamente una smart TV,[br]como todo lo que es smart, nos espía.

0:01:29.148,0:01:31.478
El producto somos nosotros.

0:01:31.478,0:01:36.419
Y en tecnología creo que por suerte[br]ya nos hemos acostumbrado a oír

0:01:36.419,0:01:40.541
a personas que nos hablan del problema[br]de la privacidad de los datos.

0:01:40.541,0:01:44.982
Pero la ética de la tecnología[br]va mucho más allá de la privacidad.

0:01:44.982,0:01:47.768
Y permitidme que dé un paso atrás[br]para contaros,

0:01:47.768,0:01:49.271
para compartir con vosotros

0:01:49.271,0:01:51.645
cómo empecé yo a darme cuenta[br]de que en tecnología

0:01:51.645,0:01:53.765
teníamos que mirar[br]todo un universo de cosas

0:01:53.765,0:01:56.505
que muy poca gente estaba mirando.

0:01:56.505,0:01:59.705
Yo empecé a hacer mi tesis[br]hace muchísimos años,

0:01:59.705,0:02:02.035
mi tesis doctoral en videovigilancia.

0:02:02.035,0:02:07.481
Quería ver cómo las cámaras[br]impactaban sobre cómo utilizamos la ciudad

0:02:07.481,0:02:10.527
cuáles eran las motivaciones[br]de los diferentes actores

0:02:10.527,0:02:14.504
para confiar a una solución tecnológica[br]un problema social importantísimo,

0:02:14.504,0:02:17.645
como es la percepción de inseguridad.

0:02:17.645,0:02:21.035
Y ahí estaba yo haciendo mi tesis,[br]descubriendo cosas interesantísimas,

0:02:21.035,0:02:24.797
viendo métricas y como las cámaras [br]eran capaces de capturar

0:02:24.797,0:02:30.015
dinámicas y expectativas sociales,[br]pero además devolvérnoslas a la sociedad

0:02:30.015,0:02:31.775
muchas veces con diferencias.

0:02:31.775,0:02:35.525
La cámara no era solo[br]un actor tecnológico, o solo un cacharro.

0:02:35.525,0:02:38.565
La cámara intervenía[br]en cómo utilizábamos el espacio público,

0:02:38.565,0:02:41.515
las expectativas que teníamos[br]los unos sobre los otros,

0:02:41.515,0:02:43.516
cómo comprendíamos la seguridad.

0:02:44.256,0:02:47.756
Pero en todo este proceso un buen día[br]se me ocurrió coger el libro,

0:02:47.756,0:02:52.227
un libro de Richard Sennett,[br]un conocido sociólogo,

0:02:52.227,0:02:55.487
"El declive del hombre público"[br]y en él se preguntaba,

0:02:55.487,0:02:59.299
mucho antes de que tuviéramos[br]drones y sensores

0:02:59.299,0:03:01.387
y cámaras por todas partes,

0:03:01.387,0:03:05.097
y ojos constantes que nos vigilan [br]en nuestra deriva urbana,

0:03:05.097,0:03:12.317
él se preguntaba en estas ciudades[br]que estamos creando llenas de ojos,

0:03:12.317,0:03:15.220
dónde se enamorarían Romeo y Julieta.

0:03:15.860,0:03:20.850
Y para mí ese fue mi "Aha moment",[br]mi momento de darme cuenta

0:03:20.850,0:03:24.310
de que mientras yo me focalizaba[br]en dinámicas sociales y métricas

0:03:24.310,0:03:28.470
y expectativas, me había olvidado[br]de una pregunta importantísima.

0:03:28.470,0:03:31.780
Esto que estamos haciendo ¿es deseable?

0:03:31.780,0:03:35.118
¿Queremos que en nuestras ciudades,[br]Romeo y Julieta,

0:03:35.118,0:03:39.763
hijos de 2 familias enfrentadas,[br]un amor prohibido,

0:03:39.763,0:03:43.037
queremos crear ciudades donde[br]los jóvenes de familias

0:03:43.037,0:03:46.243
dispares o enfrentadas[br]no puedan enamorarse?

0:03:46.243,0:03:49.194
Y sobre todo pensando en la gente joven.

0:03:49.194,0:03:51.633
Una de las cosas que más me[br]sorprendió en mi trabajo

0:03:51.633,0:03:57.234
es la ignorancia total que tenemos,[br]ignorancia por decirlo suave.

0:03:57.234,0:04:01.108
Cómo ignoramos los datos[br]y los derechos de los jóvenes,

0:04:01.108,0:04:03.686
los jóvenes aparecen en mi trabajo[br]de forma sistemática

0:04:03.686,0:04:09.236
como un colectivo constantemente[br]maltratado por la recogida de datos.

0:04:09.236,0:04:12.506
Los jóvenes, porque además[br]no tienen casa propia,

0:04:12.506,0:04:14.756
tienen una habitación[br]en el mejor de los casos

0:04:14.756,0:04:17.156
donde ponen candados[br]y carteles de no entrar,

0:04:17.156,0:04:18.446
mi zona de privacidad, etc.

0:04:18.446,0:04:21.136
Su zona de privacidad[br]muchas veces es el espacio público,

0:04:21.136,0:04:22.966
y se lo estábamos quitando.

0:04:22.966,0:04:26.446
Les estábamos y les estamos quitando[br]a los jóvenes los espacios

0:04:26.446,0:04:29.906
para darse el primer beso[br]en la clandestinidad, en la privacidad,

0:04:29.906,0:04:33.576
en la intimidad[br]que necesitan y que merecen,

0:04:33.576,0:04:35.006
pero no solo para los jóvenes.

0:04:35.006,0:04:37.526
Se han preguntado[br]dónde se enamorarían Romeo y Julieta

0:04:37.526,0:04:38.906
y para mí la gran pregunta es

0:04:38.906,0:04:41.006
todo esto que estamos haciendo[br]en tecnología,

0:04:41.006,0:04:43.496
ese dinero que estamos invirtiendo.

0:04:43.496,0:04:46.416
¿Es deseable lo que estamos haciendo[br]a nuestro alrededor?

0:04:46.416,0:04:50.096
Cosas que ocurren con la tecnología,[br]por ejemplo, vinculado a los jóvenes

0:04:50.096,0:04:53.946
y a los entornos urbanos,[br]por primera vez en la historia

0:04:53.946,0:04:58.406
y a consecuencia de la penetración[br]de aparatos tecnológicos,

0:04:58.406,0:05:01.486
es más caro olvidar que recordar.

0:05:02.136,0:05:04.666
En toda la historia[br]fue mucho más dificil recordar.

0:05:04.666,0:05:07.703
Había que escribir pergaminos,[br]después la imprenta.

0:05:07.703,0:05:08.763
Eso tiene un coste.

0:05:08.763,0:05:15.670
Ahora mismo lo difícil es poder olvidar,[br]porque todo genera un registro digital.

0:05:15.670,0:05:19.670
Yo siempre digo que tengo la suerte[br]de tener más de cuarenta años,

0:05:19.670,0:05:23.734
porque los primeros 20 años de mi vida[br]no los grabó nadie,

0:05:23.734,0:05:27.057
tengo alguna foto, pero nada más.

0:05:27.057,0:05:31.070
A los jóvenes de ahora[br]les condenamos a una vida de miedo,

0:05:31.070,0:05:35.110
por cómo su huella digital puede impactar[br]en su vida en el futuro.

0:05:35.530,0:05:41.370
Esa foto de esa fiesta, ese comentario[br]en una red social, ese momento

0:05:41.370,0:05:46.562
que queremos olvidar, ese conflicto,[br]incluso esa condena judicial

0:05:46.562,0:05:49.478
o ese archivo de una causa.

0:05:49.478,0:05:53.238
Todo eso las personas que han nacido[br]ya en la sociedad actual,

0:05:53.238,0:05:56.508
totalmente digitalizada,[br]puede emerger en cualquier momento

0:05:56.508,0:05:59.298
y arruinarte la vida,[br]tu relación de pareja,

0:05:59.298,0:06:03.498
la consecución de ese trabajo[br]que tanto deseabas.

0:06:03.498,0:06:06.628
Por lo tanto,[br]en mi trabajo sobre videovigilancia

0:06:06.628,0:06:09.962
me di cuenta de que había un montón[br]de preguntas sobre tecnología

0:06:09.962,0:06:14.522
que no estábamos haciendo, y que era[br]importantísimo que alguien realizara.

0:06:15.242,0:06:18.882
Desde entonces he tenido la suerte[br]de poder dedicarme a hacer esas preguntas,

0:06:18.882,0:06:22.262
a explorar cuáles son las preguntas[br]que deberíamos hacer, y cómo debería

0:06:22.262,0:06:25.092
la tecnología responder a esas preguntas,

0:06:25.092,0:06:28.002
y entender e incorporar[br]todas esas preocupaciones.

0:06:28.002,0:06:30.528
Quería detallaros brevemente[br]algunos de los proyectos

0:06:30.528,0:06:33.461
en los que estuve involucrada,[br]para que veáis cómo se aterriza

0:06:33.461,0:06:35.512
este tema de la ética de la tecnología.

0:06:35.512,0:06:37.358
He trabajado mucho tiempo,[br]por ejemplo,

0:06:37.358,0:06:39.731
en la automatización[br]del paso de fronteras.

0:06:39.731,0:06:42.231
No sé si habéis ido[br]a algún aeropuerto recientemente,

0:06:42.231,0:06:44.421
pero veréis que muchas veces[br]quien nos controla

0:06:44.421,0:06:46.985
el pasaporte ya no es un policía,[br]sino una máquina,

0:06:46.985,0:06:50.775
metéis vuestro pasaporte, se os hace[br]un reconocimiento de la huella digital,

0:06:50.775,0:06:53.341
un match biométrico[br]con vuestro documento de identidad,

0:06:53.341,0:06:58.301
y la máquina decide si podéis pasar o no.

0:06:58.301,0:07:02.612
Cuando empezamos a trabajar[br]en las "fronteras inteligentes",

0:07:02.612,0:07:04.952
una de las primeras cosas[br]que nos sorprendió,

0:07:04.952,0:07:08.512
y que después hemos visto[br]reproducida en muchos otros casos,

0:07:08.512,0:07:10.182
es que cuando el parlamento europeo

0:07:10.182,0:07:13.412
empezó a plantearse la automatización[br]del cruce de fronteras,

0:07:15.232,0:07:18.562
el debate no pasó por el parlamento[br]europeo porque se consideró

0:07:18.562,0:07:20.762
una enmienda técnica.

0:07:20.762,0:07:26.272
Cambiar a policías por un proceso de datos[br]era nada más que una enmienda técnica.

0:07:26.272,0:07:28.935
No afectaba

0:07:28.935,0:07:31.702
según las personas que inicialmente[br]propusieron ese cambio,

0:07:31.702,0:07:35.262
a la conceptualización[br]de lo que era la frontera,

0:07:35.262,0:07:37.972
con lo cual podía ser una[br]enmienda técnica que no requería

0:07:37.972,0:07:41.497
ningún tipo de control público o político.

0:07:41.947,0:07:46.257
Para que veáis[br]lo poco técnico que esto es,

0:07:46.257,0:07:49.382
la incorporación de automatización[br]del paso de fronteras ha hecho,

0:07:49.382,0:07:51.982
por ejemplo, que la frontera desaparezca.

0:07:52.782,0:07:59.972
Hoy en día, el cruce de la frontera,[br]la línea en el suelo, el aeropuerto,

0:07:59.972,0:08:01.762
no es lo importante.

0:08:01.762,0:08:05.812
Empezamos a viajar y se nos empieza[br]a autorizar el viaje en el momento

0:08:05.812,0:08:10.652
en el que compramos nuestro billete[br]o solicitamos la visa para viajar.

0:08:10.652,0:08:13.882
Y nuestro paso de frontera no acaba[br]cuando cruzamos la frontera

0:08:13.882,0:08:16.092
o cuando llegamos a nuestro destino.

0:08:16.762,0:08:19.962
Si hemos pedido una visa continúa,[br]porque la validez de nuestra visa

0:08:19.962,0:08:22.012
es controlada hasta que[br]abandonamos el país,

0:08:22.012,0:08:24.772
o si no lo abandonamos salta una alarma,

0:08:24.772,0:08:27.752
para que la policía pueda[br]tomar cartas en el asunto.

0:08:27.752,0:08:33.002
Con lo cual la introducción de los datos,[br]la automatización de todo este proceso,

0:08:33.002,0:08:36.002
ha cambiado completamente[br]lo que supone una frontera.

0:08:36.002,0:08:39.270
La frontera es ahora mismo[br]un espacio larguísimo,

0:08:39.270,0:08:42.940
para muchas personas[br]un espacio de control continuo.

0:08:44.270,0:08:45.520
Han pasado otras cosas.

0:08:46.250,0:08:49.530
con la automatización de fronteras[br]hemos incorporado la biometría

0:08:49.530,0:08:52.725
como herramienta[br]para comprobar la identidad.

0:08:52.725,0:08:55.895
¿Qué pasaba en el pasado[br]cuando alguien no quería

0:08:55.895,0:08:57.929
que su identidad fuera conocida?

0:08:57.929,0:08:59.245
Quemaba su pasaporte.

0:08:59.245,0:09:01.485
Cuando alguien no quería[br]ser devuelto a su país,

0:09:01.485,0:09:07.235
porque consideraba que en ese país[br]podía sufrir consecuencias indeseables,

0:09:07.235,0:09:09.985
podía quemar su pasaporte[br]y con eso aspirar a quedarse

0:09:09.985,0:09:12.735
en un espacio[br]y en un limbo legal y jurídico.

0:09:14.045,0:09:18.725
Hoy, nuestro pasaporte[br]está en nuestros dedos.

0:09:19.175,0:09:21.745
¿Qué están haciendo los migrantes?

0:09:21.745,0:09:24.759
Quemarse los dedos, mutilarse,

0:09:25.165,0:09:30.308
porque es la única forma de evitar[br]que su cuerpo se convierta en su enemigo.

0:09:30.308,0:09:33.925
Eso que querían pasar como enmienda[br]técnica, está teniendo unas consecuencias

0:09:33.925,0:09:37.265
brutales sobre los derechos[br]fundamentales de los migrantes.

0:09:37.265,0:09:41.495
Inicialmente, hoy ya no, alguien quería[br]que no habláramos de eso,

0:09:41.495,0:09:46.255
que no nos planteáramos cuáles eran[br]las implicaciones de esa decisión.

0:09:46.255,0:09:51.055
No solo eso, a través de mi trabajo[br]he podido hablar con más de 1500 personas

0:09:51.055,0:09:56.265
que han utilizado estos sistemas[br]automáticos de control de la identidad

0:09:56.265,0:09:57.815
en pasos de fronteras.

0:09:57.815,0:10:01.525
Y es curioso ver como cuando les preguntas[br]a los viajeros de terceros países,

0:10:01.525,0:10:05.405
no europeos, no personas del espacio[br]del entorno Schengen:

0:10:05.405,0:10:10.015
¿Qué prefieres, un control policial humano[br]o un control automático?

0:10:10.015,0:10:12.505
La mayoría te dice:[br]"Prefiero el control automático".

0:10:13.515,0:10:17.759
Confiamos en la tecnología,[br]creemos que es más eficiente

0:10:17.759,0:10:21.635
y más justa incluso[br]que la toma de decisiones humana.

0:10:21.635,0:10:24.175
Pero cuando les preguntábamos[br]a estas mismas personas:

0:10:24.175,0:10:28.655
¿Y si la máquina se equivoca?[br]¿Qué crees que va a pasar?

0:10:28.655,0:10:32.973
Todos coincidían:[br]"Estoy perdido, no voy a poder salir".

0:10:33.503,0:10:35.603
Cuando hay lo que llamamos[br]un falso positivo,

0:10:35.603,0:10:38.225
cuando la máquina se equivoca,[br]no tenemos los mecanismos

0:10:38.225,0:10:41.195
ni las leyes que garanticen[br]que podemos salir del hoyo

0:10:41.195,0:10:44.285
donde nos ha metido ese proceso[br]de toma de decisiones automáticas.

0:10:45.105,0:10:49.245
Esas son algunas de las cosas[br]que hemos encontrado en el trabajo

0:10:49.245,0:10:50.535
en el entorno de fronteras.

0:10:51.505,0:10:55.811
Otro ejemplo: también hemos trabajado[br]con universidades,

0:10:55.811,0:10:58.145
para ver el impacto ético[br]de la ciencia ciudadana.

0:10:58.145,0:11:01.735
La ciencia ciudadana es la ciencia[br]que se hace con la ayuda de las personas,

0:11:01.735,0:11:06.499
gente que trabaja el movimiento de[br]los mares o la migración de los pájaros,

0:11:06.499,0:11:09.215
si tuvieran que desplegar[br]a investigadores a todas partes,

0:11:09.215,0:11:11.735
para hacer fotografías constantes[br]de cómo está el mar,

0:11:11.735,0:11:14.231
o cómo se mueven los pájaros[br]esto sería muy costoso.

0:11:14.231,0:11:17.955
Gracias a la tecnología podemos pedir[br]a la gente que vive en espacios concretos

0:11:17.955,0:11:21.495
que nos manden una foto del mar cada día[br]cuando se levanten a la misma hora

0:11:21.495,0:11:24.385
y yo proceso todos esos datos[br]y a partir de ahí hago ciencia.

0:11:24.385,0:11:25.705
Está muy bien,

0:11:25.705,0:11:29.135
pero cuando empezamos a trabajar[br]con la universidad y los investigadores,

0:11:29.135,0:11:33.575
nos encontramos un caso paradigmático[br]de lo que yo llamo despotismo de los datos

0:11:33.575,0:11:37.785
que es "Todo por el pueblo, con los datos[br]del pueblo, pero sin el pueblo".

0:11:37.785,0:11:41.695
Los investigadores pedían a la gente que[br]les mandaran un montón de datos personales

0:11:41.695,0:11:45.999
donde una fotografía geolocalizada[br]puede decir exactamente dónde vivimos,

0:11:45.999,0:11:48.502
cómo es nuestro entorno[br]e incluso con quién estamos.

0:11:48.502,0:11:53.012
Pues no había ningún tipo de precaución[br]en relación con la gestión de esos datos.

0:11:53.012,0:11:56.012
Y lo llamábamos "ciencia ciudadana".

0:11:56.012,0:11:57.642
Afortunadamente, hoy ya no es así,

0:11:57.642,0:12:00.232
y hemos creado mecanismos[br]para que la ciencia ciudadana

0:12:00.232,0:12:03.392
sea realmente ciencia ciudadana,[br]al servicio de las personas

0:12:03.392,0:12:06.853
y no solo un espacio de uso y abuso[br]de las personas voluntarias

0:12:06.853,0:12:09.422
que se prestan para participar[br]en esas investigaciones.

0:12:10.262,0:12:12.592
Trabajamos también mucho[br]en el ámbito del trabajo,

0:12:12.592,0:12:14.782
el futuro del trabajo,[br]inteligencia artificial,

0:12:14.782,0:12:16.792
los robots que nos van[br]a quitar el trabajo,

0:12:16.792,0:12:19.236
todos esos miedos que tenemos.

0:12:19.752,0:12:21.512
¿Y qué nos encontramos?.

0:12:21.512,0:12:25.272
Los directores de las empresas, los CEOs,[br]los responsables de las empresas

0:12:25.272,0:12:31.812
tienden a tomar malas decisiones,[br]cuando éstas involucran la tecnología.

0:12:31.812,0:12:37.502
Es decir, un responsable de una empresa[br]estará mucho más dispuesto

0:12:37.502,0:12:40.697
a gastar dinero en tecnología[br]que en procesos no tecnológicos,

0:12:40.697,0:12:45.062
con lo cual adquirimos tecnología[br]sin pensar si realmente la necesitamos,

0:12:45.062,0:12:48.199
sobre todo en entornos de trabajo.

0:12:48.199,0:12:50.439
Estamos viendo la introducción[br]de exoesqueletos,

0:12:50.439,0:12:53.988
de sensores de control 24 horas[br]en entornos de trabajo

0:12:53.988,0:12:57.244
en los que no son necesarios[br]para mejorar la eficacia, la eficiencia

0:12:57.244,0:12:59.774
ni la rentabilidad de esa empresa.

0:12:59.774,0:13:02.584
Pero, entre que la gente en las empresas[br]no sabe que existen

0:13:02.584,0:13:05.354
tecnologías menos lesivas,[br]y que quien vende la tecnología

0:13:05.354,0:13:08.450
siempre quiere venderte la máxima[br]capacidad que puede desarrollar,

0:13:08.450,0:13:11.514
acabamos con entornos laborales[br]que son insufribles

0:13:11.514,0:13:13.849
desde la perspectiva de los que trabajan.

0:13:13.849,0:13:17.524
Tomamos malas decisiones porque[br]la tecnología nos fascina constantemente.

0:13:17.524,0:13:20.514
Cómo construimos los mecanismos[br]para empoderarnos a todos

0:13:20.514,0:13:24.274
a saber distinguir cuando una tecnología[br]realmente nos ayuda o no nos ayuda.

0:13:24.274,0:13:27.883
Pues a eso nos dedicamos[br]en la ética de la tecnología.

0:13:28.253,0:13:32.244
Un cuarto ejemplo: trabajo mucho[br]en tecnologías de seguridad.

0:13:32.244,0:13:35.150
La verdad es que podría dar 10 TED talks[br]solo sobre seguridad,

0:13:35.150,0:13:37.880
porque es un ámbito terriblemente sensible

0:13:37.880,0:13:41.880
Un par de ejemplos: hace unos años[br]estábamos auditando los algoritmos

0:13:41.880,0:13:45.880
de un proyecto que quería desplegar[br]cámaras de videovigilancia inteligentes

0:13:45.880,0:13:49.232
en entornos sensibles;[br]bancos y aeropuertos.

0:13:49.502,0:13:53.387
Las cámaras de videovigilancia[br]inteligentes son capaces de reconocer

0:13:53.387,0:13:58.180
comportamientos potencialmente criminales[br]de forma automática,

0:13:58.180,0:14:01.767
no es necesario que el ojo humano[br]esté controlando lo que ocurre,

0:14:01.767,0:14:04.938
sino que pueden ver[br]por la forma en que se mueve la gente,

0:14:04.938,0:14:08.827
si su forma de moverse por un espacio[br]es potencialmente peligrosa

0:14:08.827,0:14:12.100
y así mandar una alarma[br]y la intervención humana solo es necesaria

0:14:12.100,0:14:15.252
cuando se ha identificado[br]un comportamiento peligroso.

0:14:15.532,0:14:16.860
¿Qué nos encontramos?

0:14:16.860,0:14:21.234
Que los ingenieros se habían codificado[br]a sí mismos como la normalidad.

0:14:21.234,0:14:25.957
Es decir, la forma de utilizar[br]un banco es entrar y salir,

0:14:25.957,0:14:28.267
porque tienes mucha prisa,[br]porque tienes trabajo,

0:14:28.267,0:14:30.713
porque eres joven y te lo puedes permitir.

0:14:30.713,0:14:33.590
En ese algoritmo quien emergía[br]como potencialmente sospechoso

0:14:33.590,0:14:38.777
eran gente mayor, que tiene[br]mucho más tiempo, claro, está lloviendo,

0:14:38.777,0:14:41.540
vas al banco, hay un sofá, oye pues[br]me quedo un ratín, ¿no?

0:14:41.540,0:14:45.947
Eso no es potencialmente criminal,[br]pero el algoritmo lo identificaba así

0:14:45.947,0:14:49.947
porque no era cómo el ingeniero[br]habría utilizado ese espacio.

0:14:49.947,0:14:52.528
O las familias en aeropuertos.

0:14:52.528,0:14:55.817
Yo que viajo mucho, voy al aeropuerto[br]y quiero salir lo antes posible,

0:14:55.817,0:14:58.727
pero yo no soy la mayoría,[br]y no soy sobre todo la normalidad.

0:14:59.597,0:15:01.977
Hay gente que viaja[br]y coge un avión una vez al año.

0:15:02.267,0:15:05.566
Para quien la experiencia del aeropuerto[br]forma parte del viaje en sí,

0:15:05.566,0:15:10.520
que van 5 horas antes y dan vueltas,[br]comen, vuelven a comer, descansan,

0:15:10.520,0:15:14.381
salen a la terraza, y todo eso es normal.

0:15:14.381,0:15:17.785
Debería ser normal, y en cambio[br]el algoritmo de la cámara inteligente

0:15:17.785,0:15:21.400
lo había codificado como anormal,[br]y eso pasa constantemente.

0:15:21.400,0:15:24.780
Como los ingenieros no tienen formación[br]en este tipo de cosas,

0:15:24.780,0:15:29.319
no se dan cuenta de que codifican[br]su normalidad como la de todos.

0:15:29.319,0:15:32.228
Y eso, en el ámbito de la seguridad[br]es problemático,

0:15:32.228,0:15:35.740
porque todo lo que no es normal,[br]es sospechoso.

0:15:35.740,0:15:38.500
Y todos tenemos derecho[br]a no ser sospechosos,

0:15:38.500,0:15:41.060
a no ser que hagamos algo[br]realmente sospechoso.

0:15:41.060,0:15:44.530
Con lo cual la cámara nos acaba[br]convirtiendo en sospechosos constantemente

0:15:44.530,0:15:51.094
por salir fuera de esa normalidad[br]tan pequeña definida por los tecnólogos.

0:15:52.274,0:15:56.740
Por no hablar de los algoritmos[br]predictivos en el ámbito de la seguridad.

0:15:58.050,0:16:01.900
Yo no sé cómo se puede decir[br]más alto y más claro.

0:16:01.900,0:16:07.980
No podemos predecir el futuro.[br]Eso es magia. Y no sabemos hacerlo.

0:16:07.980,0:16:10.240
Lo máximo que podemos hacer[br]con los algoritmos

0:16:10.240,0:16:13.074
es entender lo que ha pasado hasta hoy,

0:16:13.074,0:16:16.500
y a partir de ahí hacer[br]que emerjan ciertos patrones,

0:16:16.500,0:16:22.765
y decir: el pasado me lleva a pensar[br]que es posible que en el futuro ocurra eso

0:16:22.765,0:16:28.235
Esto es lo que podemos hacer.[br]Llamar a eso predicción es muy arriesgado.

0:16:28.235,0:16:32.505
Y la insistencia actual de las muchísimas[br]fuerzas policiales de todo el mundo

0:16:32.505,0:16:36.235
en pedir el algoritmo[br]de la radicalización, de la prevención,

0:16:36.235,0:16:39.515
el pre-crimen, es imposible.

0:16:39.515,0:16:42.435
La tecnología nos puede ayudar,[br]pero hasta cierto punto.

0:16:42.435,0:16:45.111
Y todos tenemos derecho[br]a la presunción de inocencia

0:16:45.111,0:16:48.181
hasta que cometamos un acto ilícito.

0:16:48.181,0:16:50.361
La tecnología tiende a olvidar eso

0:16:50.361,0:16:54.515
y se siente tan poderosa y tan poco[br]controlada por todos estos elementos

0:16:54.515,0:16:58.385
que se atreve a prometer[br]la capacidad de prever y de saber

0:16:58.385,0:17:02.743
lo que vamos a hacer antes de que[br]a nosotros se nos pase por la cabeza.

0:17:03.273,0:17:06.955
Y finalmente un último ejemplo:[br]el de movilidad.

0:17:06.955,0:17:09.936
Todos habéis oído hablar[br]de los coches autónomos ¿no?

0:17:09.936,0:17:12.953
Teóricamente en poco tiempo[br]todas las ciudades estarán llenas

0:17:12.953,0:17:15.235
de coches que conducen solos.

0:17:15.235,0:17:17.916
Pues el coche autónomo[br]es uno de los grandes ejemplos

0:17:17.916,0:17:23.495
de cómo la arrogancia de la ingeniería[br]puede llevar al fracaso una buena idea.

0:17:23.495,0:17:28.285
El coche autónomo es muchísimo más seguro[br]que el coche no autónomo.

0:17:28.285,0:17:29.494
Pero, ¿qué pasa?

0:17:30.145,0:17:33.905
A las muertes de los coches no autónomos[br]nos hemos acostumbrado,

0:17:33.905,0:17:38.014
pero cada vez que un coche autónomo [br]mata o hiere a alguien

0:17:38.014,0:17:39.655
es portada en todo el mundo.

0:17:40.285,0:17:44.485
Con lo cual la percepción social[br]es que es mucho más inseguro

0:17:44.485,0:17:46.912
el coche autónomo que el no autónomo.

0:17:46.912,0:17:50.515
Y mientras los ingenieros insistan[br]en decir tengo aquí todas estas cifras

0:17:50.515,0:17:52.515
que demuestran que es más seguro,

0:17:52.515,0:17:56.145
y no se preocupen[br]de convencer a la población,

0:17:56.145,0:17:59.068
de trabajar la aceptabilidad[br]de esa tecnología,

0:17:59.068,0:18:03.310
de incorporar los miedos[br]y las preocupaciones sociales

0:18:03.310,0:18:06.990
en la conceptualización de esa tecnología,[br]seguramente lo que va a pasar

0:18:06.990,0:18:10.130
es que lo que es una buena idea[br]que podría salvar muchísimas vidas,

0:18:10.130,0:18:13.520
tardará muchísimo más en implementarse,[br]porque los ingenieros

0:18:13.520,0:18:17.510
tienden a la arrogancia[br]de los números y de la técnica.

0:18:17.510,0:18:21.520
Para que veáis que la ética[br]de la tecnología no es solo un tema

0:18:21.520,0:18:26.470
de tu smartphone, de tu televisor,[br]de los aparatos de consumo que usamos.

0:18:26.470,0:18:30.260
Hay una infraestructura de datos[br]que marca todo lo que hacemos,

0:18:30.260,0:18:34.518
que requiere urgentemente[br]de un cierto control, o como mínimo,

0:18:34.518,0:18:36.927
de la incorporación de responsabilidad.

0:18:36.927,0:18:41.257
Lo que he encontrado en mi trabajo,[br]es que como hacemos tecnología actualmente

0:18:41.257,0:18:43.957
es profundamente irresponsable.

0:18:44.757,0:18:48.926
A ningún médico ni a ninguna[br]empresa farmacéutica se le ocurriría

0:18:48.926,0:18:52.747
pedirle a la sociedad poder lanzar[br]medicamentos no testados.

0:18:53.287,0:18:57.997
O lanzar medicamentos que dijeran: "Mira[br]esto cura el constipado pero da cáncer".

0:18:57.997,0:18:59.237
No lo aceptaríamos.

0:18:59.237,0:19:00.543
No se puede vender.

0:19:00.543,0:19:04.127
Y en cambio en ingeniería informática[br]se pide el derecho

0:19:04.127,0:19:07.777
a lanzar cosas a la sociedad[br]sin testarlas de ninguna manera,

0:19:07.777,0:19:11.727
sin tener ningún tipo de conciencia[br]de su impacto social.

0:19:12.937,0:19:16.117
La buena noticia es que creo[br]que esto está empezando a cambiar.

0:19:16.547,0:19:21.277
Que existan perfiles como el mío,[br]con conocimientos en ciencia social,

0:19:21.277,0:19:24.474
pero también en elementos técnicos[br]de la matemática y de la física,

0:19:25.234,0:19:28.240
muestra que empieza a haber[br]interés por estas cosas.

0:19:28.240,0:19:32.770
Cada vez hay más grupos de investigación[br]y de trabajo en empresas, en universidades

0:19:32.770,0:19:39.814
y en espacios público-privados que aúnan[br]a sociólogos, filósofos, abogados,

0:19:39.814,0:19:44.150
a físicos, matemáticos, ingenieros[br]e informáticos para intentar entender

0:19:44.150,0:19:48.520
cuáles son esos impactos legales,[br]sociales y éticos de las tecnologías,

0:19:49.750,0:19:53.157
que ayudan a dilucidar[br]cuál es la deseabilidad

0:19:53.157,0:19:55.772
y cómo aumentar esa deseabilidad[br]de los productos

0:19:55.772,0:19:58.340
que se quieren fabricar en el futuro.

0:19:58.340,0:20:02.070
Cada vez hay más grupos que trabajan[br]en mejorar la transparencia

0:20:02.070,0:20:04.727
y el control de los algoritmos,[br]por ejemplo.

0:20:05.767,0:20:11.040
La idea de los estudios de impacto[br]está cada vez más extendida.

0:20:11.510,0:20:15.295
De la misma forma que no podemos[br]construir un nuevo desarrollo

0:20:15.295,0:20:20.150
de infraestructuras, una nueva carretera,[br]sin justificar su impacto ambiental,

0:20:20.150,0:20:23.625
no deberíamos poder lanzar[br]productos tecnológicos al mercado

0:20:23.625,0:20:27.237
sin justificar antes que nos hemos[br]planteado en algún momento

0:20:27.237,0:20:29.708
qué impacto va a tener eso[br]sobre la sociedad

0:20:29.708,0:20:32.285
y si ese impacto es deseable o no,[br]y si no es deseable,

0:20:32.285,0:20:38.085
qué medidas hemos tomado para[br]aumentar la deseabilidad de ese producto.

0:20:38.085,0:20:42.245
Ahora mismo muchísima gente[br]estamos implicados en crear la innovación

0:20:42.245,0:20:46.488
responsable del futuro,[br]que creo que es muy necesaria.

0:20:47.085,0:20:51.344
Y no obstante, se siguen oyendo voces[br]que dicen constantemente

0:20:51.344,0:20:57.375
que la prevención, ética y regulación[br]van en contra de la innovación,

0:20:57.375,0:21:00.495
que no podemos poner límites[br]a la capacidad creadora

0:21:00.495,0:21:03.475
de los hombres ingenieros[br]y sus grandes ideas.

0:21:04.795,0:21:06.545
Pues lo siento pero no es así.

0:21:06.545,0:21:09.155
Como humanidad,[br]llevamos toda nuestra historia

0:21:09.155,0:21:11.252
domesticando a la tecnología.

0:21:11.512,0:21:14.765
¿Un coche necesita un cinturón[br]de seguridad para circular?

0:21:15.505,0:21:16.240
No.

0:21:17.230,0:21:19.640
¿Un coche necesita un límite de velocidad?

0:21:19.940,0:21:20.660
No.

0:21:20.660,0:21:24.466
Los coches podrían ir muchísimo más rápido[br]de lo que van por nuestras calles.

0:21:25.266,0:21:28.505
¿Un coche necesita pasos de cebra,[br]semáforos,

0:21:28.505,0:21:30.518
control de emisiones contaminantes?

0:21:30.518,0:21:31.260
No.

0:21:31.540,0:21:35.750
Todas estas cosas se las hemos añadido[br]las sociedad humana,

0:21:35.750,0:21:39.375
para asegurar que lo que es[br]una innovación tecnológica deseable,

0:21:39.375,0:21:43.515
que es un motor, algo que nos lleve[br]de A a B de forma más rápida,

0:21:43.515,0:21:46.730
sea también deseable[br]desde la perspectiva social.

0:21:47.255,0:21:50.091
Hemos limitado las posibilidades[br]de los coches,

0:21:50.091,0:21:53.275
porque hemos entendido[br]que queremos ir más rápido de A a B,

0:21:53.275,0:21:57.710
pero no queremos que muera [br]tanta gente en ese proceso.

0:21:58.150,0:21:59.472
Eso lo hemos hecho siempre.

0:21:59.472,0:22:02.100
Siempre hemos limitado[br]las capacidades de la tecnología,

0:22:02.100,0:22:04.907
porque la tecnología[br]solo tiene sentido si mejora,

0:22:04.907,0:22:08.215
si aborda las problemáticas sociales.

0:22:08.505,0:22:10.265
Y que desde la ingeniería informática

0:22:10.265,0:22:15.044
se hayan olvidado tantas veces esa lógica[br]es claramente preocupante.

0:22:16.794,0:22:18.695
Al final lo que hemos hecho con el coche

0:22:18.695,0:22:20.765
es tener debates[br]a lo largo de mucho tiempo,

0:22:20.765,0:22:25.545
el primero no tenía cinturón de seguridad,[br]ni había semáforos, ni pasos de cebra.

0:22:25.545,0:22:29.749
Pero durante mucho tiempo[br]creamos esos marcos, como sociedad,

0:22:29.749,0:22:33.755
esos consensos sociales que nos llevan[br]a poder utilizar hoy los vehículos

0:22:33.755,0:22:35.235
de forma normalizada.

0:22:35.555,0:22:38.835
Estos son los debates y consensos sociales[br]que deben emerger alrededor

0:22:38.835,0:22:41.025
de cualquier nueva tecnología.

0:22:41.025,0:22:43.450
Debemos dilucidar cuando aparece[br]un nuevo algoritmo,

0:22:43.450,0:22:46.017
una nueva innovación tecnológica,[br]un nuevo invento,

0:22:46.017,0:22:48.410
debemos decidir entre todos[br]cuáles van a ser

0:22:48.410,0:22:51.236
los cinturones de seguridad,[br]los límites de velocidad,

0:22:51.236,0:22:54.816
los límites de emisiones,[br]los pasos de cebra y los semáforos

0:22:54.816,0:22:56.791
de esa nueva innovación.

0:22:56.791,0:22:58.926
A eso se dedica la ética de la tecnología.

0:22:58.926,0:23:02.736
Primero a fomentar esos debates,[br]para que entre todos decidamos

0:23:02.736,0:23:07.267
si es mejor un control humano,[br]o uno mecánico para cruzar una frontera,

0:23:07.646,0:23:10.266
para tomar entre todos[br]responsabilidad de las decisiones

0:23:10.266,0:23:14.239
que tomamos en relación con la tecnología,[br]y a partir de esa deseabilidad

0:23:14.239,0:23:17.942
lo que vemos es cómo construir[br]valores fundamentales, cohesión social,

0:23:17.942,0:23:23.240
confianza, no discriminación, derechos[br]humanos en las especificaciones técnicas.

0:23:23.240,0:23:25.635
Porque no es solo un tema de dar discursos

0:23:25.635,0:23:28.900
Hay formas a través[br]de las especificaciones técnicas

0:23:28.900,0:23:31.578
para hacer que las tecnologías[br]respondan mucho mejor

0:23:31.578,0:23:35.061
a las expectativas y deseos de la sociedad

0:23:35.061,0:23:39.486
De la misma forma que hemos podido[br]construir coches que maten menos,

0:23:39.486,0:23:42.929
podemos construir tecnologías[br]que no solo sean menos lesivas

0:23:42.929,0:23:47.466
sino que contribuyan de forma definitiva[br]a mejorar el futuro de nuestras sociedades

0:23:47.926,0:23:50.840
En definitiva, de lo que se trata[br]la ética de la tecnología

0:23:50.840,0:23:53.992
es de poner a las personas[br]en el centro del desarrollo tecnológico,

0:23:53.992,0:23:56.334
y poner la tecnología[br]al servicio de las personas.

0:23:56.334,0:24:01.234
Y no como estamos ahora muchísimas veces,[br]las personas al servicio de la tecnologías

0:24:01.542,0:24:02.492
Gracias.

0:24:02.492,0:24:05.242
(Aplausos)