¿Qué hemos aprendido de 5 millones de libros?

¿Has jugado con el visor de n-gramas de Google Labs? Es una herramienta adictiva que te permite buscar palabras e ideas en una base de datos de 5 millones de libros a través de los siglos. Erez Lieberman Aiden y Michel Jean-Baptiste nos muestran cómo funciona y algunas de las cosas sorprendentes que podemos aprender partiendo de 500.000 millones de palabras.

Erez Lieberman Aiden: Todo el mundo sabe

que una imagen vale más que mil palabras.

Pero en Harvard

nos preguntábamos si realmente es verdad.

(Risas)

Así que reunimos a un equipo de expertos

de Harvard, del MIT

de "The American Heritage Dictionary", de la Enciclopedia Británica

e incluso de nuestros patrocinadores:

Google.

Y meditamos sobre esto

durante unos 4 años

hasta llegar a una conclusión sorprendente.

Damas y caballeros: una imagen no vale más que mil palabras.

De hecho, hallamos que algunas imágenes

valen 500.000 millones de palabras.

Jean-Baptiste Michel: ¿Cómo llegamos a esta conclusión?

Erez y yo estábamos pensando formas

de ver el panorama general de la cultura humana

y de la historia humana: su cambio en el tiempo.

Se han escrito muchos libros en los últimos años.

Así que estábamos pensando que la mejor forma de aprender de ellos

es leyendo estos millones de libros.

Por supuesto, si existe una escala de lo impresionante,

ese tiene que estar posicionado muy, muy arriba.

Pero el problema es que hay un eje X

que es el eje de lo práctico.

Este está muy, muy abajo.

(Aplausos)

Ahora bien, la gente suele usar un enfoque alternativo:

tener pocas fuentes y leerlas con mucho cuidado.

Esto es muy práctico pero no tan impresionante.

Lo que realmente queremos

es llegar a lo impresionante y práctico.

Y resulta que había una empresa del otro lado del río llamada Google

que hace unos años había comenzado un proyecto de digitalización

que podría permitir este enfoque.

Ellos han digitalizado millones de libros.

Eso significa que uno podría usar métodos computacionales

para leer todos los libros con el clic de un botón.

Eso es muy práctico y sumamente impresionante.

ELA: Ahora les voy a contar un poco de dónde vienen los libros.

Desde la noche de los tiempos existen autores.

Estos autores se han esforzado por escribir libros.

Y eso se volvió considerablemente más fácil

con el desarrollo de la imprenta hace algunos siglos.

Desde entonces, los autores han tenido

129 millones de ocasiones

para publicar libros.

Y si esos libros no se perdieron en la historia

entonces están en alguna biblioteca

y muchos de esos libros han sido recuperados de las bibliotecas

y digitalizados por Google

que ha escaneado 15 millones de libros hasta la fecha.

Pero cuando Google digitaliza un libro lo pone en un formato muy bueno.

Ahora tenemos los datos y tenemos metadatos.

Tenemos información sobre cosas como el lugar de publicación

el autor, fecha de publicación.

Y recorremos todos esos registros,

excluyendo todo lo que no tenga la más alta calidad.

Lo que nos queda

es una colección de 5 millones de libros

500.000 millones de palabras,

una cadena de caracteres mil veces más larga

que el genoma humano;

un texto que, de escribirlo,

se extendería desde aquí hasta la luna ida y vuelta

10 veces más...

un verdadero fragmento de nuestro genoma cultural.

Por supuesto lo que hicimos

frente a tal extravagante hipérbole...

(Risas)

fue hacer lo que cualquier investigador que se respete

habría hecho.

Tomamos una página de XKDC,

y dijimos: "Háganse a un lado.

Vamos a intentar con la ciencia".

(Risas)

JM: Ahora, por supuesto, estábamos pensando:

primero pongamos los datos allí

para que la gente haga ciencia con eso.

Ahora estamos pensando: ¿qué datos podemos liberar?

Por supuesto, uno quiere tomar los libros

y liberar el texto completo de estos 5 millones de libros.

Pero Google, y Jon Orwant en particular,

nos explicaron una pequeña ecuación:

5 millones de autores

y 5 millones de demandantes, genera demandas masivas.

Por eso aunque sea muy, muy impresionante

de nuevo, es completamente impráctico.

(Risas)

Pero, de nuevo, cedimos

y adoptamos un enfoque muy práctico, un poco menos impresionante.

Dijimos: bueno, en vez de liberar todo el texto

vamos a liberar estadísticas sobre los libros.

Tomemos, por ejemplo, "un destello de felicidad".

Tiene 4 palabras; lo denominamos cuatro-grama.

Les vamos a contar cuántas veces aparece un cuatro-grama particular

en libros en 1801, 1802, 1803,

en cada año hasta 2008.

Eso nos da series temporales

de la frecuencia con que esta oración particular se usó en el tiempo.

Hacemos eso para todas las palabras y frases que aparecen en esos libros

y eso nos da una gran tabla de 2.000 millones de líneas

que nos cuentan formas en las que fue cambiando la cultura.

ELA: Esos dos millones de líneas

se denominan 2 millones de n-gramas.

¿Qué nos dicen?

Los n-gramas individuales miden las tendencias culturales.

Les daré un ejemplo.

Supongamos que soy muy próspero

y mañana quiero contarles lo bien que me fue.

Podría decir: "Ayer prosperé".

En inglés, prosperé ¿es 'throve' o 'thrived'?

¿Cuál debería usar?

¿Cómo saberlo?

Desde hace unos 6 meses

la vanguardia en este campo

dice que, por ejemplo,

uno tiene que ir a ese psicólogo de pelo fabuloso

y decirle:

"Steve, eres experto en verbos irregulares.

¿Qué debería hacer?"

Y él dirá: "Bueno la mayoría de la gente dice 'thrive'

pero alguna gente dice 'throve'".

Y también sabían, más o menos,

que si retrocedieran en el tiempo 200 años

y le preguntaran a este estadista de pelo fabuloso,

(Risas)

"Tom, ¿cómo debería decir?"

Diría: "Bueno, en mis tiempos era 'throve'

pero había 'thrived'".

Por eso ahora voy a mostrar los datos en crudo.

Dos filas de esta tabla de 2.000 millones de entradas.

Lo que están viendo es la frecuencia año por año

de 'thrived' y 'throve' en el tiempo.

Estas son sólo 2

de 2.000 millones de filas.

Así que el set de datos entero

es mil millones de veces más impresionante que esta diapositiva.

(Risas)

(Aplausos)

JM: Ahora bien, hay muchas otras imágenes que valen 500.000 millones de palabras.

Por ejemplo, ésta.

Si uno toma el caso de la gripe,

verá picos en el tiempo en el que se sabía

de la muerte por grandes epidemias de gripe en todo el mundo.

ELA: Si todavía no están convencidos,

los niveles del mar están subiendo,

y también el CO2 en la atmósfera y la temperatura del planeta.

JM: Puede ser que también deseen echar un vistazo a estos n-gramas,

para decirle a Nietzsche que Dios no está muerto,

aunque, estamos de acuerdo, necesitaría un mejor publicista.

(Risas)

ELA: Con este tipo de cosas se puede llegar a conceptos bastante abstractos.

Por ejemplo, tenemos la historia

del año 1950.

En general para la gran mayoría de la historia

a nadie le importa un comino 1950.

En 1700, en 1800, en 1900,

a nadie le importa.

Entre los años 30 y 40

a nadie le importa.

De repente, a mediados de los 40,

empezó a desatarse un rumor.

La gente se dio cuenta que venía 1950

y quizá era algo genial.

(Risas)

Pero nada cautivó el interés de la gente en 1950

tanto como el año 1950.

(Risas)

La gente iba por ahí obsesionada.

No podía parar de pensar

en todo lo que hicieron en 1950

todas las cosas que planeaban hacer en 1950

todos los sueños que querían cumplir en 1950.

De hecho, 1950 fue tan fascinante

que en los años sucesivos

la gente siguió hablando de las cosas sorprendentes que sucedieron

en el 51, 52, 53.

Finalmente, en 1954,

alguien despertó y se dio cuenta

que 1950 ya estaba un poco pasado de moda.

(Risas)

Y, así porque sí, estalló la burbuja.

(Risas)

Y la historia de 1950

es la historia de cada año que tenemos registrado

con un pequeño giro, porque ahora contamos con estos lindos gráficos.

Y, porque los tenemos, podemos medir cosas.

Podemos decir: "Bueno, ¿a qué velocidad estalla la burbuja?"

Y resulta que podemos medir con mucha precisión.

Se derivaron ecuaciones, se hicieron gráficos,

y el resultado neto

es que hallamos que la burbuja estalla cada vez más rápidamente

con cada año que pasa.

Estamos perdiendo interés por el pasado más rápidamente.

JM: Ahora un pequeño consejo de carrera.

Para los que buscan ser famosos

podemos aprender de los 25 personajes políticos más famosos:

autores, actores, etc.

Si quieren llegar a ser famosos desde temprano, deberían ser actores

porque empiezan a tener fama al final de los ventipico...

todavía son jóvenes, es genial.

Ahora, si pueden esperar un poquito, deberían ser autores

porque entonces alcanzarían grandes alturas

como Mark Twain, por ejemplo, que es sumamente famoso.

Pero si quieren llegar realmente a la cima

deberían demorar la gratificación

y, claro, ser políticos.

En este caso se harán famosos al final de los 50 y tantos

y se volverán muy, muy famosos en lo sucesivo.

Los científicos suelen hacerse famosos cuando son mucho mayores.

Por ejemplo, los biólogos y los físicos

suelen ser casi tan famosos como los actores.

Un error que no deben cometer es ser matemáticos.

(Risas)

Si lo hacen

podrían pensar: "Oh, genial. Voy a hacer mi mejor trabajo a los ventipico".

Pero adivinen qué; a nadie le importará.

(Risas)

ELA: Hay notas más preocupantes

entre los n-gramas.

Por ejemplo, esta es la trayectoria de Marc Chagall,

un artista nacido en 1887.

Parece la trayectoria normal de un famoso.

Se hace cada vez más y más famoso

salvo que miremos en alemán.

Si miramos en alemán vamos a notar algo muy extraño,

algo casi nunca visto

y es que se vuelve sumamente famoso

y de repente se desploma

cayendo al punto más bajo entre 1933 y 1945,

y después se recupera.

Por supuesto, lo que vemos

es que, de hecho, Marc Chagall era un artista judío

en la Alemania nazi.

Estas señales

son tan fuertes, en realidad,

que no hace falta saber que alguien fue censurado.

Podemos averiguarlo

mediante procesamiento básico de señales.

Esta es una manera simple de hacerlo.

Una expectativa razonable

es que la fama de alguien en un período dado de tiempo

debería ser aproximadamente el promedio de su fama antes

y su fama después de eso.

Es más o menos lo que esperamos.

Comparamos eso con la fama que observamos

y dividimos una por otra

para producir algo que llamamos «índice de represión».

Si el índice de represión es muy, muy, muy pequeño

podrían estar reprimiéndote.

Si es muy grande, quizá uno se está beneficiando de la propaganda.

JM: Ahora bien, podemos mirar

la distribución de los índices de represión en poblaciones enteras.

Así, por ejemplo, aquí...

este índice de represión es para 5.000 personas

calculado sobre libros de inglés, donde no hay represión conocida,

sería algo así, bastante centrado en el uno.

Lo que uno espera es básicamente lo que observa.

Esta es la distribución como se ve en Alemania...

muy diferente, está desplazada a la izquierda.

Se habla de la gente 2 veces menos de lo que se debería.

Pero aún más importante, la distribución es mucho más amplia.

Hay muchas personas que terminan en el extremo izquierdo de esta distribución;

gente de la que se habla unas 10 veces menos de lo que se debería.

Pero también mucha gente en el extremo derecho

que parece beneficiarse de la propaganda.

Esta imagen muestra el sello de la censura en el libro registrado.

ELA: «Culturomía»,

así denominamos al método.

Es una especie de genómica,

salvo que la genómica hace foco en la biología

mediante la ventana de la secuencia de bases del genoma humano.

La «culturomía» es similar.

Es la aplicación del análisis de grandes volúmenes de datos

al estudio de la cultura humana.

Aquí, en vez de mirar bajo la lente del genoma,

lo hacemos mediante la digitalización de registros históricos.

Lo genial de la «culturomía»

es que todos podemos practicarla.

¿Por qué podemos todos?

Todo el mundo puede hacerlo porque tres muchachos

Jon Orwant, Matt Gray y Will Brockman en Google,

vieron el prototipo del visor de n-gramas

y dijeron: "Es algo muy divertido.

Tenemos que dejarlo disponible para la gente".

Así que en dos semanas -dos semanas antes de que salga nuestro artículo-

programaron una versión del visor de n-gramas para el público en general.

De ese modo, Uds también pueden escribir la palabra o frase que les interese

y ver su n-grama de inmediato;

también explorar ejemplos de los distintos libros

en los que aparece el n-grama.

JM: El primer día lo usaron más de un millón de veces

y esta es realmente la mejor de todas las consultas.

La gente quiere dar lo mejor de sí, en inglés se dice 'best'.

Pero resulta que en el siglo XVIII esto no importaba para nada.

En inglés, no decían "dar lo mejor de sí" usando 'best' sino 'beft'.

Por supuesto, se debe a un error.

No es que se esforzaran en ser mediocres,

sino que la S se solía escribir como una F.

Pero claro, Google no advirtió esto en ese momento

por eso lo informamos en el artículo científico que escribimos.

Pero resulta que esto nos recuerda

que, aunque es muy divertido,

al interpretar estos gráficos hay que tener mucho cuidado

y adoptar las normas básicas de la ciencia.

ELA: La gente ha estado usando esto para todo tipo de cosas.

(Risas)

En realidad no vamos a hablar

sino a mostrarles diapositivas y quedarnos en silencio.

Esta persona estaba interesada en la historia de la frustración.

Hay varios tipos de frustración.

Si nos damos con el pie en algo, es con 1A: "Ay".

Si la Tierra es aniquilada por la Vogons

para hacer espacio para una autopista interestelar

eso es con 8A: "Aaaaaaaay".

Esta persona estudia todos los "Ay"

que tienen de 1 a 8 aes.

Y resulta que

los "ay" menos frecuentes

son, por supuesto, los correspondientes a las cosas más frustrantes

salvo, curiosamente, en los años 80.

Pensamos que podría tener algo que ver con Reagan.

(Risas)

JM: Hay muchos usos para estos datos

pero la conclusión es que el registro histórico se está digitalizando.

Google ha empezado a digitalizar 15 millones de libros.

Eso representa el 12% de todos los libros publicados en la historia.

Es un fragmento considerable de la cultura humana.

La cultura tiene más cosas: hay manuscritos, hay periódicos,

hay cosas que no tienen texto, como el arte y las pinturas.

Todo está en nuestras computadoras,

en las computadores del mundo.

Y cuando eso suceda va a transformar nuestra manera

de entender nuestro pasado, nuestro presente y la cultura humana.

Muchas gracias.

(Aplausos)