♪ (música) ♪
Estrategias empíricas en Economía:
Iluminando el camino de la causa al efecto
[Joshua] Mientras calmaba
mi nervioso iPhone
temprano el 11 de octubre,
mis pensamientos se dirigieron hacia
la pregunta de si el reconocimiento
a nivel del Nobel podía cambiar
la vida de la familia Angrist.
Nuestra familia es muy unida;
no nos hace falta nada.
Entonces, me preocupó
que la estresante celebridad del Nobel
no fuera positiva.
Pero después de la primer taza de café,
comencé a relajarme.
Se me ocurrió
que el tema sobre cómo
el reconocimiento público
afecta la vida de un estudioso
es, después de todo,
una simple pregunta causal.
La intervención del Nobel
es sustancial, repentina y bien medida.
Resultados como los de la salud
y la riqueza son fáciles de registrar.
Cuando me dieron el reconocimiento
junto a mis colegas laureados,
Guido Imbens y David Card,
por contestar preguntas causales
usando datos observacionales,
mis pensamientos migraron
de la agitación personal
a las demandas más familiares
en cuanto a la identificación
y estimación de efectos causales.
Pude calmar mi mente preocupada,
imaginando un estudio sobre el efecto
del tratamiento del Premio Nobel.
¿Cómo se organizaría dicho estudio?
En un ensayo de 1999 publicado
en el "Manual de Economía Laboral",
Alan Krueger y yo adoptamos
la frase "estrategia empírica".
El volumen del manual
en cuestión fue editado
por dos de mis tutores de tesis
de doctorado de Princeton:
Orley Ashenfelter y David Card,
unos de los más exitosos y prolíficos
tutores de graduados
que ha habido en Economía.
Una estrategia empírica
es un plan de investigación
que incluye la recolección de datos,
identificación
y estimación econométrica.
La identificación es el término
que los enométricos aplican
al diseño de la investigación,
un ensayo clínico aleatorizado,
un ECA, es el más simple
y más poderoso diseño de investigación.
En los ECA,
los efectos causales se identifican
asignando aleatoriamente el tratamiento.
La asignación aleatoria asegura
que los grupos de tratamiento y de control
sean comparables
en la ausencia de tratamiento.
Para que las diferencias entre ellos
reflejen posteriormente solo
el efecto del tratamiento.
Probablemente, los Premios Nobel
no se asignen aleatoriamente.
A pesar de este desafío, se me ocurre
una estrategía empírica convincente
para el efecto del tratamiento del Nobel
al menos como
una idea empírica imaginativa
pero no realista.
Imagina un grupo de candidatos
elegibles para el premio Nobel,
el grupo bajo consideración
para el premio.
Los candidatos
no necesitan postularse a sí mismos.
Me imagino,
que algún colega los nomina.
Mi estudio fantástico de impacto del Nobel
solo analiza los candidatos al Nobel,
ya que son estudiosos de élite.
Pero ese solo el primer paso.
Los candidatos con credibilidad
son evaluados por jueces
usando criterios como publicaciones,
citas, declaraciones a favor
del nombramiento del candidato.
Me imagino que este material se revisa
y se le asigna una calificación numérica
usando algún tipo
de rúbrica de calificación.
Las tres calificaciones más altas
según el campo en un año
ganan el premio.
Teniendo idetificados a los candidatos
y sus datos en sus calificaciones,
el siguiente paso
en mi estudio de impacto del Nobel
es registrar los puntos
de corte relevantes.
El punto de corte del Nobel
es la calificación más baja
de aquellos a quienes
se les otorgó el premio.
Muchos de los que esperaban
el Nobel no alcanzaron el corte.
Tomando en cuenta solo a los que por poco
lo logran junto con los ganadores,
las diferencias en las calificaciones
entres los de arriba y debajo del corte
comienzan a verse por casualidad,
más o menos asignados aleatoriamente.
Después de todo,
los que están cerca del Nobel son
los estudiosos más eminentes, también.
Con una publicación de más alto impacto,
un poco más de apoyo
por parte de los nominadores,
pudieron haber obtenido
el premio Nobel.
Algunos de ellos seguramente
lo harán algún día.
La estrategia empírica
delineada aquí se llama
Diseño de regresión discontinua,
RD.
RD explota los saltos
en los problemas humanos
inducidos por reglas, regulaciones
y la necesidad de clasificar personas
para varios propósitos de asignación.
Cuando se determina
el tratamiento o la intervención
a través de una variable de empate
que cruza o no un umbral,
aquellos justo por debajo del umbral se
convierten en un grupo de control natural
para aquellos que lo pasan.
El RD no requiere que la variable
cuyas causas buscamos
se ajust o no por completo
al valor de corte,
únicamente requiere
que el valor promedio de esta variable
brinque hasta el punto de corte.
La RD premite, por ejemplo,
que el más cercano
al premio Nobel de este año
pueda ser el ganador del próximo año.
Permitir esto conlleva al uso de saltos
en la tasa asignada al tratamiento
para construir
variables instrumentales, VI,
estimaciones del efecto
del tratamiento recibido.
Se dice que este tipo de RD es difuso,
pero como Steve Pischke y yo
escribimos en nuestro primer libro:
"La RD difusa es VI".
(risa de niños)
El primer estudio RD
al que contribuí fue escrito
con mi habitual colaborador Victor Lavy.
Este estudio está motivado
por los altos costos
y los retornos inciertos
de la clase de las pequeñas escuelas
de educación primaria.
Usamos una regla utilizada por
las escuelas de primaria israelíes
para determinar el tamaño de la clase.
Esta regla se usa para estimar los efectos
del tamaño poblacional de la clase
como se hace en ECA.
En los años 90, la población
de las clases israelíes era grande.
Los estudiates inscritos
en un grado cohorte de 40
era probable que los colocaran
en un aula de 40,
ese es el punto de corte relevante.
Al agregar otro niño
a la cohorte, para llegar a 41,
era probable
que dividieran la cohorte
en dos clases mucho más pequeñas.
Esto conlleva a la regla del diseño
de investigación de Maimónides
nombrada así porque Ramban en el siglo XII
propuso un máximo
de tamaño de la clase de 40.
En esta figura se trazan los tamaños
de las clases de cuarto grado israelíes
en función del número
de inscritod del cuarto grado
superpuesto con la regla
del tamaño de clase teórica,
la regla de Maimónides.
El ajuste no es perfecto,
esa es una característica
que hace difusa esta aplicación de la RD,
pero la esencia de esto es la reducción
marcada del tamaño de la clase
en cada múltiplo entero de cuarenta,
el punto de corte relevante,
tal y como lo predice la regla.
Como resultado,
estas reducciones en el tamaño de clase
se reflejan en los saltos
de las calificaciones de matemáticas
del cuarto y quinto grado.
¡Examen!
¿La comparación entre los ganadores
del Nobel y los que casi lo ganan
sería en realidad
un buen experimento natural?
La lógica detrá de este tipo de afirmación
parece más sólida si se comparan escuelas
de 40 y 41 estudiantes del cuarto grado
que para comparar
los que ganan y los que por poco ganan.
Aún así, ambos escenarios utilizan
una característica del mundo físico.
Siempre que la variable
que rompe el empate,
conocida en RD como variable continua,
tiene una distribución continua,
la probabilidad de cruzar
el valor de corte se aproxima a la mitad
cuando se examina en un estrecho segmento
alrededor del corte.
En trabajo empíricos de RD
el segmento alrededor de los cortes,
se conoce como ancho de banda.
Es importante decir
que la probabilidad límite es de 0.5 para todos
sin importar qué tan calificados estén
al entrar en el concurso del Nobel.
Este hecho importante puede verse
en los datos de los candidatos
de una de las más codiciadas escuelas
de Nueva York. que filtra por test
Como antecedente
un 40 % de las escuelas
secundarias y bachillerato de Nueva York
selecciona a sus candidatos basándose
en resultados de examenes, grados
y otros criterios exactos.
En otras palabras
el régimen de admisiones
en escuelas que filtran estudiantes
es muy parecido al esquema que imaginé
para el premio Nobel.
Estas escuelas
no son más que un número
de sistemas altamente selectivos
dentro de un sistema
en los distritos escolares grandes
de Estados Unidos.
Boston, Chicago, San Francisco
y Washington D.C.
todos tienen instituciones
altamente selectivas
conocidas como escuelas de examen.
Las escuelas de examen operan
como parte de sistemas
de escuelas públicas más grandes
que inscriben a los estudiantes
sin detectar sus capacidades.
Motivados por una larga controversia
que hay sobre la equidad
de las admisiones por filtro
mis colaboradores
de laboratorio de proyecto y yo
examinamos los efectos causales
de la asistencia a la escuela de examen
en Boston, Chicago, y Nueva York.
Esta figura muestra la probabilidad
de que se le ofrezca un cupo
en la preparatoria de Nueva York
Townsend Harris
calificada como la doceava
a nivel nacional.
La altura de las barras en la figura
representa la tasa de calificación;
o sea, la probabilidad de que la nota
de admisión a Townsend Harris esté
por encima de la del candidato
al cupo con la nota más baja.
La barras muestran la tasa
de calificación condicional
en una medida de los logros
de la pre-aplicación de referencia.
En particular, las barras muestran
las tasas condicionales de calificación
con relación a si el candidato está
en el cuartil superior
o inferior de sus notas
de matemáticas de sexto grado
Los candidatos de Townsend Harris
con calificaciones estándars altas
tienen más probabilidad a calificar
que los que tienen notas estándars bajas.
Esto no debe sorprender,
pero en un ancho de banda
simétrico reducido
alrededor del valor
de corte de la escuela,
las tasas de calificaciones
en los dos grupos convergen.
Las tasas de calificación en los últimos
y los grupos más pequeños
son notablemente cercanas a la mitad.
Esto es lo que esperaríamos ver
[cuando] Townsend Harris
acepta estudiantes
lanzando una moneda al aire,
en vez de seleccionar
a los altamente calificados
en el examen de admisión escolar.
Aún cuando las admisiones operan
con métodos de pruebas,
los datos pueden ser arreglados
para imitar un ECA.
La ilusión de la élite
Algunas de las preguntas
que he estudiado son más controversiales
que la pregunta para el acceso
a las escuelas públicas de examen
como la inscripción selectiva
de las preparatorias
Boston Latin School,
Payton y Northside de Chicago
y las legendarias escuelas
de Nueva York: Brooklyn Tech,
Bronx Science
y Stuyvesant,
preparatorias especializadas
que entre todas han graduado
a catorce galardonados con el Nobel.
Townsen Harris, la escuela
con la que empezamos hoy,
ha graduado a tres premios Nobel,
incluyendo al economista Ken Arrow.
Los defensores
de las escualas de examen
ven las oportunidades
que estas escuelas aportan
para democratizar la educación pública.
Ellos sostienen
que las familias ricas pueden acceder
al plan de estudio de las escuelas
de examen en el sector privado.
¿No deberían los estudiantes
de bajos ingresos
tener al alcance la misma oportunidad
para aspirar a una eduación de elite?
Los críticos de escuelas
de inscripción selectiva sostienen
que, más que expandir la equidad,
las escuelas de examen
están sesgados intrínsecamente
en contra de los estudiantes
de raza negra e hispánica que forman
el grueso de los distritos urbanos
de Estados Unidos.
La escuela superselectiva de Stuyvesant
de Nueva York, por ejemplo
inscribió a tan solo siete estudiantes
negros en el 2019
de un total de 895 [nuevos inscritos],
pero ¿realmente vale la pena pelear
por los cupos de la escuela de examen?
Mis colaboradores y yo,
hemos usado repetidamente
las estrategias empíricas de RD
para estudiar los efectos causales
de la asistencia a las escuelas de examen
como Townsend Harris y Boston Latin.
Nuestro primer estudio de escula de examen,
el cual examina las escuelas
de Boston y Nueva York,
resume estos hallazgos en su título,
"La ilusión de la élite".
La ilusión de la élite se refiere al hecho
de que, aún que los estudiantes
de la escola de examen sin duda tienen
notas altas en las pruebas
y otros buenos resultados,
esto no es un efecto causal
de la asistencia a la escuela de examen.
Nuestras estimaciones
consistentemente sugieren
que los efectos causales
de asistir a una escula de examen
en el aprendizaje de sus estudiantes
e ir al colegio son cero,
[pueden ser incluso] negativos.
El buen desempeño
de los estudiantes de la escuela de examen
refleja un sezgo de selección;
o sea, el proceso por el que
esos estudiantes son escogidos,
más que por efectos causales.
Los datos del gran sector
de la escuela de examen de Chicago
ilustran la ilusión de la élite.
En esta figura se representa gráficamente
la media del logro entre iguales;
o sea, las notas del examen del
sexto grado de mis compañeros
de noveno grado,
contra el desempate de admisiones
para un subconjunto de candidatos
a cualquiera de las nueve escuelas
de examen de Chicago.
Los candidatos a estas escuelas
están clasificados hasta la posición seis,
mientras que las escuelas de examen
dan prioridad a sus candidatos
usando un índice de composición común
formado con base a un examen de admisión,
los GPA y las notas estándarizadas
del séptimo grado.
Este desempate compuesto
es la variable candidata
para un diseño RD
que revela lo que pasa
cuando se le ofrece un cupo
de una escuela de examen a un candidato.
En la contienda
de la escuela de examen de Chicago,
que en realidad es una aplicación
del célebre algoritmo
de coincidencia de Gale y Shapley,
los candidatos a las escuelas de examen
están seguros de que se les ofrecerá
un cupo cuando sobrepasen al más bajo
en sus grupos de valores de corte
de entre las escuelas de su rango.
A este mínimo corte lo llamamos:
"punto de corte de eliminación".
Esta figura muestra el abrupto salto
entre el logro de la media de los [iguales]
para los candidatos a la escuela
de examen de Chicago
que sobrepasen sus puntos
de corte de eliminación.
Este salto refleja
el hecho de que la mayoría
de los candidatos a los que se le ofreció
un cupo en la escuela de examen lo toman
y los candidatos que se inscriben
en una de las preparatorias
de inscripción selectivas de Chicago
están seguros de tener un cupo
en un aula de noveno grado
llena de otros compañeros precoces
porque solo los relativeamente precoces
lo lograrán.
El incremento en el logro entre iguales
en la nota de corte
equivale casi
a la mitad de la desviación estándar --
un efecto muy grande.
Y aún así, los iguales sobresalientes,
a pesar de tener
la oferta de un lugar
en el examen escolar
no parece impactar en su aprendizaje.
Grafiquemos las notas de los candidatos
ECA contra sus valores de desempate.
Esta gráfica muestra que los candidatos
del examen escolar
que pasan de la nota de corte
se desempeñan muy mal en el ECA.
¿Cuál es la explicación de esto?
Hay que comentar sobre VI
y RD para desenredar
lo que pasa detrás de este intrigante
e inesperado efecto negativo.
Pero primero,
algo sobre la teoría IV.
Un poco de LATE
Guido Imbens y yo,
desarrollamos herramientas teóricas
para ayudar al entendimiento
de los economistas
en estrategias empíricas
relativas a VI y RD.
El premio que compartimos
es un reconocimiento por este trabajo.
Guido y yo coincidimos
únicamente un año en Harvard
donde ambos obtuvimos nuestros
primeros trabajos de post doctorado.
Le dí la bienvenida a Guido
en Cambridge, Massachusetts
con un par de variables instrumentales
interesantes.
Usé el sorteo
del instrumento de lotería
en mi tesis de doctorado
para estimar las consecuencias
económicas de largo plazo
de servir en las Fuerzas Armadas
de los soldados
con llamado al servicio militar.
El sorteo del instrumento de lotería
se basa en que los números
de la lotería se asignan
aleatoriamente a los cumpleaños
determinados en el riesgo de conscripción
de la era de Vietnam.
Aún así, la mayoría de los soldados
eran voluntarios
tal y como lo es hoy.
El instrumento
del trimestre de nacimiento
se usa en mi artículo
de 1991 con Alan Krueger
para estimar los retornos económicos
escolares.
Este instrumento se basa en el hecho
de que a los hombres nacidos
al principio del año
se les permitía salirse de la preparatoria
en su cumpleaños número dieciséis
con menor tiempo de escuela completada
que los nacidos después.
Guido y yo comenzamos a preguntarnos
¿Qué es lo que realmente aprendemos
del sistema de elegibilidad
y los experimentos naturales
del trimestre de nacimiento?
Uno de los primeros resultados en
nuestra búsqueda para entender VI
fue la solución al problema
de sezgo de selección
en un ECA con cumplimiento parcial.
Incluso en un ensayo clínico aleatorizado
mucha de la gente asignada
al tratamiento podría querer salirse.
Este hecho siempre ha dejado
perplejos a los ensayistas
porque las decisiones para renunciar
no se hacen aleatoriamente.
Nuestro primer manuscrito juntos
muestra que en un ensayo aleatorizado
con cumplimiento parcial
se puede usar VI
para estimar el efecto
del tratamiento en los tratados
incluso cuando a algunos
se les ofrece tratamiento
y lo rechazan.
Esto funciona a pesar de que aquellos
que cumplen con el tratamiento
podrían ser un grupo muy selecto.
Desafortunadamente para nosotros,
llegamos tarde a la fiesta.
Poco tiempo después de publicar
nuestro primer escrito
aprendimos sobre la contribución concisa
de Howard Bloom
que incluye este resultado teórico.
Notablemente, Bloom derivó esto
de los primeros principios
sin conectar con VI.
Entonces Guido y yo volvimos al pizarrón.
Y unos meses después,
tuvimos LATE --
un teorema que muestra cómo estimar
el promedio local del efecto tratamiento.
El teorema LATE
generaliza el teorema de Bloom
y establece la conexión entre
el cumplimiento y VI.
Manteniendo la analogía
de los ensayos clínicos
Zi indica si al sujeto i
se le ofrece tratamiento.
Esto se asigna aleatoriamente.
También,D1i indica el estatus
del tratamiento del sujeto i
cuando se le asigne al tratamiento.
y D0i indica el estatus
del tratamiento del sujeto i
cuando se asigne al control.
Usaré esta notación formal
para dar una declaración clara
del resultado de LATE
y luego daremos seguimiento con ejemplos.
Una pieza clave para LATE
fue gracias al estadista Don Rubin
y es el par de resultados potenciales.
Como ya se acostumbra
denoto los resultados potenciales
para el sujeto i
en el estado tratamiento y sin tratamiento
mediante Y1i y Y0i,
respectivamente.
El resultado observado
es Y1i para el tratado
y Y0i para los no tratados.
Y1i menos Y0i
es el efecto causal
del tratamiento en el sujeto i
pero esto nunca lo podemos ver.
Entonces tratamos de estimar
algún tipo de efecto causal promedio.
El marco de LATE nos permite
hacer lo que hace ECA
donde se tratan algunos controles.
El teorema dice
que el efecto causal promedio
sobre la gente
cuyo estado de tratamiento
puede ser cambiado
por la oferta del tratamiento
es la razón de IT, a la diferencia
del control del tratamiento
en tasas de cumplimiento.
Una afirmación matemática
de este resultado aparece aquí
donde la letra griega delta
simboliza el efecto IT
y los símbolos griegos pi1 y pi0
son tasas de cumplimiento
en el grupo asignado al tratamiento
y el grupo asignado al control,
respectivamente.
La versión impresa de esta clase
profundiza en la historia intelectual
de LATE
resaltando las contribuciones clave
hechas con Rubin.
Por ahora, me gustaría hacer concreto
el teorema de LATE para tí
compartiendo una
de mis aplicaciones favoritas de él.
LATE en una escuela autónoma
Explicaré el marco LATE
a través de una pregunta de investigación
que me ha fascinado
casi por dos décadas.
¿Cuál es el efecto causal
en el aprendizaje de la asistencia
a una escuela autónoma?
Las escuelas autónomas
son escuelas públicas
que operan independientemente
de los distritos americanos
de escuelas públicas tradicionales.
La autonomía --el derecho de operar
una escuela pública
generalmente se obtiene
por un tiempo limitado
sujeto a la renovación condicional
por el buen desempeño de una escuela.
Las escuelas autónomas
son libres de estructurar
su currículum y su ambiente escolar.
La diferencia más controversial
entre las escuelas autónomas
y las públicas tradicionales
es el hecho de que los maestros
y el personal
que trabajan en las autónomas
raramente han pertenecido
a sindicatos laborales.
Al contrario, la mayoría de los maestros
de las grandes escuelas públicas
trabajan bajo contratos sindicales.
El documental del 2010
"Esperando a Superman"
muestra las escuelas que pertenecen
al programa de "Conocimiento es poder"
KIPP.
Estas escuelas tienen expectativas
muy altas
algunas veces este enfoque educativo
se le llama "sin excusas".
El modelo "sin excusas"
tiene un día escolar largo
y un año escolar extendido
contratación selectiva de maestros
y se enfoca en habilidades tradicionales
de lectura y matemáticas.
El debate americano
sobre la reforma educativa
a menudo se enfoca
sobre la grieta del desempeño--
que no es más que las grandes diferencias
entre las notas de examen
dadas por raza y grupo étnico.
Por este enfoque
en los estudiantes de las minorías
KIPP, es a menudo central
en este debate
con los que lo apoyan,
diciendo que de hecho
los estudiantes KIPP que no son blancos
tienen mucho mejores notas de examen
que los que no son blancos
de otras escuelas.
Por otro lado,
los escépticos del KIPP
dicen que el éxito aparente de KIPP
refleja el hecho
de que KIPP atrae a familias
cuyos niños de todas maneras
tienen más propensidad a triunfar.
¿Quién tiene la razón?
Como ya habrás podido adivinar
un ensayo aleatorizado podría ser decisivo
en el debate sobre las escuelas
como KIPP.
Como los Premios Nobel
los lugares en KIPP
no se asignan aleatoriamente.
Al menos, no enteramente.
De hecho
las escuelas autónomas de Massachusetts
con más candidatos que lugares
deben ofrecer sus lugares por lotería.
Parece ser un buen experimento natural.
Hace un poco más de una década
mis colaboradores y yo,
recolectamos datos
de loterías de admisiones en KIPP
sentando las bases
de dos estudios pioneros
el primero que usó loterías
para estudiar KIPP.
Nuestro análisis KIPP
es una historia VI clásica
porque muchos estudiantes
que ganaron un lugar en la lotería KIPP
no se presentaron en el otoño
mientras que muchos que no ganaron
lograron entrar.
Esta gráfica muestra notas de matemáticas
de los candidatos de educación media KIPP
un año después de aplicar a KIPP.
Las entradas de arriba de la línea
muestran que los candidatos
a quien se les ofreció lugar
tienen notas en matemáticas estándarizadas
cercanas a cero --
o sea, cerca del promedio estatal.
Como antes, estamos trabajando
con datos de notas estandarizadas
con media de 0
y desviación estándar de 1.
Como los candidatos de KIPP
comienzan con notas de cuarto grado
que están apenas 0.3 desviaciones estándar
debajo de la media estatal
el nivel de desempeño
del promedio estatal es impresionante.
Al contrario, el promedio de las notas
de matemáticas entre los que
no obtuvieron lugar,
es de -0.36 sigma --
o sea, 0.36 desviaciones estándar
por debajo de la media estatal
un resultado típico para los estudiantes
urbanos de Massachusetts.
Como las ofertas de la lotería
se asignan aleatoriamente
podemos decir con confianza
que la oferta para un sitio en KIPP
aumenta las notas en matemáticas
por un promedio de 0.36 sigma --
un efecto muy grande
que también es estadísticamente preciso.
Podemos decir con confianza
que no se trata de suerte.
¿Qué nos dice el efecto
de una oferta de 0.36 sigma
sobre los efectos de entrar en KIPP?
Los métodos VI convierten
los efectos de las ofertas KIPP
en efectos de asistencia a KIPP.
Usaré un video breve
de mi curso corto
de Marginal Revolution University
para revisar brevemente
los supuestos clave
detrás de esta conversión.
- [Narrador] VI describe una
reacción en cadena.
¿Porqué las ofertas afectan el desempeño?
Probablemente porque afectan
la asistencia autónoma
y la asistencia autónoma
mejora las notas en matemáticas.
El primer eslabón de la cadena,
llamado, primera etapa
es el efecto de la lotería
en la asistencia autónoma.
La segunda etapa es el eslabón
entre ir a una autónoma
y una variable resultante --
en este caso,
las calificaciones en matemáticas.
La variable instrumental,
o el instrumento
es la variable que inicia
la reacción en cadena.
El efecto del instrumento en el resultado
se llama forma reducida.
Esta reacción en cadena puede ser
representada matemáticamente.
Multiplicamos la primer etapa--
el efecto de ganar en la asistencia
por la segunda etapa --
el efecto de la asistencia en las notas
y obtenemos la forma reducida --
el efecto de ganar la lotería por notas.
La forma reducida y la primer etapa
son observables y fáciles de calcular.
Pero, el efecto de la asistencia
en el desempeño
no es directamente observable.
Este es el efecto causal
que intentamos determinar.
Dados algunos supuestos importantes
que discutiremos en breve
podemos encontrar el efecto
de la asistencia KIPP
dividiendo la forma reducida
entre la primera etapa.
- [Joshua] VI elimina
el sezgo de selección
pero igual que todas
nuestras herramientas
la solución se construye sobre
una serie de supuestos
que no deben darse por hechos.
Primero, debe haber
un primer nivel sustancial
o sea, una variable instrumental --
ganar o perder la lotería
debe realmente cambiar la variable
en cuyo efecto estamos interesados --
la asistencia a KIPP.
En este caso,
la primera etapa no está en duda.
Ganar la lotería
hace que la asistencia a KIPP
pueda ser mayor.
No todas las historias VI son así.
Segundo, el instrumento debe asimilarse
a una asignación aleatoria
o sea que ganadores y perdedores de la
lotería tengan características similares.
Ese es el supuesto de la independencia.
Por supuesto que los ganadores de la
lotería KIPP son asignados aleatoriamente
Aún así, debemos checar
el balance y confirmar
que los ganadores y los perdedores
tengan un entorno familiar similar,
aptitudes similares, y así.
En esencia, estamos checando para
asegurarnos que la lotería KIPP sea justa
y que no hayan grupos sospechosos
de candidatos que puedan ganar.
Finalmente, necesitamos que los cambios
de resultado del instrumento
sean únicamente a través
de la variables de interés --
en este caso, ir a KIPP.
Este supuesto se llama
restricción de exclusión.
El efecto causal de la admisión de KIPP
puede ser escrito
como la razón del efecto
de las ofertas sobre las notas
en el numerador
sobre el efecto de las ofertas
en la inscripción a KIPP
en el denominador.
El numerador en esta fórmula VI --
o sea, el efecto directo
del instrumento en los resultados
tiene un nombre especial.
Se le llama forma reducida.
El denominador es la primer estapa.
La restricción de exclusión
es a menudo la parte más confusa
o más controversial
de una historia VI.
Aquí la restricción de exclusión
equivale
a que el diferencial de 0.36 en la nota
entre los ganadores y los perdedores
de la lotería,
es enteramente atribuíble
a la diferencia de la pérdida/ganancia
de 0.74 en la tasa de asistencia.
Conectando los números
el efecto de la asistencia de KIPP
es de 0.48 sigma
casi la mitad de la ganancia
de la desviación estándar
ganada en las notas de matemáticas --
ese es un gran efecto.
¿Quién se beneficia
tan espectacularmente de KIPP?
¿Todos los que aplican a KIPP
ganan tanto?
LATE responde a esta pregunta.
La interpretación LATE
de la estrategia empírica KIPP VI
se ilumina
por la historia bíblica de la Pascua
que explica que hay cuatro tipos
de niños
cada uno con conductas características.
Para dar seguimiento a estos niños
y sus conductas
les daré nombres diferentes.
Los candidatos como Álvaro,
mueren por entrar en KIPP.
Si Álvaro pierde la lotería KIPP
su madre encontrará la forma
de meterlo ahí
tal vez volviendo a aplicar.
Los candidatos como Camila
están felices de ir a KIPP
si ganan su lugar en la lotería
pero aceptarán el veredicto,
si es que pierden.
Finalmente,
a los candidatos como Normando
les preocupan los días largos
y las muchas tareas que habrán en KIPP.
Normando realmente no quiere ir
y rechaza el lugar que ganó en la lotería.
A Normando lo llamamos "nunca-lo-toma"
por que gane o pierda,
no quiere ir a KIPP.
En el otro extremo de la cuerda
a Álvaro lo llamaremos "siempre-lo-toma".
Él, felizmente tomará el lugar
cuando se le ofrezca
mientras que su madre simplemente
encuentra alguna forma de lograrlo
aún cuando él pierda.
Para Álvaro y Normando
el escoger escuela, KIPP, tradicional
no tiene que ver con la lotería.
Camila es el tipo de candidato
que da poder al VI.
El instrumento determina
su estatus de tratamiento.
Las estrategias VI dependen
de los candidatos como Camila
llamados "cumplidores".
Este término proviene
de los ensayos aleatorizados
explicados con anterioridad.
Como ya hemos discutido
muchos ensayos aleatorizados, aleatorizan
solo la oportunidad de ser tratados
mientras que la decisión de cumplir
con el tratamiento
permanece voluntaria y no es aleatoria.
Los cumplidores de ECA son aquellos
que optan por el tratamiento
cuando se hace la oferta del tratamiento
pero no al revés.
Con los instrumentos de lotería
LATE es el efecto de la asistencia
a KIPP en Camila
y los otros cumplidores como ella
quienes se inscriben en KIPP,
toman el tratamiento
cuando se les ofrece,
a través de la lotería
pero no viceversa.
Los métodos VI no son informativos
para los que siempre lo toman como Álvaro
y los que nunca lo toman como Normando
porque el instrumento no se relaciona
con su estatus de tratamiento.
¿No dije que había cuatro tipos de niños?
El cuarto tipo de niño en la teoría VI
se comporta perversamente.
¡Siempre hay uno en las familias!
Este niño desafiante se inscribe en KIPP
solo cuando pierde la lotería.
De hecho, el teorema LATE
requiere que asumamos
que hay pocos desafiantes --
este parece ser un supuesto razonable
para los intrumentos de lotería autónomos
y tal vez hasta en la vida.
Al teorema LATE algunas veces se le ve
como una relevancia limitante
de los estimados económicos
porque se enfoca en grupos de cumplidores.
Aún así, la población de cumplidores
es un grupo del que nos gustaría aprender.
En el ejemplo de KIPP
los cumplidores son niños
propensos a ser seleccionados en KIPP
donde la escuela se expande
y ofrece lugares
adicionales en la lotería.
¿Qué tan relevante es esto?
Hace algunos años
Massachusetts permitió que algunas
escuelas autónomas se expandieran.
Un estudio reciente, realizado
por algunos compañeros de laboratorio
muestra que los estimados LATE
como el que acabamos de calcular para KIPP
pronostican ganancias de aprendizaje
en las escuelas creadas
para expansión autónoma.
Cerrando la grieta del desempeño
LATE no solo es un teorema --
es un marco de referencia.
El marco LATE puede ser usado
para estimar la distribución entera
de los resultados potenciales
de los cumplidores
como si hubiéramos tenido un ensayo
aleatorizado para este grupo.
Aunque la teoría detrás de este hecho
es necesariamente técnica
el valor del marco de referencia
se aprecia fácilmente en la práctica.
Para ilustrar esto,
recordemos que el estudio de KIPP
está motivado en parte por las diferencias
en los resultados de las notas por raza.
Veamos la distribución
de los grados de cuarto grado
separados por raza.
para candidatos de Boston
a escuelas autónomas de educación media.
Los dos lados de esta figura
muestran distribuciones para los
cumplidores con y sin tratamiento.
A los cumplidores con tratamiento se les
ofrece un lugar autónomo en la lotería.
Mientras que a los cumplidores
sin tratamiento no se les ofrece nada.
Ya que estas son notas de cuarto grado
mientras que la educación media
empieza en el quinto o sexto grado
ambos lados de la figura son similares.
Ambos lados muestran distribuciones
de notas para los candidatos negros
desplazadas hacia la izquierda
de las distribuciones de notas
de los blancos.
Para el octavo grado
los cumplidores con tratamiento han
terminado la escuela autónoma en Boston
mientras que los cumplidores
sin tratamiento se han quedado
en una escuela pública tradicional.
Notablemente,
esta siguiente gráfica
muestra que las distribuciones
de las notas de octavo grado
de los cumplidores con tratamiento
negros y blancos
no pueden distinguirse.
Las escuelas medias autónomas de Boston
cerraron la grieta del desempeño
Pero para los sin tratamiento
las distribuciones de las notas
de negros y blancos permanecen distintas
con los estudiantes negros
detrás de los blancos
como estaban en cuarto grado
Las autónomas de Boston
cerraron la grieta del desempeño
porque aquellos que entran
en las escuelas autónomas
hasta atrás
tienden a ganar lo más posible
de la inscripción autónoma.
Profundizo en este punto
en la versión escrita de esta plática.
Efectos explicados
de la escuela de examen de Chicago
¿Recuerdas ese acertijo
sobre los efectos negativos
del examen escolar de Chicago?
Terminaré la parte científica
de mi plática usando VI y RD
para explicar este hallazgo sorprendente.
La solución a este acertijo
comienza con el hecho
de que el razonamiento económico
se trata sobre las alternativas
¿Cuál es la alternativa
a la educación de examen escolar?
Para muchos candidatos
a las escuelas de examen de Chicago
la alternativa al examen líder
es la escuela pública tradicional.
Pero muchos de los candidatos rechazados
de las escuelas de examen de Chicago
se enlistan en una escuela autónoma
Las ofertas de exámenes escolares
reducen la posibilidad
de la asistencia a las escuelas autónomas.
Específicamente, las escuelas de examen
dispersan a los candidatos
lejos de las preparatorias
en la red Noble
de las escuelas autónomas.
Noble, con pedagogía,
parecido a KIPP
es uno de los proveedores más visibles
de autónomas de Chicago.
También como KIPP, la evidencia
convincente de la efectividad de Noble
viene de las admisiones de las loterías.
El eje de la X en esta gráfica
muestra los efectos de la oferta
de lotería en los años inscritos en Noble.
Esta es la primera etapa de Noble
para un VI que usa una variable ficticia
indicando las ofertas de lotería de Noble
como instrumento de inscripción
de Noble.
Este gráfico tiene una característica
que lo distingue
de un análisis KIPP más simple.
El gráfico muestras los efectos
del primer nivel
para dos grupos.
Uno para los candidatos de Noble
que viven en las zonas de menos ingresos
en Chicago, el nivel 1
y uno para los candidatos de Noble
que viven en áreas de mayores ingresos
nivel 3.
¿Recuerdas la reacción en cadena de VI?
Cada punto de esta gráfica
tiene coordenadas dadas
por la forma reducida de la primera etapa
y eso implica un estimado VI.
El efecto de la inscripción de Noble
en las notas ECA
es la razón de la coordenada
de la forma reducida
entre la coordenada de la primer etapa.
Este gráfico muestras ambas razones
Los resultados relevantes
para el Nivel 1 son 0.35
mientras que para el Nivel 3,
tenemos 0.33
y no está mal.
Para los candidatos de Noble
de ambos niveles
estas primeras etapas
y los estimados de forma reducida
implican un efecto anual
de inscripción en Noble
de una ganancia de una tercera parte
de la desviación estándar
en las notas de matemáticas de ECA.
Nota que también hay una línea
conectando dos de los estimados VI
en la figura.
Ya que esta línea pasa a través del origen
el cambio en y dividido
por el cambio en x de su pendiente
es igual a los dos estimados de VI --
en este caso,
la pendiente es de 0.34
El hecho de que la línea
pase a través de 0,0
es importante por otra razón.
Con esto, hemos corroborado
la restricción de exclusión.
Específicamente,
la restricción de exclusión
dice que un grupo dado
para el cual las ofertas de Noble no se
relacionan con la inscripción de Noble
podemos esperar ver
un efecto de la forma reducido a cero
de estas ofertas
hechas a los candidatos en ese grupo.
¿Qué tan consistente es la evidencia de
una ganancia de aprendizaje de Noble
del orden de 0.34 sigma por año?
En la siguiente gráfica
agregamos doce punto más
a los dos originales.
Los puntos rojos aquí muestran
la primer etapa y la forma reducida.
Los efectos de la oferta de Noble,
para los doce grupos adicionales
dos niveles más y doce grupos
definidos por las características
demográficas
relacionadas con la raza, sexo,
ingreso familiar
y calificaciones base.
Aunque no se ajusta perfectamente
estos puntos señalan una línea
alrededor de pendiente 0.36 sigma
parecido a línea que vimos antes
para los candidatos de los niveles 1 y 3.
Ahora te preguntarás
qué tienen que ver los estimados
de Noble VI en esta figura
con las inscripciones del examen escolar.
Aquí está la respuesta.
La línea azul en esta nueva gráfica
muestra, como esperábamos
que la exposición al examen escolar
brincara
para candidatos que cumplan
con su nivel de requisitos.
Al mismo tiempo
la línea roja muestra
que la inscripción escolar de Noble
falla en el mismo punto.
Este es el efecto de desviación
de las ofertas del examen escolar
en la inscripción de Noble.
A muchos niños a quienes se les ofrece
un lugar en una escuela de examen
prefieren ese lugar de examen escolar
a inscribirse en Noble.
IV nos da la oportunidad
de ir por las ramas
con fuertes aseveraciones
sobre el mecanismo
que está detrás del efecto causal.
Aquí va una aseveración causal fuerte
en cuando a porqué las escuela de examen
de Chicago reducen su desempeño.
La fuerza primaria
que dirije los efectos de la forma
reducida de los requisitos del examen
escolar en las notas ECA,
yo digo
es el efecto de las ofertas del examen
escolar en la inscripción de Noble.
Para apoyar esta aseveración
considera los puntos de la línea azul
todos a la izquierda del cero
en el eje de las X.
Estos puntos son negativos
porque marcan el efecto de los requisitos
del examen escolar
en la inscripción escolar de Noble
para grupos de candidatos particulares.
Ya vimos
que a los candidatos de Noble
a quienes se les ofrece un lugar
realizan grandes ganancias matemáticas
en ECA como resultado.
Ahora considera las ofertas
de las escuelas de examen
como instrumento
para inscripción de Noble.
Como siempre,
VI es la reacción en cadena.
Si los requisitos del examen escolar
reducen tiempo en Noble
por 0.37 años
y cada año de inscripción en Noble
incrementa las notas ECA
en matemáticas, 0.36 sigma
deberíamos esperar
efectos de forma reducida
de los requisitos del examen escolar
para reducir las notas ECA
del prodcuto de estos dos número --
o sea, por 0.13 sigma.
Los efectos de la forma reducida
de los requisitos
a la izquierda de la figura
son consistentes con esto.
Se juntan cercanamente al -0.16
y no al -0.13
pero esa diferencia está dentro
de la varianza del muestreo
de los estimados subyacientes.
La historia causal aquí
postula la desviación
de las escuelas autónomas
como mecanismo por el cual
las ofertas de las escuelas de examen
logran su desempeño.
En otras palabras,
es la inscripción en Noble
lo que se presume que satisface
una restricción de exclusión
cuando usamos las ofertas
de las escuelas de examen
como variable instrumental.
Lo importante, como vimos anteiormente
es que la línea en esta gráfica final,
con dos grupos de catorce puntos
corre a través del origen.
Este hecho apoya
nuestra nueva restricción de exclusión.
Para cualquier grupo de candidatos
para el cual las ofertas
de escuelas de examen
tengan poco o ningún efecto
en la inscripción escolar de Noble
deberíamos también ver sin cambios
las notas de ECA.
Al mismo tiempo
porque los puntos azules y rojos se juntan
alrededor de la misma línea
los estimados VI de los efectos
de la inscripción en la escuela Noble
generados por Noble y por las ofertas
de las escuelas de examen
son prácticamente iguales.
Espero que esta historia empírica
te convenza
del poder de VI y RD
para generar conocimiento nuevo causal.
Por décadas,
he tenido la suerte de trabajar
en muchos problemas empíricos
interesantísimos.
He calculado un método de VI
de estmados de lotería
en mi tesis de doctorado de Princeton
en un gran monstruo peludo de computadora
usando cintas de nueve y rentando espacio
en un disco duro comunal.
Los estudiantes de Princeton
aprendieron a montar
y usar carretes de cinta
del tamaño de un pastel de queso.
Lo bueno es que el estudio empírico hoy
es manualmente un poco menos intensivo.
¿Qué mas ha mejorado
en la época moderna empírica?
En un artículo del 2010,
Steve Pischke y yo creamos la frase
"Revolución de credibilidad".
Con esto,
nos referimos al cambio económico
hacia las estrategias
empíricas transparentes
aplicadas a preguntas concretas causales
como las preguntas que David Card
ha estudiado tan convincentemente.
La econometría de mis días escolares
es enfocó más en modelos
que en preguntas.
El modelado tiene que ver
con la era que ya terminó
pero ya desde entonces los econometristas
han encontrado mucho en qué contribuir.
Guardaré mis listas personales
de "grandes éxitos"
y "nuevos artistas"
para la versión escrita de esta clase.
Terminaré aquí diciendo
que estoy orgulloso de ser parte
de esta empresa
contemporánea de economía empírica
y estoy agradecido
más allá de las palabras
por haber sido reconocido
como contrbuyente a ella.
En Princeton,
a finales de los años ochenta
mis compañeros de universidad
y yo nos reíamos
leyendo el lamento de Ed Leamer
sobre que ningún economista toma en serio
el trabajo empírico de otro economista.
Esto ya no es cierto.
El trabajo empírico hoy aspira
a contar historias causales convincentes.
No es que todo esfuerzo tenga éxito
ni mucho menos.
Pero como cualquier candidato a trabajar
en economía te diría
el trabajo empírico realizado con cuidado
y claramente explicado
se toma muy en serio --
esa es la medida del éxito
de nuestra empresa
♪ [música] ♪
- [Narrador] Si te gustaría aprender
más sobre Josh
revisa su curso gratuito
"Dominando la Econometría".
Si te gustaría explorar
la investigación de Josh
revisa estas lisgas en la descripción
o puedes dar clic para ver más
sobre los videos de Josh
♪ [música] ♪