♪ (música) ♪
Estrategias empíricas en Economía: Iluminando el camino de la causa al efecto
[Joshua] Mientras calmaba mi nervioso iPhone
temprano el 11 de octubre,
mis pensamientos se dirigieron hacia la pregunta de si el reconocimiento
a nivel del Nobel podía cambiar la vida de la familia Angrist.
Nuestra familia es muy unida;
no nos hace falta nada.
Entonces, me preocupó que la estresante celebridad del Nobel
no fuera positiva.
Pero después de la primer taza de café,
comencé a relajarme.
Se me ocurrió
que el tema sobre cómo el reconocimiento público
afecta la vida de un estudioso
es, después de todo, una simple pregunta causal.
La intervención del Nobel
es sustancial, repentina y bien medida.
Resultados como los de la salud y la riqueza son fáciles de registrar.
Cuando me dieron el reconocimiento junto a mis colegas laureados,
Guido Imbens y David Card,
por contestar preguntas causales usando datos observacionales,
mis pensamientos migraron de la agitación personal
a las demandas más familiares
en cuanto a la identificación y estimación de efectos causales.
Pude calmar mi mente preocupada,
imaginando un estudio sobre el efecto del tratamiento del Premio Nobel.
¿Cómo se organizaría dicho estudio?
En un ensayo de 1999 publicado en el "Manual de Economía Laboral",
Alan Krueger y yo adoptamos la frase "estrategia empírica".
El volumen del manual en cuestión fue editado
por dos de mis tutores de tesis de doctorado de Princeton:
Orley Ashenfelter y David Card,
unos de los más exitosos y prolíficos tutores de graduados
que ha habido en Economía.
Una estrategia empírica es un plan de investigación
que incluye la recolección de datos,
identificación y estimación econométrica.
La identificación es el término que los enométricos aplican
al diseño de la investigación,
un ensayo clínico aleatorizado,
un ECA, es el más simple y más poderoso diseño de investigación.
En los ECA, los efectos causales se identifican
asignando aleatoriamente el tratamiento.
La asignación aleatoria asegura
que los grupos de tratamiento y de control
sean comparables en la ausencia de tratamiento.
Para que las diferencias entre ellos
reflejen posteriormente solo el efecto del tratamiento.
Probablemente, los Premios Nobel no se asignen aleatoriamente.
A pesar de este desafío, se me ocurre
una estrategía empírica convincente
para el efecto del tratamiento del Nobel
al menos como una idea empírica imaginativa
pero no realista.
Imagina un grupo de candidatos elegibles para el premio Nobel,
el grupo bajo consideración para el premio.
Los candidatos no necesitan postularse a sí mismos.
Me imagino, que algún colega los nomina.
Mi estudio fantástico de impacto del Nobel solo analiza los candidatos al Nobel,
ya que son estudiosos de élite.
Pero ese solo el primer paso.
Los candidatos con credibilidad son evaluados por jueces
usando criterios como publicaciones, citas, declaraciones a favor
del nombramiento del candidato.
Me imagino que este material se revisa y se le asigna una calificación numérica
usando algún tipo de rúbrica de calificación.
Las tres calificaciones más altas según el campo en un año
ganan el premio.
Teniendo idetificados a los candidatos
y sus datos en sus calificaciones,
el siguiente paso en mi estudio de impacto del Nobel
es registrar los puntos de corte relevantes.
El punto de corte del Nobel es la calificación más baja
de aquellos a quienes se les otorgó el premio.
Muchos de los que esperaban el Nobel no alcanzaron el corte.
Tomando en cuenta solo a los que por poco lo logran junto con los ganadores,
las diferencias en las calificaciones
entres los de arriba y debajo del corte
comienzan a verse por casualidad, más o menos asignados aleatoriamente.
Después de todo,
los que están cerca del Nobel son los estudiosos más eminentes, también.
Con una publicación de más alto impacto,
un poco más de apoyo por parte de los nominadores,
pudieron haber obtenido
el premio Nobel.
Algunos de ellos seguramente lo harán algún día.
La estrategia empírica delineada aquí se llama
Diseño de regresión discontinua,
RD.
RD explota los saltos en los problemas humanos
inducidos por reglas, regulaciones
y la necesidad de clasificar personas para varios propósitos de asignación.
Cuando se determina el tratamiento o la intervención
a través de una variable de empate que cruza o no un umbral,
aquellos justo por debajo del umbral se convierten en un grupo de control natural
para aquellos que lo pasan.
El RD no requiere que la variable
cuyas causas buscamos
se ajust o no por completo al valor de corte,
únicamente requiere
que el valor promedio de esta variable
brinque hasta el punto de corte.
La RD premite, por ejemplo, que el más cercano
al premio Nobel de este año pueda ser el ganador del próximo año.
Permitir esto conlleva al uso de saltos
en la tasa asignada al tratamiento
para construir variables instrumentales, VI,
estimaciones del efecto del tratamiento recibido.
Se dice que este tipo de RD es difuso,
pero como Steve Pischke y yo escribimos en nuestro primer libro:
"La RD difusa es VI".
(risa de niños)
El primer estudio RD al que contribuí fue escrito
con mi habitual colaborador Victor Lavy.
Este estudio está motivado
por los altos costos y los retornos inciertos
de la clase de las pequeñas escuelas de educación primaria.
Usamos una regla utilizada por las escuelas de primaria israelíes
para determinar el tamaño de la clase.
Esta regla se usa para estimar los efectos del tamaño poblacional de la clase
como se hace en ECA.
En los años 90, la población de las clases israelíes era grande.
Los estudiates inscritos en un grado cohorte de 40
era probable que los colocaran en un aula de 40,
ese es el punto de corte relevante.
Al agregar otro niño a la cohorte, para llegar a 41,
era probable que dividieran la cohorte
en dos clases mucho más pequeñas.
Esto conlleva a la regla del diseño de investigación de Maimónides
nombrada así porque Ramban en el siglo XII
propuso un máximo de tamaño de la clase de 40.
En esta figura se trazan los tamaños de las clases de cuarto grado israelíes
en función del número de inscritod del cuarto grado
superpuesto con la regla del tamaño de clase teórica,
la regla de Maimónides.
El ajuste no es perfecto,
esa es una característica que hace difusa esta aplicación de la RD,
pero la esencia de esto es la reducción marcada del tamaño de la clase
en cada múltiplo entero de cuarenta, el punto de corte relevante,
tal y como lo predice la regla.
Como resultado, estas reducciones en el tamaño de clase
se reflejan en los saltos
de las calificaciones de matemáticas del cuarto y quinto grado.
¡Examen!
¿La comparación entre los ganadores del Nobel y los que casi lo ganan
sería en realidad un buen experimento natural?
La lógica detrá de este tipo de afirmación
parece más sólida si se comparan escuelas
de 40 y 41 estudiantes del cuarto grado
que para comparar los que ganan y los que por poco ganan.
Aún así, ambos escenarios utilizan una característica del mundo físico.
Siempre que la variable que rompe el empate,
conocida en RD como variable continua,
tiene una distribución continua,
la probabilidad de cruzar el valor de corte se aproxima a la mitad
cuando se examina en un estrecho segmento
alrededor del corte.
En trabajo empíricos de RD
el segmento alrededor de los cortes, se conoce como ancho de banda.
Es importante decir que la probabilidad límite es de 0.5 para todos
sin importar qué tan calificados estén
al entrar en el concurso del Nobel.
Este hecho importante puede verse en los datos de los candidatos
de una de las más codiciadas escuelas de Nueva York. que filtra por test
Como antecedente
un 40 % de las escuelas secundarias y bachillerato de Nueva York
selecciona a sus candidatos basándose en resultados de examenes, grados
y otros criterios exactos.
En otras palabras
el régimen de admisiones en escuelas que filtran estudiantes
es muy parecido al esquema que imaginé
para el premio Nobel.
Estas escuelas no son más que un número
de sistemas altamente selectivos dentro de un sistema
en los distritos escolares grandes de Estados Unidos.
Boston, Chicago, San Francisco y Washington D.C.
todos tienen instituciones altamente selectivas
conocidas como escuelas de examen.
Las escuelas de examen operan
como parte de sistemas de escuelas públicas más grandes
que inscriben a los estudiantes sin detectar sus capacidades.
Motivados por una larga controversia
que hay sobre la equidad de las admisiones por filtro
mis colaboradores de laboratorio de proyecto y yo
examinamos los efectos causales de la asistencia a la escuela de examen
en Boston, Chicago, y Nueva York.
Esta figura muestra la probabilidad de que se le ofrezca un cupo
en la preparatoria de Nueva York Townsend Harris
calificada como la doceava a nivel nacional.
La altura de las barras en la figura representa la tasa de calificación;
o sea, la probabilidad de que la nota de admisión a Townsend Harris esté
por encima de la del candidato al cupo con la nota más baja.
La barras muestran la tasa de calificación condicional
en una medida de los logros de la pre-aplicación de referencia.
En particular, las barras muestran las tasas condicionales de calificación
con relación a si el candidato está
en el cuartil superior o inferior de sus notas
de matemáticas de sexto grado
Los candidatos de Townsend Harris con calificaciones estándars altas
tienen más probabilidad a calificar
que los que tienen notas estándars bajas.
Esto no debe sorprender,
pero en un ancho de banda simétrico reducido
alrededor del valor de corte de la escuela,
las tasas de calificaciones en los dos grupos convergen.
Las tasas de calificación en los últimos y los grupos más pequeños
son notablemente cercanas a la mitad.
Esto es lo que esperaríamos ver
[cuando] Townsend Harris acepta estudiantes
lanzando una moneda al aire,
en vez de seleccionar a los altamente calificados
en el examen de admisión escolar.
Aún cuando las admisiones operan con métodos de pruebas,
los datos pueden ser arreglados para imitar un ECA.
La ilusión de la élite
Algunas de las preguntas que he estudiado son más controversiales
que la pregunta para el acceso a las escuelas públicas de examen
como la inscripción selectiva de las preparatorias
Boston Latin School, Payton y Northside de Chicago
y las legendarias escuelas de Nueva York: Brooklyn Tech,
Bronx Science
y Stuyvesant, preparatorias especializadas
que entre todas han graduado a catorce galardonados con el Nobel.
Townsen Harris, la escuela con la que empezamos hoy,
ha graduado a tres premios Nobel, incluyendo al economista Ken Arrow.
Los defensores de las escualas de examen
ven las oportunidades que estas escuelas aportan
para democratizar la educación pública.
Ellos sostienen que las familias ricas pueden acceder
al plan de estudio de las escuelas de examen en el sector privado.
¿No deberían los estudiantes de bajos ingresos
tener al alcance la misma oportunidad para aspirar a una eduación de elite?
Los críticos de escuelas de inscripción selectiva sostienen
que, más que expandir la equidad,
las escuelas de examen están sesgados intrínsecamente
en contra de los estudiantes de raza negra e hispánica que forman
el grueso de los distritos urbanos de Estados Unidos.
La escuela superselectiva de Stuyvesant de Nueva York, por ejemplo
inscribió a tan solo siete estudiantes negros en el 2019
de un total de 895 [nuevos inscritos],
pero ¿realmente vale la pena pelear por los cupos de la escuela de examen?
Mis colaboradores y yo, hemos usado repetidamente
las estrategias empíricas de RD para estudiar los efectos causales
de la asistencia a las escuelas de examen
como Townsend Harris y Boston Latin.
Nuestro primer estudio de escula de examen,
el cual examina las escuelas de Boston y Nueva York,
resume estos hallazgos en su título,
"La ilusión de la élite".
La ilusión de la élite se refiere al hecho
de que, aún que los estudiantes de la escola de examen sin duda tienen
notas altas en las pruebas y otros buenos resultados,
esto no es un efecto causal de la asistencia a la escuela de examen.
Nuestras estimaciones consistentemente sugieren
que los efectos causales de asistir a una escula de examen
en el aprendizaje de sus estudiantes e ir al colegio son cero,
[pueden ser incluso] negativos.
El buen desempeño de los estudiantes de la escuela de examen
refleja un sezgo de selección;
o sea, el proceso por el que esos estudiantes son escogidos,
más que por efectos causales.
Los datos del gran sector de la escuela de examen de Chicago
ilustran la ilusión de la élite.
En esta figura se representa gráficamente la media del logro entre iguales;
o sea, las notas del examen del sexto grado de mis compañeros
de noveno grado, contra el desempate de admisiones
para un subconjunto de candidatos
a cualquiera de las nueve escuelas de examen de Chicago.
Los candidatos a estas escuelas están clasificados hasta la posición seis,
mientras que las escuelas de examen dan prioridad a sus candidatos
usando un índice de composición común
formado con base a un examen de admisión,
los GPA y las notas estándarizadas del séptimo grado.
Este desempate compuesto es la variable candidata
para un diseño RD que revela lo que pasa
cuando se le ofrece un cupo de una escuela de examen a un candidato.
En la contienda de la escuela de examen de Chicago,
que en realidad es una aplicación
del célebre algoritmo de coincidencia de Gale y Shapley,
los candidatos a las escuelas de examen están seguros de que se les ofrecerá
un cupo cuando sobrepasen al más bajo en sus grupos de valores de corte
de entre las escuelas de su rango.
A este mínimo corte lo llamamos: "punto de corte de eliminación".
Esta figura muestra el abrupto salto entre el logro de la media de los [iguales]
para los candidatos a la escuela de examen de Chicago
que sobrepasen sus puntos de corte de eliminación.
Este salto refleja el hecho de que la mayoría
de los candidatos a los que se le ofreció un cupo en la escuela de examen lo toman
y los candidatos que se inscriben
en una de las preparatorias de inscripción selectivas de Chicago
están seguros de tener un cupo en un aula de noveno grado
llena de otros compañeros precoces
porque solo los relativeamente precoces lo lograrán.
El incremento en el logro entre iguales en la nota de corte
equivale casi a la mitad de la desviación estándar --
un efecto muy grande.
Y aún así, los iguales sobresalientes, a pesar de tener
la oferta de un lugar en el examen escolar
no parece impactar en su aprendizaje.
Grafiquemos las notas de los candidatos ECA contra sus valores de desempate.
Esta gráfica muestra que los candidatos del examen escolar
que pasan de la nota de corte
se desempeñan muy mal en el ECA.
¿Cuál es la explicación de esto?
Hay que comentar sobre VI y RD para desenredar
lo que pasa detrás de este intrigante e inesperado efecto negativo.
Pero primero, algo sobre la teoría IV.
Un poco de LATE
Guido Imbens y yo, desarrollamos herramientas teóricas
para ayudar al entendimiento de los economistas
en estrategias empíricas
relativas a VI y RD.
El premio que compartimos es un reconocimiento por este trabajo.
Guido y yo coincidimos únicamente un año en Harvard
donde ambos obtuvimos nuestros primeros trabajos de post doctorado.
Le dí la bienvenida a Guido en Cambridge, Massachusetts
con un par de variables instrumentales interesantes.
Usé el sorteo del instrumento de lotería
en mi tesis de doctorado
para estimar las consecuencias económicas de largo plazo
de servir en las Fuerzas Armadas
de los soldados con llamado al servicio militar.
El sorteo del instrumento de lotería se basa en que los números
de la lotería se asignan aleatoriamente a los cumpleaños
determinados en el riesgo de conscripción de la era de Vietnam.
Aún así, la mayoría de los soldados eran voluntarios
tal y como lo es hoy.
El instrumento del trimestre de nacimiento
se usa en mi artículo de 1991 con Alan Krueger
para estimar los retornos económicos escolares.
Este instrumento se basa en el hecho
de que a los hombres nacidos al principio del año
se les permitía salirse de la preparatoria
en su cumpleaños número dieciséis
con menor tiempo de escuela completada que los nacidos después.
Guido y yo comenzamos a preguntarnos
¿Qué es lo que realmente aprendemos del sistema de elegibilidad
y los experimentos naturales del trimestre de nacimiento?
Uno de los primeros resultados en nuestra búsqueda para entender VI
fue la solución al problema de sezgo de selección
en un ECA con cumplimiento parcial.
Incluso en un ensayo clínico aleatorizado
mucha de la gente asignada al tratamiento podría querer salirse.
Este hecho siempre ha dejado perplejos a los ensayistas
porque las decisiones para renunciar no se hacen aleatoriamente.
Nuestro primer manuscrito juntos
muestra que en un ensayo aleatorizado con cumplimiento parcial
se puede usar VI
para estimar el efecto del tratamiento en los tratados
incluso cuando a algunos se les ofrece tratamiento
y lo rechazan.
Esto funciona a pesar de que aquellos
que cumplen con el tratamiento
podrían ser un grupo muy selecto.
Desafortunadamente para nosotros, llegamos tarde a la fiesta.
Poco tiempo después de publicar nuestro primer escrito
aprendimos sobre la contribución concisa de Howard Bloom
que incluye este resultado teórico.
Notablemente, Bloom derivó esto de los primeros principios
sin conectar con VI.
Entonces Guido y yo volvimos al pizarrón.
Y unos meses después, tuvimos LATE --
un teorema que muestra cómo estimar
el promedio local del efecto tratamiento.
El teorema LATE generaliza el teorema de Bloom
y establece la conexión entre el cumplimiento y VI.
Manteniendo la analogía de los ensayos clínicos
Zi indica si al sujeto i se le ofrece tratamiento.
Esto se asigna aleatoriamente.
También,D1i indica el estatus del tratamiento del sujeto i
cuando se le asigne al tratamiento.
y D0i indica el estatus del tratamiento del sujeto i
cuando se asigne al control.
Usaré esta notación formal
para dar una declaración clara del resultado de LATE
y luego daremos seguimiento con ejemplos.
Una pieza clave para LATE
fue gracias al estadista Don Rubin
y es el par de resultados potenciales.
Como ya se acostumbra
denoto los resultados potenciales para el sujeto i
en el estado tratamiento y sin tratamiento
mediante Y1i y Y0i, respectivamente.
El resultado observado es Y1i para el tratado
y Y0i para los no tratados.
Y1i menos Y0i
es el efecto causal del tratamiento en el sujeto i
pero esto nunca lo podemos ver.
Entonces tratamos de estimar algún tipo de efecto causal promedio.
El marco de LATE nos permite hacer lo que hace ECA
donde se tratan algunos controles.
El teorema dice
que el efecto causal promedio sobre la gente
cuyo estado de tratamiento puede ser cambiado
por la oferta del tratamiento
es la razón de IT, a la diferencia del control del tratamiento
en tasas de cumplimiento.
Una afirmación matemática de este resultado aparece aquí
donde la letra griega delta simboliza el efecto IT
y los símbolos griegos pi1 y pi0
son tasas de cumplimiento en el grupo asignado al tratamiento
y el grupo asignado al control, respectivamente.
La versión impresa de esta clase
profundiza en la historia intelectual de LATE
resaltando las contribuciones clave hechas con Rubin.
Por ahora, me gustaría hacer concreto el teorema de LATE para tí
compartiendo una de mis aplicaciones favoritas de él.
LATE en una escuela autónoma
Explicaré el marco LATE
a través de una pregunta de investigación que me ha fascinado
casi por dos décadas.
¿Cuál es el efecto causal
en el aprendizaje de la asistencia a una escuela autónoma?
Las escuelas autónomas son escuelas públicas
que operan independientemente
de los distritos americanos de escuelas públicas tradicionales.
La autonomía --el derecho de operar una escuela pública
generalmente se obtiene por un tiempo limitado
sujeto a la renovación condicional por el buen desempeño de una escuela.
Las escuelas autónomas son libres de estructurar
su currículum y su ambiente escolar.
La diferencia más controversial
entre las escuelas autónomas y las públicas tradicionales
es el hecho de que los maestros y el personal
que trabajan en las autónomas
raramente han pertenecido a sindicatos laborales.
Al contrario, la mayoría de los maestros de las grandes escuelas públicas
trabajan bajo contratos sindicales.
El documental del 2010 "Esperando a Superman"
muestra las escuelas que pertenecen al programa de "Conocimiento es poder"
KIPP.
Estas escuelas tienen expectativas muy altas
algunas veces este enfoque educativo se le llama "sin excusas".
El modelo "sin excusas"
tiene un día escolar largo y un año escolar extendido
contratación selectiva de maestros
y se enfoca en habilidades tradicionales de lectura y matemáticas.
El debate americano sobre la reforma educativa
a menudo se enfoca sobre la grieta del desempeño--
que no es más que las grandes diferencias entre las notas de examen
dadas por raza y grupo étnico.
Por este enfoque en los estudiantes de las minorías
KIPP, es a menudo central en este debate
con los que lo apoyan, diciendo que de hecho
los estudiantes KIPP que no son blancos tienen mucho mejores notas de examen
que los que no son blancos de otras escuelas.
Por otro lado, los escépticos del KIPP
dicen que el éxito aparente de KIPP
refleja el hecho de que KIPP atrae a familias
cuyos niños de todas maneras tienen más propensidad a triunfar.
¿Quién tiene la razón?
Como ya habrás podido adivinar
un ensayo aleatorizado podría ser decisivo
en el debate sobre las escuelas como KIPP.
Como los Premios Nobel
los lugares en KIPP no se asignan aleatoriamente.
Al menos, no enteramente.
De hecho
las escuelas autónomas de Massachusetts con más candidatos que lugares
deben ofrecer sus lugares por lotería.
Parece ser un buen experimento natural.
Hace un poco más de una década
mis colaboradores y yo, recolectamos datos
de loterías de admisiones en KIPP
sentando las bases de dos estudios pioneros
el primero que usó loterías para estudiar KIPP.
Nuestro análisis KIPP es una historia VI clásica
porque muchos estudiantes que ganaron un lugar en la lotería KIPP
no se presentaron en el otoño
mientras que muchos que no ganaron lograron entrar.
Esta gráfica muestra notas de matemáticas de los candidatos de educación media KIPP
un año después de aplicar a KIPP.
Las entradas de arriba de la línea
muestran que los candidatos a quien se les ofreció lugar
tienen notas en matemáticas estándarizadas cercanas a cero --
o sea, cerca del promedio estatal.
Como antes, estamos trabajando con datos de notas estandarizadas
con media de 0 y desviación estándar de 1.
Como los candidatos de KIPP comienzan con notas de cuarto grado
que están apenas 0.3 desviaciones estándar
debajo de la media estatal
el nivel de desempeño del promedio estatal es impresionante.
Al contrario, el promedio de las notas de matemáticas entre los que
no obtuvieron lugar, es de -0.36 sigma --
o sea, 0.36 desviaciones estándar por debajo de la media estatal
un resultado típico para los estudiantes urbanos de Massachusetts.
Como las ofertas de la lotería se asignan aleatoriamente
podemos decir con confianza que la oferta para un sitio en KIPP
aumenta las notas en matemáticas por un promedio de 0.36 sigma --
un efecto muy grande que también es estadísticamente preciso.
Podemos decir con confianza que no se trata de suerte.
¿Qué nos dice el efecto de una oferta de 0.36 sigma
sobre los efectos de entrar en KIPP?
Los métodos VI convierten los efectos de las ofertas KIPP
en efectos de asistencia a KIPP.
Usaré un video breve
de mi curso corto de Marginal Revolution University
para revisar brevemente los supuestos clave
detrás de esta conversión.
- [Narrador] VI describe una reacción en cadena.
¿Porqué las ofertas afectan el desempeño?
Probablemente porque afectan la asistencia autónoma
y la asistencia autónoma mejora las notas en matemáticas.
El primer eslabón de la cadena, llamado, primera etapa
es el efecto de la lotería en la asistencia autónoma.
La segunda etapa es el eslabón
entre ir a una autónoma y una variable resultante --
en este caso, las calificaciones en matemáticas.
La variable instrumental, o el instrumento
es la variable que inicia la reacción en cadena.
El efecto del instrumento en el resultado
se llama forma reducida.
Esta reacción en cadena puede ser representada matemáticamente.
Multiplicamos la primer etapa-- el efecto de ganar en la asistencia
por la segunda etapa -- el efecto de la asistencia en las notas
y obtenemos la forma reducida --
el efecto de ganar la lotería por notas.
La forma reducida y la primer etapa son observables y fáciles de calcular.
Pero, el efecto de la asistencia en el desempeño
no es directamente observable.
Este es el efecto causal que intentamos determinar.
Dados algunos supuestos importantes que discutiremos en breve
podemos encontrar el efecto de la asistencia KIPP
dividiendo la forma reducida entre la primera etapa.
- [Joshua] VI elimina el sezgo de selección
pero igual que todas nuestras herramientas
la solución se construye sobre una serie de supuestos
que no deben darse por hechos.
Primero, debe haber un primer nivel sustancial
o sea, una variable instrumental --
ganar o perder la lotería
debe realmente cambiar la variable en cuyo efecto estamos interesados --
la asistencia a KIPP.
En este caso, la primera etapa no está en duda.
Ganar la lotería
hace que la asistencia a KIPP pueda ser mayor.
No todas las historias VI son así.
Segundo, el instrumento debe asimilarse a una asignación aleatoria
o sea que ganadores y perdedores de la lotería tengan características similares.
Ese es el supuesto de la independencia.
Por supuesto que los ganadores de la lotería KIPP son asignados aleatoriamente
Aún así, debemos checar el balance y confirmar
que los ganadores y los perdedores
tengan un entorno familiar similar, aptitudes similares, y así.
En esencia, estamos checando para asegurarnos que la lotería KIPP sea justa
y que no hayan grupos sospechosos de candidatos que puedan ganar.
Finalmente, necesitamos que los cambios de resultado del instrumento
sean únicamente a través de la variables de interés --
en este caso, ir a KIPP.
Este supuesto se llama restricción de exclusión.
El efecto causal de la admisión de KIPP
puede ser escrito
como la razón del efecto de las ofertas sobre las notas
en el numerador
sobre el efecto de las ofertas en la inscripción a KIPP
en el denominador.
El numerador en esta fórmula VI --
o sea, el efecto directo del instrumento en los resultados
tiene un nombre especial.
Se le llama forma reducida.
El denominador es la primer estapa.
La restricción de exclusión es a menudo la parte más confusa
o más controversial de una historia VI.
Aquí la restricción de exclusión equivale
a que el diferencial de 0.36 en la nota entre los ganadores y los perdedores
de la lotería, es enteramente atribuíble
a la diferencia de la pérdida/ganancia de 0.74 en la tasa de asistencia.
Conectando los números
el efecto de la asistencia de KIPP es de 0.48 sigma
casi la mitad de la ganancia de la desviación estándar
ganada en las notas de matemáticas --
ese es un gran efecto.
¿Quién se beneficia tan espectacularmente de KIPP?
¿Todos los que aplican a KIPP ganan tanto?
LATE responde a esta pregunta.
La interpretación LATE de la estrategia empírica KIPP VI
se ilumina por la historia bíblica de la Pascua
que explica que hay cuatro tipos de niños
cada uno con conductas características.
Para dar seguimiento a estos niños y sus conductas
les daré nombres diferentes.
Los candidatos como Álvaro, mueren por entrar en KIPP.
Si Álvaro pierde la lotería KIPP
su madre encontrará la forma de meterlo ahí
tal vez volviendo a aplicar.
Los candidatos como Camila están felices de ir a KIPP
si ganan su lugar en la lotería
pero aceptarán el veredicto, si es que pierden.
Finalmente, a los candidatos como Normando
les preocupan los días largos y las muchas tareas que habrán en KIPP.
Normando realmente no quiere ir
y rechaza el lugar que ganó en la lotería.
A Normando lo llamamos "nunca-lo-toma"
por que gane o pierda, no quiere ir a KIPP.
En el otro extremo de la cuerda
a Álvaro lo llamaremos "siempre-lo-toma".
Él, felizmente tomará el lugar cuando se le ofrezca
mientras que su madre simplemente encuentra alguna forma de lograrlo
aún cuando él pierda.
Para Álvaro y Normando
el escoger escuela, KIPP, tradicional no tiene que ver con la lotería.
Camila es el tipo de candidato que da poder al VI.
El instrumento determina su estatus de tratamiento.
Las estrategias VI dependen de los candidatos como Camila
llamados "cumplidores".
Este término proviene de los ensayos aleatorizados
explicados con anterioridad.
Como ya hemos discutido
muchos ensayos aleatorizados, aleatorizan solo la oportunidad de ser tratados
mientras que la decisión de cumplir con el tratamiento
permanece voluntaria y no es aleatoria.
Los cumplidores de ECA son aquellos que optan por el tratamiento
cuando se hace la oferta del tratamiento
pero no al revés.
Con los instrumentos de lotería
LATE es el efecto de la asistencia a KIPP en Camila
y los otros cumplidores como ella
quienes se inscriben en KIPP, toman el tratamiento
cuando se les ofrece, a través de la lotería
pero no viceversa.
Los métodos VI no son informativos
para los que siempre lo toman como Álvaro y los que nunca lo toman como Normando
porque el instrumento no se relaciona
con su estatus de tratamiento.
¿No dije que había cuatro tipos de niños?
El cuarto tipo de niño en la teoría VI se comporta perversamente.
¡Siempre hay uno en las familias!
Este niño desafiante se inscribe en KIPP
solo cuando pierde la lotería.
De hecho, el teorema LATE
requiere que asumamos que hay pocos desafiantes --
este parece ser un supuesto razonable
para los intrumentos de lotería autónomos
y tal vez hasta en la vida.
Al teorema LATE algunas veces se le ve
como una relevancia limitante de los estimados económicos
porque se enfoca en grupos de cumplidores.
Aún así, la población de cumplidores
es un grupo del que nos gustaría aprender.
En el ejemplo de KIPP
los cumplidores son niños propensos a ser seleccionados en KIPP
donde la escuela se expande
y ofrece lugares adicionales en la lotería.
¿Qué tan relevante es esto?
Hace algunos años
Massachusetts permitió que algunas escuelas autónomas se expandieran.
Un estudio reciente, realizado por algunos compañeros de laboratorio
muestra que los estimados LATE
como el que acabamos de calcular para KIPP
pronostican ganancias de aprendizaje
en las escuelas creadas para expansión autónoma.
Cerrando la grieta del desempeño
LATE no solo es un teorema --
es un marco de referencia.
El marco LATE puede ser usado para estimar la distribución entera
de los resultados potenciales de los cumplidores
como si hubiéramos tenido un ensayo aleatorizado para este grupo.
Aunque la teoría detrás de este hecho
es necesariamente técnica
el valor del marco de referencia se aprecia fácilmente en la práctica.
Para ilustrar esto, recordemos que el estudio de KIPP
está motivado en parte por las diferencias en los resultados de las notas por raza.
Veamos la distribución de los grados de cuarto grado
separados por raza.
para candidatos de Boston a escuelas autónomas de educación media.
Los dos lados de esta figura
muestran distribuciones para los cumplidores con y sin tratamiento.
A los cumplidores con tratamiento se les ofrece un lugar autónomo en la lotería.
Mientras que a los cumplidores sin tratamiento no se les ofrece nada.
Ya que estas son notas de cuarto grado
mientras que la educación media empieza en el quinto o sexto grado
ambos lados de la figura son similares.
Ambos lados muestran distribuciones de notas para los candidatos negros
desplazadas hacia la izquierda
de las distribuciones de notas de los blancos.
Para el octavo grado
los cumplidores con tratamiento han terminado la escuela autónoma en Boston
mientras que los cumplidores sin tratamiento se han quedado
en una escuela pública tradicional.
Notablemente, esta siguiente gráfica
muestra que las distribuciones de las notas de octavo grado
de los cumplidores con tratamiento negros y blancos
no pueden distinguirse.
Las escuelas medias autónomas de Boston cerraron la grieta del desempeño
Pero para los sin tratamiento
las distribuciones de las notas de negros y blancos permanecen distintas
con los estudiantes negros detrás de los blancos
como estaban en cuarto grado
Las autónomas de Boston cerraron la grieta del desempeño
porque aquellos que entran en las escuelas autónomas
hasta atrás
tienden a ganar lo más posible de la inscripción autónoma.
Profundizo en este punto en la versión escrita de esta plática.
Efectos explicados de la escuela de examen de Chicago
¿Recuerdas ese acertijo
sobre los efectos negativos del examen escolar de Chicago?
Terminaré la parte científica de mi plática usando VI y RD
para explicar este hallazgo sorprendente.
La solución a este acertijo comienza con el hecho
de que el razonamiento económico se trata sobre las alternativas
¿Cuál es la alternativa a la educación de examen escolar?
Para muchos candidatos a las escuelas de examen de Chicago
la alternativa al examen líder es la escuela pública tradicional.
Pero muchos de los candidatos rechazados de las escuelas de examen de Chicago
se enlistan en una escuela autónoma
Las ofertas de exámenes escolares
reducen la posibilidad de la asistencia a las escuelas autónomas.
Específicamente, las escuelas de examen dispersan a los candidatos
lejos de las preparatorias
en la red Noble de las escuelas autónomas.
Noble, con pedagogía, parecido a KIPP
es uno de los proveedores más visibles de autónomas de Chicago.
También como KIPP, la evidencia convincente de la efectividad de Noble
viene de las admisiones de las loterías.
El eje de la X en esta gráfica
muestra los efectos de la oferta de lotería en los años inscritos en Noble.
Esta es la primera etapa de Noble
para un VI que usa una variable ficticia
indicando las ofertas de lotería de Noble
como instrumento de inscripción de Noble.
Este gráfico tiene una característica que lo distingue
de un análisis KIPP más simple.
El gráfico muestras los efectos del primer nivel
para dos grupos.
Uno para los candidatos de Noble
que viven en las zonas de menos ingresos en Chicago, el nivel 1
y uno para los candidatos de Noble
que viven en áreas de mayores ingresos
nivel 3.
¿Recuerdas la reacción en cadena de VI?
Cada punto de esta gráfica
tiene coordenadas dadas por la forma reducida de la primera etapa
y eso implica un estimado VI.
El efecto de la inscripción de Noble en las notas ECA
es la razón de la coordenada de la forma reducida
entre la coordenada de la primer etapa.
Este gráfico muestras ambas razones
Los resultados relevantes para el Nivel 1 son 0.35
mientras que para el Nivel 3, tenemos 0.33
y no está mal.
Para los candidatos de Noble de ambos niveles
estas primeras etapas y los estimados de forma reducida
implican un efecto anual de inscripción en Noble
de una ganancia de una tercera parte de la desviación estándar
en las notas de matemáticas de ECA.
Nota que también hay una línea
conectando dos de los estimados VI en la figura.
Ya que esta línea pasa a través del origen
el cambio en y dividido por el cambio en x de su pendiente
es igual a los dos estimados de VI --
en este caso, la pendiente es de 0.34
El hecho de que la línea pase a través de 0,0
es importante por otra razón.
Con esto, hemos corroborado la restricción de exclusión.
Específicamente, la restricción de exclusión
dice que un grupo dado
para el cual las ofertas de Noble no se relacionan con la inscripción de Noble
podemos esperar ver
un efecto de la forma reducido a cero de estas ofertas
hechas a los candidatos en ese grupo.
¿Qué tan consistente es la evidencia de una ganancia de aprendizaje de Noble
del orden de 0.34 sigma por año?
En la siguiente gráfica
agregamos doce punto más a los dos originales.
Los puntos rojos aquí muestran la primer etapa y la forma reducida.
Los efectos de la oferta de Noble, para los doce grupos adicionales
dos niveles más y doce grupos
definidos por las características demográficas
relacionadas con la raza, sexo, ingreso familiar
y calificaciones base.
Aunque no se ajusta perfectamente
estos puntos señalan una línea alrededor de pendiente 0.36 sigma
parecido a línea que vimos antes para los candidatos de los niveles 1 y 3.
Ahora te preguntarás
qué tienen que ver los estimados de Noble VI en esta figura
con las inscripciones del examen escolar.
Aquí está la respuesta.
La línea azul en esta nueva gráfica muestra, como esperábamos
que la exposición al examen escolar brincara
para candidatos que cumplan con su nivel de requisitos.
Al mismo tiempo
la línea roja muestra que la inscripción escolar de Noble
falla en el mismo punto.
Este es el efecto de desviación de las ofertas del examen escolar
en la inscripción de Noble.
A muchos niños a quienes se les ofrece un lugar en una escuela de examen
prefieren ese lugar de examen escolar a inscribirse en Noble.
IV nos da la oportunidad de ir por las ramas
con fuertes aseveraciones sobre el mecanismo
que está detrás del efecto causal.
Aquí va una aseveración causal fuerte
en cuando a porqué las escuela de examen de Chicago reducen su desempeño.
La fuerza primaria
que dirije los efectos de la forma reducida de los requisitos del examen
escolar en las notas ECA, yo digo
es el efecto de las ofertas del examen escolar en la inscripción de Noble.
Para apoyar esta aseveración
considera los puntos de la línea azul
todos a la izquierda del cero en el eje de las X.
Estos puntos son negativos
porque marcan el efecto de los requisitos del examen escolar
en la inscripción escolar de Noble
para grupos de candidatos particulares.
Ya vimos
que a los candidatos de Noble a quienes se les ofrece un lugar
realizan grandes ganancias matemáticas en ECA como resultado.
Ahora considera las ofertas de las escuelas de examen
como instrumento para inscripción de Noble.
Como siempre, VI es la reacción en cadena.
Si los requisitos del examen escolar reducen tiempo en Noble
por 0.37 años
y cada año de inscripción en Noble
incrementa las notas ECA en matemáticas, 0.36 sigma
deberíamos esperar efectos de forma reducida
de los requisitos del examen escolar
para reducir las notas ECA
del prodcuto de estos dos número --
o sea, por 0.13 sigma.
Los efectos de la forma reducida de los requisitos
a la izquierda de la figura
son consistentes con esto.
Se juntan cercanamente al -0.16 y no al -0.13
pero esa diferencia está dentro de la varianza del muestreo
de los estimados subyacientes.
La historia causal aquí
postula la desviación de las escuelas autónomas
como mecanismo por el cual las ofertas de las escuelas de examen
logran su desempeño.
En otras palabras, es la inscripción en Noble
lo que se presume que satisface una restricción de exclusión
cuando usamos las ofertas de las escuelas de examen
como variable instrumental.
Lo importante, como vimos anteiormente
es que la línea en esta gráfica final, con dos grupos de catorce puntos
corre a través del origen.
Este hecho apoya nuestra nueva restricción de exclusión.
Para cualquier grupo de candidatos
para el cual las ofertas de escuelas de examen
tengan poco o ningún efecto en la inscripción escolar de Noble
deberíamos también ver sin cambios las notas de ECA.
Al mismo tiempo
porque los puntos azules y rojos se juntan alrededor de la misma línea
los estimados VI de los efectos de la inscripción en la escuela Noble
generados por Noble y por las ofertas de las escuelas de examen
son prácticamente iguales.
Espero que esta historia empírica
te convenza del poder de VI y RD
para generar conocimiento nuevo causal.
Por décadas, he tenido la suerte de trabajar
en muchos problemas empíricos interesantísimos.
He calculado un método de VI de estmados de lotería
en mi tesis de doctorado de Princeton
en un gran monstruo peludo de computadora
usando cintas de nueve y rentando espacio
en un disco duro comunal.
Los estudiantes de Princeton
aprendieron a montar y usar carretes de cinta
del tamaño de un pastel de queso.
Lo bueno es que el estudio empírico hoy es manualmente un poco menos intensivo.
¿Qué mas ha mejorado en la época moderna empírica?
En un artículo del 2010, Steve Pischke y yo creamos la frase
"Revolución de credibilidad".
Con esto, nos referimos al cambio económico
hacia las estrategias empíricas transparentes
aplicadas a preguntas concretas causales
como las preguntas que David Card ha estudiado tan convincentemente.
La econometría de mis días escolares
es enfocó más en modelos que en preguntas.
El modelado tiene que ver con la era que ya terminó
pero ya desde entonces los econometristas han encontrado mucho en qué contribuir.
Guardaré mis listas personales
de "grandes éxitos" y "nuevos artistas"
para la versión escrita de esta clase.
Terminaré aquí diciendo
que estoy orgulloso de ser parte de esta empresa
contemporánea de economía empírica
y estoy agradecido más allá de las palabras
por haber sido reconocido como contrbuyente a ella.
En Princeton, a finales de los años ochenta
mis compañeros de universidad y yo nos reíamos
leyendo el lamento de Ed Leamer
sobre que ningún economista toma en serio el trabajo empírico de otro economista.
Esto ya no es cierto.
El trabajo empírico hoy aspira a contar historias causales convincentes.
No es que todo esfuerzo tenga éxito
ni mucho menos.
Pero como cualquier candidato a trabajar en economía te diría
el trabajo empírico realizado con cuidado y claramente explicado
se toma muy en serio --
esa es la medida del éxito de nuestra empresa
♪ [música] ♪
- [Narrador] Si te gustaría aprender más sobre Josh
revisa su curso gratuito "Dominando la Econometría".
Si te gustaría explorar la investigación de Josh
revisa estas lisgas en la descripción
o puedes dar clic para ver más sobre los videos de Josh
♪ [música] ♪