-
♪ (música) ♪
-
Estrategias empíricas en Economía:
Iluminando el camino de la causa al efecto
-
[Joshua] Mientras calmaba
mi nervioso iPhone
-
temprano el 11 de octubre,
-
mis pensamientos se dirigieron hacia
la pregunta de si el reconocimiento
-
a nivel del Nobel podía cambiar
la vida de la familia Angrist.
-
Nuestra familia es muy unida;
-
no nos hace falta nada.
-
Entonces, me preocupó
que la estresante celebridad del Nobel
-
no fuera positiva.
-
Pero después de la primer taza de café,
-
comencé a relajarme.
-
Se me ocurrió
-
que el tema sobre cómo
el reconocimiento público
-
afecta la vida de un estudioso
-
es, después de todo,
una simple pregunta causal.
-
La intervención del Nobel
-
es sustancial, repentina y bien medida.
-
Resultados como los de la salud
y la riqueza son fáciles de registrar.
-
Cuando me dieron el reconocimiento
junto a mis colegas laureados,
-
Guido Imbens y David Card,
-
por contestar preguntas causales
usando datos observacionales,
-
mis pensamientos migraron
de la agitación personal
-
a las demandas más familiares
-
en cuanto a la identificación
y estimación de efectos causales.
-
Pude calmar mi mente preocupada,
-
imaginando un estudio sobre el efecto
del tratamiento del Premio Nobel.
-
¿Cómo se organizaría dicho estudio?
-
En un ensayo de 1999 publicado
en el "Manual de Economía Laboral",
-
Alan Krueger y yo adoptamos
la frase "estrategia empírica".
-
El volumen del manual
en cuestión fue editado
-
por dos de mis tutores de tesis
de doctorado de Princeton:
-
Orley Ashenfelter y David Card,
-
unos de los más exitosos y prolíficos
tutores de graduados
-
que ha habido en Economía.
-
Una estrategia empírica
es un plan de investigación
-
que incluye la recolección de datos,
-
identificación
y estimación econométrica.
-
La identificación es el término
que los enométricos aplican
-
al diseño de la investigación,
-
un ensayo clínico aleatorizado,
-
un ECA, es el más simple
y más poderoso diseño de investigación.
-
En los ECA,
los efectos causales se identifican
-
asignando aleatoriamente el tratamiento.
-
La asignación aleatoria asegura
-
que los grupos de tratamiento y de control
-
sean comparables
en la ausencia de tratamiento.
-
Para que las diferencias entre ellos
-
reflejen posteriormente solo
el efecto del tratamiento.
-
Probablemente, los Premios Nobel
no se asignen aleatoriamente.
-
A pesar de este desafío, se me ocurre
-
una estrategía empírica convincente
-
para el efecto del tratamiento del Nobel
-
al menos como
una idea empírica imaginativa
-
pero no realista.
-
Imagina un grupo de candidatos
elegibles para el premio Nobel,
-
el grupo bajo consideración
para el premio.
-
Los candidatos
no necesitan postularse a sí mismos.
-
Me imagino,
que algún colega los nomina.
-
Mi estudio fantástico de impacto del Nobel
solo analiza los candidatos al Nobel,
-
ya que son estudiosos de élite.
-
Pero ese solo el primer paso.
-
Los candidatos con credibilidad
son evaluados por jueces
-
usando criterios como publicaciones,
citas, declaraciones a favor
-
del nombramiento del candidato.
-
Me imagino que este material se revisa
y se le asigna una calificación numérica
-
usando algún tipo
de rúbrica de calificación.
-
Las tres calificaciones más altas
según el campo en un año
-
ganan el premio.
-
Teniendo idetificados a los candidatos
-
y sus datos en sus calificaciones,
-
el siguiente paso
en mi estudio de impacto del Nobel
-
es registrar los puntos
de corte relevantes.
-
El punto de corte del Nobel
es la calificación más baja
-
de aquellos a quienes
se les otorgó el premio.
-
Muchos de los que esperaban
el Nobel no alcanzaron el corte.
-
Tomando en cuenta solo a los que por poco
lo logran junto con los ganadores,
-
las diferencias en las calificaciones
-
entres los de arriba y debajo del corte
-
comienzan a verse por casualidad,
más o menos asignados aleatoriamente.
-
Después de todo,
-
los que están cerca del Nobel son
los estudiosos más eminentes, también.
-
Con una publicación de más alto impacto,
-
un poco más de apoyo
por parte de los nominadores,
-
pudieron haber obtenido
-
el premio Nobel.
-
Algunos de ellos seguramente
lo harán algún día.
-
La estrategia empírica
delineada aquí se llama
-
Diseño de regresión discontinua,
-
RD.
-
RD explota los saltos
en los problemas humanos
-
inducidos por reglas, regulaciones
-
y la necesidad de clasificar personas
para varios propósitos de asignación.
-
Cuando se determina
el tratamiento o la intervención
-
a través de una variable de empate
que cruza o no un umbral,
-
aquellos justo por debajo del umbral se
convierten en un grupo de control natural
-
para aquellos que lo pasan.
-
El RD no requiere que la variable
-
cuyas causas buscamos
-
se ajust o no por completo
al valor de corte,
-
únicamente requiere
-
que el valor promedio de esta variable
-
brinque hasta el punto de corte.
-
La RD premite, por ejemplo,
que el más cercano
-
al premio Nobel de este año
pueda ser el ganador del próximo año.
-
Permitir esto conlleva al uso de saltos
-
en la tasa asignada al tratamiento
-
para construir
variables instrumentales, VI,
-
estimaciones del efecto
del tratamiento recibido.
-
Se dice que este tipo de RD es difuso,
-
pero como Steve Pischke y yo
escribimos en nuestro primer libro:
-
"La RD difusa es VI".
-
(risa de niños)
-
El primer estudio RD
al que contribuí fue escrito
-
con mi habitual colaborador Victor Lavy.
-
Este estudio está motivado
-
por los altos costos
y los retornos inciertos
-
de la clase de las pequeñas escuelas
de educación primaria.
-
Usamos una regla utilizada por
las escuelas de primaria israelíes
-
para determinar el tamaño de la clase.
-
Esta regla se usa para estimar los efectos
del tamaño poblacional de la clase
-
como se hace en ECA.
-
En los años 90, la población
de las clases israelíes era grande.
-
Los estudiates inscritos
en un grado cohorte de 40
-
era probable que los colocaran
en un aula de 40,
-
ese es el punto de corte relevante.
-
Al agregar otro niño
a la cohorte, para llegar a 41,
-
era probable
que dividieran la cohorte
-
en dos clases mucho más pequeñas.
-
Esto conlleva a la regla del diseño
de investigación de Maimónides
-
nombrada así porque Ramban en el siglo XII
-
propuso un máximo
de tamaño de la clase de 40.
-
En esta figura se trazan los tamaños
de las clases de cuarto grado israelíes
-
en función del número
de inscritod del cuarto grado
-
superpuesto con la regla
del tamaño de clase teórica,
-
la regla de Maimónides.
-
El ajuste no es perfecto,
-
esa es una característica
que hace difusa esta aplicación de la RD,
-
pero la esencia de esto es la reducción
marcada del tamaño de la clase
-
en cada múltiplo entero de cuarenta,
el punto de corte relevante,
-
tal y como lo predice la regla.
-
Como resultado,
estas reducciones en el tamaño de clase
-
se reflejan en los saltos
-
de las calificaciones de matemáticas
del cuarto y quinto grado.
-
¡Examen!
-
¿La comparación entre los ganadores
del Nobel y los que casi lo ganan
-
sería en realidad
un buen experimento natural?
-
La lógica detrá de este tipo de afirmación
-
parece más sólida si se comparan escuelas
-
de 40 y 41 estudiantes del cuarto grado
-
que para comparar
los que ganan y los que por poco ganan.
-
Aún así, ambos escenarios utilizan
una característica del mundo físico.
-
Siempre que la variable
que rompe el empate,
-
conocida en RD como variable continua,
-
tiene una distribución continua,
-
la probabilidad de cruzar
el valor de corte se aproxima a la mitad
-
cuando se examina en un estrecho segmento
-
alrededor del corte.
-
En trabajo empíricos de RD
-
el segmento alrededor de los cortes,
se conoce como ancho de banda.
-
Es importante decir
que la probabilidad límite es de 0.5 para todos
-
sin importar qué tan calificados estén
-
al entrar en el concurso del Nobel.
-
Este hecho importante puede verse
en los datos de los candidatos
-
de una de las más codiciadas escuelas
de Nueva York. que filtra por test
-
Como antecedente
-
un 40 % de las escuelas
secundarias y bachillerato de Nueva York
-
selecciona a sus candidatos basándose
en resultados de examenes, grados
-
y otros criterios exactos.
-
En otras palabras
-
el régimen de admisiones
en escuelas que filtran estudiantes
-
es muy parecido al esquema que imaginé
-
para el premio Nobel.
-
Estas escuelas
no son más que un número
-
de sistemas altamente selectivos
dentro de un sistema
-
en los distritos escolares grandes
de Estados Unidos.
-
Boston, Chicago, San Francisco
y Washington D.C.
-
todos tienen instituciones
altamente selectivas
-
conocidas como escuelas de examen.
-
Las escuelas de examen operan
-
como parte de sistemas
de escuelas públicas más grandes
-
que inscriben a los estudiantes
sin detectar sus capacidades.
-
Motivados por una larga controversia
-
que hay sobre la equidad
de las admisiones por filtro
-
mis colaboradores
de laboratorio de proyecto y yo
-
examinamos los efectos causales
de la asistencia a la escuela de examen
-
en Boston, Chicago, y Nueva York.
-
Esta figura muestra la probabilidad
de que se le ofrezca un cupo
-
en la preparatoria de Nueva York
Townsend Harris
-
calificada como la doceava
a nivel nacional.
-
La altura de las barras en la figura
representa la tasa de calificación;
-
o sea, la probabilidad de que la nota
de admisión a Townsend Harris esté
-
por encima de la del candidato
al cupo con la nota más baja.
-
La barras muestran la tasa
de calificación condicional
-
en una medida de los logros
de la pre-aplicación de referencia.
-
En particular, las barras muestran
las tasas condicionales de calificación
-
con relación a si el candidato está
-
en el cuartil superior
o inferior de sus notas
-
de matemáticas de sexto grado
-
Los candidatos de Townsend Harris
con calificaciones estándars altas
-
tienen más probabilidad a calificar
-
que los que tienen notas estándars bajas.
-
Esto no debe sorprender,
-
pero en un ancho de banda
simétrico reducido
-
alrededor del valor
de corte de la escuela,
-
las tasas de calificaciones
en los dos grupos convergen.
-
Las tasas de calificación en los últimos
y los grupos más pequeños
-
son notablemente cercanas a la mitad.
-
Esto es lo que esperaríamos ver
-
[cuando] Townsend Harris
acepta estudiantes
-
lanzando una moneda al aire,
-
en vez de seleccionar
a los altamente calificados
-
en el examen de admisión escolar.
-
Aún cuando las admisiones operan
con métodos de pruebas,
-
los datos pueden ser arreglados
para imitar un ECA.
-
La ilusión de la élite
-
Algunas de las preguntas
que he estudiado son más controversiales
-
que la pregunta para el acceso
a las escuelas públicas de examen
-
como la inscripción selectiva
de las preparatorias
-
Boston Latin School,
Payton y Northside de Chicago
-
y las legendarias escuelas
de Nueva York: Brooklyn Tech,
-
Bronx Science
-
y Stuyvesant,
preparatorias especializadas
-
que entre todas han graduado
a catorce galardonados con el Nobel.
-
Townsen Harris, la escuela
con la que empezamos hoy,
-
ha graduado a tres premios Nobel,
incluyendo al economista Ken Arrow.
-
Los defensores
de las escualas de examen
-
ven las oportunidades
que estas escuelas aportan
-
para democratizar la educación pública.
-
Ellos sostienen
que las familias ricas pueden acceder
-
al plan de estudio de las escuelas
de examen en el sector privado.
-
¿No deberían los estudiantes
de bajos ingresos
-
tener al alcance la misma oportunidad
para aspirar a una eduación de elite?
-
Los críticos de escuelas
de inscripción selectiva sostienen
-
que, más que expandir la equidad,
-
las escuelas de examen
están sesgados intrínsecamente
-
en contra de los estudiantes
de raza negra e hispánica que forman
-
el grueso de los distritos urbanos
de Estados Unidos.
-
La escuela superselectiva de Stuyvesant
de Nueva York, por ejemplo
-
inscribió a tan solo siete estudiantes
negros en el 2019
-
de un total de 895 [nuevos inscritos],
-
pero ¿realmente vale la pena pelear
por los cupos de la escuela de examen?
-
Mis colaboradores y yo,
hemos usado repetidamente
-
las estrategias empíricas de RD
para estudiar los efectos causales
-
de la asistencia a las escuelas de examen
-
como Townsend Harris y Boston Latin.
-
Nuestro primer estudio de escula de examen,
-
el cual examina las escuelas
de Boston y Nueva York,
-
resume estos hallazgos en su título,
-
"La ilusión de la élite".
-
La ilusión de la élite se refiere al hecho
-
de que, aún que los estudiantes
de la escola de examen sin duda tienen
-
notas altas en las pruebas
y otros buenos resultados,
-
esto no es un efecto causal
de la asistencia a la escuela de examen.
-
Nuestras estimaciones
consistentemente sugieren
-
que los efectos causales
de asistir a una escula de examen
-
en el aprendizaje de sus estudiantes
e ir al colegio son cero,
-
[pueden ser incluso] negativos.
-
El buen desempeño
de los estudiantes de la escuela de examen
-
refleja un sezgo de selección;
-
o sea, el proceso por el que
esos estudiantes son escogidos,
-
más que por efectos causales.
-
Los datos del gran sector
de la escuela de examen de Chicago
-
ilustran la ilusión de la élite.
-
En esta figura se representa gráficamente
la media del logro entre iguales;
-
o sea, las notas del examen del
sexto grado de mis compañeros
-
de noveno grado,
contra el desempate de admisiones
-
para un subconjunto de candidatos
-
a cualquiera de las nueve escuelas
de examen de Chicago.
-
Los candidatos a estas escuelas
están clasificados hasta la posición seis,
-
mientras que las escuelas de examen
dan prioridad a sus candidatos
-
usando un índice de composición común
-
formado con base a un examen de admisión,
-
los GPA y las notas estándarizadas
del séptimo grado.
-
Este desempate compuesto
es la variable candidata
-
para un diseño RD
que revela lo que pasa
-
cuando se le ofrece un cupo
de una escuela de examen a un candidato.
-
En la contienda
de la escuela de examen de Chicago,
-
que en realidad es una aplicación
-
del célebre algoritmo
de coincidencia de Gale y Shapley,
-
los candidatos a las escuelas de examen
están seguros de que se les ofrecerá
-
un cupo cuando sobrepasen al más bajo
en sus grupos de valores de corte
-
de entre las escuelas de su rango.
-
A este mínimo corte lo llamamos:
"punto de corte de eliminación".
-
Esta figura muestra el abrupto salto
entre el logro de la media de los [iguales]
-
para los candidatos a la escuela
de examen de Chicago
-
que sobrepasen sus puntos
de corte de eliminación.
-
Este salto refleja
el hecho de que la mayoría
-
de los candidatos a los que se le ofreció
un cupo en la escuela de examen lo toman
-
y los candidatos que se inscriben
-
en una de las preparatorias
de inscripción selectivas de Chicago
-
están seguros de tener un cupo
en un aula de noveno grado
-
llena de otros compañeros precoces
-
porque solo los relativeamente precoces
lo lograrán.
-
El incremento en el logro entre iguales
en la nota de corte
-
equivale casi
a la mitad de la desviación estándar --
-
un efecto muy grande.
-
Y aún así, los iguales sobresalientes,
a pesar de tener
-
la oferta de un lugar
en el examen escolar
-
no parece impactar en su aprendizaje.
-
Grafiquemos las notas de los candidatos
ECA contra sus valores de desempate.
-
Esta gráfica muestra que los candidatos
del examen escolar
-
que pasan de la nota de corte
-
se desempeñan muy mal en el ECA.
-
¿Cuál es la explicación de esto?
-
Hay que comentar sobre VI
y RD para desenredar
-
lo que pasa detrás de este intrigante
e inesperado efecto negativo.
-
Pero primero,
algo sobre la teoría IV.
-
Un poco de LATE
-
Guido Imbens y yo,
desarrollamos herramientas teóricas
-
para ayudar al entendimiento
de los economistas
-
en estrategias empíricas
-
relativas a VI y RD.
-
El premio que compartimos
es un reconocimiento por este trabajo.
-
Guido y yo coincidimos
únicamente un año en Harvard
-
donde ambos obtuvimos nuestros
primeros trabajos de post doctorado.
-
Le dí la bienvenida a Guido
en Cambridge, Massachusetts
-
con un par de variables instrumentales
interesantes.
-
Usé el sorteo
del instrumento de lotería
-
en mi tesis de doctorado
-
para estimar las consecuencias
económicas de largo plazo
-
de servir en las Fuerzas Armadas
-
de los soldados
con llamado al servicio militar.
-
El sorteo del instrumento de lotería
se basa en que los números
-
de la lotería se asignan
aleatoriamente a los cumpleaños
-
determinados en el riesgo de conscripción
de la era de Vietnam.
-
Aún así, la mayoría de los soldados
eran voluntarios
-
tal y como lo es hoy.
-
El instrumento
del trimestre de nacimiento
-
se usa en mi artículo
de 1991 con Alan Krueger
-
para estimar los retornos económicos
escolares.
-
Este instrumento se basa en el hecho
-
de que a los hombres nacidos
al principio del año
-
se les permitía salirse de la preparatoria
-
en su cumpleaños número dieciséis
-
con menor tiempo de escuela completada
que los nacidos después.
-
Guido y yo comenzamos a preguntarnos
-
¿Qué es lo que realmente aprendemos
del sistema de elegibilidad
-
y los experimentos naturales
del trimestre de nacimiento?
-
Uno de los primeros resultados en
nuestra búsqueda para entender VI
-
fue la solución al problema
de sezgo de selección
-
en un ECA con cumplimiento parcial.
-
Incluso en un ensayo clínico aleatorizado
-
mucha de la gente asignada
al tratamiento podría querer salirse.
-
Este hecho siempre ha dejado
perplejos a los ensayistas
-
porque las decisiones para renunciar
no se hacen aleatoriamente.
-
Nuestro primer manuscrito juntos
-
muestra que en un ensayo aleatorizado
con cumplimiento parcial
-
se puede usar VI
-
para estimar el efecto
del tratamiento en los tratados
-
incluso cuando a algunos
se les ofrece tratamiento
-
y lo rechazan.
-
Esto funciona a pesar de que aquellos
-
que cumplen con el tratamiento
-
podrían ser un grupo muy selecto.
-
Desafortunadamente para nosotros,
llegamos tarde a la fiesta.
-
Poco tiempo después de publicar
nuestro primer escrito
-
aprendimos sobre la contribución concisa
de Howard Bloom
-
que incluye este resultado teórico.
-
Notablemente, Bloom derivó esto
de los primeros principios
-
sin conectar con VI.
-
Entonces Guido y yo volvimos al pizarrón.
-
Y unos meses después,
tuvimos LATE --
-
un teorema que muestra cómo estimar
-
el promedio local del efecto tratamiento.
-
El teorema LATE
generaliza el teorema de Bloom
-
y establece la conexión entre
el cumplimiento y VI.
-
Manteniendo la analogía
de los ensayos clínicos
-
Zi indica si al sujeto i
se le ofrece tratamiento.
-
Esto se asigna aleatoriamente.
-
También,D1i indica el estatus
del tratamiento del sujeto i
-
cuando se le asigne al tratamiento.
-
y D0i indica el estatus
del tratamiento del sujeto i
-
cuando se asigne al control.
-
Usaré esta notación formal
-
para dar una declaración clara
del resultado de LATE
-
y luego daremos seguimiento con ejemplos.
-
Una pieza clave para LATE
-
fue gracias al estadista Don Rubin
-
y es el par de resultados potenciales.
-
Como ya se acostumbra
-
denoto los resultados potenciales
para el sujeto i
-
en el estado tratamiento y sin tratamiento
-
mediante Y1i y Y0i,
respectivamente.
-
El resultado observado
es Y1i para el tratado
-
y Y0i para los no tratados.
-
Y1i menos Y0i
-
es el efecto causal
del tratamiento en el sujeto i
-
pero esto nunca lo podemos ver.
-
Entonces tratamos de estimar
algún tipo de efecto causal promedio.
-
El marco de LATE nos permite
hacer lo que hace ECA
-
donde se tratan algunos controles.
-
El teorema dice
-
que el efecto causal promedio
sobre la gente
-
cuyo estado de tratamiento
puede ser cambiado
-
por la oferta del tratamiento
-
es la razón de IT, a la diferencia
del control del tratamiento
-
en tasas de cumplimiento.
-
Una afirmación matemática
de este resultado aparece aquí
-
donde la letra griega delta
simboliza el efecto IT
-
y los símbolos griegos pi1 y pi0
-
son tasas de cumplimiento
en el grupo asignado al tratamiento
-
y el grupo asignado al control,
respectivamente.
-
La versión impresa de esta clase
-
profundiza en la historia intelectual
de LATE
-
resaltando las contribuciones clave
hechas con Rubin.
-
Por ahora, me gustaría hacer concreto
el teorema de LATE para tí
-
compartiendo una
de mis aplicaciones favoritas de él.
-
LATE en una escuela autónoma
-
Explicaré el marco LATE
-
a través de una pregunta de investigación
que me ha fascinado
-
casi por dos décadas.
-
¿Cuál es el efecto causal
-
en el aprendizaje de la asistencia
a una escuela autónoma?
-
Las escuelas autónomas
son escuelas públicas
-
que operan independientemente
-
de los distritos americanos
de escuelas públicas tradicionales.
-
La autonomía --el derecho de operar
una escuela pública
-
generalmente se obtiene
por un tiempo limitado
-
sujeto a la renovación condicional
por el buen desempeño de una escuela.
-
Las escuelas autónomas
son libres de estructurar
-
su currículum y su ambiente escolar.
-
La diferencia más controversial
-
entre las escuelas autónomas
y las públicas tradicionales
-
es el hecho de que los maestros
y el personal
-
que trabajan en las autónomas
-
raramente han pertenecido
a sindicatos laborales.
-
Al contrario, la mayoría de los maestros
de las grandes escuelas públicas
-
trabajan bajo contratos sindicales.
-
El documental del 2010
"Esperando a Superman"
-
muestra las escuelas que pertenecen
al programa de "Conocimiento es poder"
-
KIPP.
-
Estas escuelas tienen expectativas
muy altas
-
algunas veces este enfoque educativo
se le llama "sin excusas".
-
El modelo "sin excusas"
-
tiene un día escolar largo
y un año escolar extendido
-
contratación selectiva de maestros
-
y se enfoca en habilidades tradicionales
de lectura y matemáticas.
-
El debate americano
sobre la reforma educativa
-
a menudo se enfoca
sobre la grieta del desempeño--
-
que no es más que las grandes diferencias
entre las notas de examen
-
dadas por raza y grupo étnico.
-
Por este enfoque
en los estudiantes de las minorías
-
KIPP, es a menudo central
en este debate
-
con los que lo apoyan,
diciendo que de hecho
-
los estudiantes KIPP que no son blancos
tienen mucho mejores notas de examen
-
que los que no son blancos
de otras escuelas.
-
Por otro lado,
los escépticos del KIPP
-
dicen que el éxito aparente de KIPP
-
refleja el hecho
de que KIPP atrae a familias
-
cuyos niños de todas maneras
tienen más propensidad a triunfar.
-
¿Quién tiene la razón?
-
Como ya habrás podido adivinar
-
un ensayo aleatorizado podría ser decisivo
-
en el debate sobre las escuelas
como KIPP.
-
Como los Premios Nobel
-
los lugares en KIPP
no se asignan aleatoriamente.
-
Al menos, no enteramente.
-
De hecho
-
las escuelas autónomas de Massachusetts
con más candidatos que lugares
-
deben ofrecer sus lugares por lotería.
-
Parece ser un buen experimento natural.
-
Hace un poco más de una década
-
mis colaboradores y yo,
recolectamos datos
-
de loterías de admisiones en KIPP
-
sentando las bases
de dos estudios pioneros
-
el primero que usó loterías
para estudiar KIPP.
-
Nuestro análisis KIPP
es una historia VI clásica
-
porque muchos estudiantes
que ganaron un lugar en la lotería KIPP
-
no se presentaron en el otoño
-
mientras que muchos que no ganaron
lograron entrar.
-
Esta gráfica muestra notas de matemáticas
de los candidatos de educación media KIPP
-
un año después de aplicar a KIPP.
-
Las entradas de arriba de la línea
-
muestran que los candidatos
a quien se les ofreció lugar
-
tienen notas en matemáticas estándarizadas
cercanas a cero --
-
o sea, cerca del promedio estatal.
-
Como antes, estamos trabajando
con datos de notas estandarizadas
-
con media de 0
y desviación estándar de 1.
-
Como los candidatos de KIPP
comienzan con notas de cuarto grado
-
que están apenas 0.3 desviaciones estándar
-
debajo de la media estatal
-
el nivel de desempeño
del promedio estatal es impresionante.
-
Al contrario, el promedio de las notas
de matemáticas entre los que
-
no obtuvieron lugar,
es de -0.36 sigma --
-
o sea, 0.36 desviaciones estándar
por debajo de la media estatal
-
un resultado típico para los estudiantes
urbanos de Massachusetts.
-
Como las ofertas de la lotería
se asignan aleatoriamente
-
podemos decir con confianza
que la oferta para un sitio en KIPP
-
aumenta las notas en matemáticas
por un promedio de 0.36 sigma --
-
un efecto muy grande
que también es estadísticamente preciso.
-
Podemos decir con confianza
que no se trata de suerte.
-
¿Qué nos dice el efecto
de una oferta de 0.36 sigma
-
sobre los efectos de entrar en KIPP?
-
Los métodos VI convierten
los efectos de las ofertas KIPP
-
en efectos de asistencia a KIPP.
-
Usaré un video breve
-
de mi curso corto
de Marginal Revolution University
-
para revisar brevemente
los supuestos clave
-
detrás de esta conversión.
-
- [Narrador] VI describe una
reacción en cadena.
-
¿Porqué las ofertas afectan el desempeño?
-
Probablemente porque afectan
la asistencia autónoma
-
y la asistencia autónoma
mejora las notas en matemáticas.
-
El primer eslabón de la cadena,
llamado, primera etapa
-
es el efecto de la lotería
en la asistencia autónoma.
-
La segunda etapa es el eslabón
-
entre ir a una autónoma
y una variable resultante --
-
en este caso,
las calificaciones en matemáticas.
-
La variable instrumental,
o el instrumento
-
es la variable que inicia
la reacción en cadena.
-
El efecto del instrumento en el resultado
-
se llama forma reducida.
-
Esta reacción en cadena puede ser
representada matemáticamente.
-
Multiplicamos la primer etapa--
el efecto de ganar en la asistencia
-
por la segunda etapa --
el efecto de la asistencia en las notas
-
y obtenemos la forma reducida --
-
el efecto de ganar la lotería por notas.
-
La forma reducida y la primer etapa
son observables y fáciles de calcular.
-
Pero, el efecto de la asistencia
en el desempeño
-
no es directamente observable.
-
Este es el efecto causal
que intentamos determinar.
-
Dados algunos supuestos importantes
que discutiremos en breve
-
podemos encontrar el efecto
de la asistencia KIPP
-
dividiendo la forma reducida
entre la primera etapa.
-
- [Joshua] VI elimina
el sezgo de selección
-
pero igual que todas
nuestras herramientas
-
la solución se construye sobre
una serie de supuestos
-
que no deben darse por hechos.
-
Primero, debe haber
un primer nivel sustancial
-
o sea, una variable instrumental --
-
ganar o perder la lotería
-
debe realmente cambiar la variable
en cuyo efecto estamos interesados --
-
la asistencia a KIPP.
-
En este caso,
la primera etapa no está en duda.
-
Ganar la lotería
-
hace que la asistencia a KIPP
pueda ser mayor.
-
No todas las historias VI son así.
-
Segundo, el instrumento debe asimilarse
a una asignación aleatoria
-
o sea que ganadores y perdedores de la
lotería tengan características similares.
-
Ese es el supuesto de la independencia.
-
Por supuesto que los ganadores de la
lotería KIPP son asignados aleatoriamente
-
Aún así, debemos checar
el balance y confirmar
-
que los ganadores y los perdedores
-
tengan un entorno familiar similar,
aptitudes similares, y así.
-
En esencia, estamos checando para
asegurarnos que la lotería KIPP sea justa
-
y que no hayan grupos sospechosos
de candidatos que puedan ganar.
-
Finalmente, necesitamos que los cambios
de resultado del instrumento
-
sean únicamente a través
de la variables de interés --
-
en este caso, ir a KIPP.
-
Este supuesto se llama
restricción de exclusión.
-
El efecto causal de la admisión de KIPP
-
puede ser escrito
-
como la razón del efecto
de las ofertas sobre las notas
-
en el numerador
-
sobre el efecto de las ofertas
en la inscripción a KIPP
-
en el denominador.
-
El numerador en esta fórmula VI --
-
o sea, el efecto directo
del instrumento en los resultados
-
tiene un nombre especial.
-
Se le llama forma reducida.
-
El denominador es la primer estapa.
-
La restricción de exclusión
es a menudo la parte más confusa
-
o más controversial
de una historia VI.
-
Aquí la restricción de exclusión
equivale
-
a que el diferencial de 0.36 en la nota
entre los ganadores y los perdedores
-
de la lotería,
es enteramente atribuíble
-
a la diferencia de la pérdida/ganancia
de 0.74 en la tasa de asistencia.
-
Conectando los números
-
el efecto de la asistencia de KIPP
es de 0.48 sigma
-
casi la mitad de la ganancia
de la desviación estándar
-
ganada en las notas de matemáticas --
-
ese es un gran efecto.
-
¿Quién se beneficia
tan espectacularmente de KIPP?
-
¿Todos los que aplican a KIPP
ganan tanto?
-
LATE responde a esta pregunta.
-
La interpretación LATE
de la estrategia empírica KIPP VI
-
se ilumina
por la historia bíblica de la Pascua
-
que explica que hay cuatro tipos
de niños
-
cada uno con conductas características.
-
Para dar seguimiento a estos niños
y sus conductas
-
les daré nombres diferentes.
-
Los candidatos como Álvaro,
mueren por entrar en KIPP.
-
Si Álvaro pierde la lotería KIPP
-
su madre encontrará la forma
de meterlo ahí
-
tal vez volviendo a aplicar.
-
Los candidatos como Camila
están felices de ir a KIPP
-
si ganan su lugar en la lotería
-
pero aceptarán el veredicto,
si es que pierden.
-
Finalmente,
a los candidatos como Normando
-
les preocupan los días largos
y las muchas tareas que habrán en KIPP.
-
Normando realmente no quiere ir
-
y rechaza el lugar que ganó en la lotería.
-
A Normando lo llamamos "nunca-lo-toma"
-
por que gane o pierda,
no quiere ir a KIPP.
-
En el otro extremo de la cuerda
-
a Álvaro lo llamaremos "siempre-lo-toma".
-
Él, felizmente tomará el lugar
cuando se le ofrezca
-
mientras que su madre simplemente
encuentra alguna forma de lograrlo
-
aún cuando él pierda.
-
Para Álvaro y Normando
-
el escoger escuela, KIPP, tradicional
no tiene que ver con la lotería.
-
Camila es el tipo de candidato
que da poder al VI.
-
El instrumento determina
su estatus de tratamiento.
-
Las estrategias VI dependen
de los candidatos como Camila
-
llamados "cumplidores".
-
Este término proviene
de los ensayos aleatorizados
-
explicados con anterioridad.
-
Como ya hemos discutido
-
muchos ensayos aleatorizados, aleatorizan
solo la oportunidad de ser tratados
-
mientras que la decisión de cumplir
con el tratamiento
-
permanece voluntaria y no es aleatoria.
-
Los cumplidores de ECA son aquellos
que optan por el tratamiento
-
cuando se hace la oferta del tratamiento
-
pero no al revés.
-
Con los instrumentos de lotería
-
LATE es el efecto de la asistencia
a KIPP en Camila
-
y los otros cumplidores como ella
-
quienes se inscriben en KIPP,
toman el tratamiento
-
cuando se les ofrece,
a través de la lotería
-
pero no viceversa.
-
Los métodos VI no son informativos
-
para los que siempre lo toman como Álvaro
y los que nunca lo toman como Normando
-
porque el instrumento no se relaciona
-
con su estatus de tratamiento.
-
¿No dije que había cuatro tipos de niños?
-
El cuarto tipo de niño en la teoría VI
se comporta perversamente.
-
¡Siempre hay uno en las familias!
-
Este niño desafiante se inscribe en KIPP
-
solo cuando pierde la lotería.
-
De hecho, el teorema LATE
-
requiere que asumamos
que hay pocos desafiantes --
-
este parece ser un supuesto razonable
-
para los intrumentos de lotería autónomos
-
y tal vez hasta en la vida.
-
Al teorema LATE algunas veces se le ve
-
como una relevancia limitante
de los estimados económicos
-
porque se enfoca en grupos de cumplidores.
-
Aún así, la población de cumplidores
-
es un grupo del que nos gustaría aprender.
-
En el ejemplo de KIPP
-
los cumplidores son niños
propensos a ser seleccionados en KIPP
-
donde la escuela se expande
-
y ofrece lugares
adicionales en la lotería.
-
¿Qué tan relevante es esto?
-
Hace algunos años
-
Massachusetts permitió que algunas
escuelas autónomas se expandieran.
-
Un estudio reciente, realizado
por algunos compañeros de laboratorio
-
muestra que los estimados LATE
-
como el que acabamos de calcular para KIPP
-
pronostican ganancias de aprendizaje
-
en las escuelas creadas
para expansión autónoma.
-
Cerrando la grieta del desempeño
-
LATE no solo es un teorema --
-
es un marco de referencia.
-
El marco LATE puede ser usado
para estimar la distribución entera
-
de los resultados potenciales
de los cumplidores
-
como si hubiéramos tenido un ensayo
aleatorizado para este grupo.
-
Aunque la teoría detrás de este hecho
-
es necesariamente técnica
-
el valor del marco de referencia
se aprecia fácilmente en la práctica.
-
Para ilustrar esto,
recordemos que el estudio de KIPP
-
está motivado en parte por las diferencias
en los resultados de las notas por raza.
-
Veamos la distribución
de los grados de cuarto grado
-
separados por raza.
-
para candidatos de Boston
a escuelas autónomas de educación media.
-
Los dos lados de esta figura
-
muestran distribuciones para los
cumplidores con y sin tratamiento.
-
A los cumplidores con tratamiento se les
ofrece un lugar autónomo en la lotería.
-
Mientras que a los cumplidores
sin tratamiento no se les ofrece nada.
-
Ya que estas son notas de cuarto grado
-
mientras que la educación media
empieza en el quinto o sexto grado
-
ambos lados de la figura son similares.
-
Ambos lados muestran distribuciones
de notas para los candidatos negros
-
desplazadas hacia la izquierda
-
de las distribuciones de notas
de los blancos.
-
Para el octavo grado
-
los cumplidores con tratamiento han
terminado la escuela autónoma en Boston
-
mientras que los cumplidores
sin tratamiento se han quedado
-
en una escuela pública tradicional.
-
Notablemente,
esta siguiente gráfica
-
muestra que las distribuciones
de las notas de octavo grado
-
de los cumplidores con tratamiento
negros y blancos
-
no pueden distinguirse.
-
Las escuelas medias autónomas de Boston
cerraron la grieta del desempeño
-
Pero para los sin tratamiento
-
las distribuciones de las notas
de negros y blancos permanecen distintas
-
con los estudiantes negros
detrás de los blancos
-
como estaban en cuarto grado
-
Las autónomas de Boston
cerraron la grieta del desempeño
-
porque aquellos que entran
en las escuelas autónomas
-
hasta atrás
-
tienden a ganar lo más posible
de la inscripción autónoma.
-
Profundizo en este punto
en la versión escrita de esta plática.
-
Efectos explicados
de la escuela de examen de Chicago
-
¿Recuerdas ese acertijo
-
sobre los efectos negativos
del examen escolar de Chicago?
-
Terminaré la parte científica
de mi plática usando VI y RD
-
para explicar este hallazgo sorprendente.
-
La solución a este acertijo
comienza con el hecho
-
de que el razonamiento económico
se trata sobre las alternativas
-
¿Cuál es la alternativa
a la educación de examen escolar?
-
Para muchos candidatos
a las escuelas de examen de Chicago
-
la alternativa al examen líder
es la escuela pública tradicional.
-
Pero muchos de los candidatos rechazados
de las escuelas de examen de Chicago
-
se enlistan en una escuela autónoma
-
Las ofertas de exámenes escolares
-
reducen la posibilidad
de la asistencia a las escuelas autónomas.
-
Específicamente, las escuelas de examen
dispersan a los candidatos
-
lejos de las preparatorias
-
en la red Noble
de las escuelas autónomas.
-
Noble, con pedagogía,
parecido a KIPP
-
es uno de los proveedores más visibles
de autónomas de Chicago.
-
También como KIPP, la evidencia
convincente de la efectividad de Noble
-
viene de las admisiones de las loterías.
-
El eje de la X en esta gráfica
-
muestra los efectos de la oferta
de lotería en los años inscritos en Noble.
-
Esta es la primera etapa de Noble
-
para un VI que usa una variable ficticia
-
indicando las ofertas de lotería de Noble
-
como instrumento de inscripción
de Noble.
-
Este gráfico tiene una característica
que lo distingue
-
de un análisis KIPP más simple.
-
El gráfico muestras los efectos
del primer nivel
-
para dos grupos.
-
Uno para los candidatos de Noble
-
que viven en las zonas de menos ingresos
en Chicago, el nivel 1
-
y uno para los candidatos de Noble
-
que viven en áreas de mayores ingresos
-
nivel 3.
-
¿Recuerdas la reacción en cadena de VI?
-
Cada punto de esta gráfica
-
tiene coordenadas dadas
por la forma reducida de la primera etapa
-
y eso implica un estimado VI.
-
El efecto de la inscripción de Noble
en las notas ECA
-
es la razón de la coordenada
de la forma reducida
-
entre la coordenada de la primer etapa.
-
Este gráfico muestras ambas razones
-
Los resultados relevantes
para el Nivel 1 son 0.35
-
mientras que para el Nivel 3,
tenemos 0.33
-
y no está mal.
-
Para los candidatos de Noble
de ambos niveles
-
estas primeras etapas
y los estimados de forma reducida
-
implican un efecto anual
de inscripción en Noble
-
de una ganancia de una tercera parte
de la desviación estándar
-
en las notas de matemáticas de ECA.
-
Nota que también hay una línea
-
conectando dos de los estimados VI
en la figura.
-
Ya que esta línea pasa a través del origen
-
el cambio en y dividido
por el cambio en x de su pendiente
-
es igual a los dos estimados de VI --
-
en este caso,
la pendiente es de 0.34
-
El hecho de que la línea
pase a través de 0,0
-
es importante por otra razón.
-
Con esto, hemos corroborado
la restricción de exclusión.
-
Específicamente,
la restricción de exclusión
-
dice que un grupo dado
-
para el cual las ofertas de Noble no se
relacionan con la inscripción de Noble
-
podemos esperar ver
-
un efecto de la forma reducido a cero
de estas ofertas
-
hechas a los candidatos en ese grupo.
-
¿Qué tan consistente es la evidencia de
una ganancia de aprendizaje de Noble
-
del orden de 0.34 sigma por año?
-
En la siguiente gráfica
-
agregamos doce punto más
a los dos originales.
-
Los puntos rojos aquí muestran
la primer etapa y la forma reducida.
-
Los efectos de la oferta de Noble,
para los doce grupos adicionales
-
dos niveles más y doce grupos
-
definidos por las características
demográficas
-
relacionadas con la raza, sexo,
ingreso familiar
-
y calificaciones base.
-
Aunque no se ajusta perfectamente
-
estos puntos señalan una línea
alrededor de pendiente 0.36 sigma
-
parecido a línea que vimos antes
para los candidatos de los niveles 1 y 3.
-
Ahora te preguntarás
-
qué tienen que ver los estimados
de Noble VI en esta figura
-
con las inscripciones del examen escolar.
-
Aquí está la respuesta.
-
La línea azul en esta nueva gráfica
muestra, como esperábamos
-
que la exposición al examen escolar
brincara
-
para candidatos que cumplan
con su nivel de requisitos.
-
Al mismo tiempo
-
la línea roja muestra
que la inscripción escolar de Noble
-
falla en el mismo punto.
-
Este es el efecto de desviación
de las ofertas del examen escolar
-
en la inscripción de Noble.
-
A muchos niños a quienes se les ofrece
un lugar en una escuela de examen
-
prefieren ese lugar de examen escolar
a inscribirse en Noble.
-
IV nos da la oportunidad
de ir por las ramas
-
con fuertes aseveraciones
sobre el mecanismo
-
que está detrás del efecto causal.
-
Aquí va una aseveración causal fuerte
-
en cuando a porqué las escuela de examen
de Chicago reducen su desempeño.
-
La fuerza primaria
-
que dirije los efectos de la forma
reducida de los requisitos del examen
-
escolar en las notas ECA,
yo digo
-
es el efecto de las ofertas del examen
escolar en la inscripción de Noble.
-
Para apoyar esta aseveración
-
considera los puntos de la línea azul
-
todos a la izquierda del cero
en el eje de las X.
-
Estos puntos son negativos
-
porque marcan el efecto de los requisitos
del examen escolar
-
en la inscripción escolar de Noble
-
para grupos de candidatos particulares.
-
Ya vimos
-
que a los candidatos de Noble
a quienes se les ofrece un lugar
-
realizan grandes ganancias matemáticas
en ECA como resultado.
-
Ahora considera las ofertas
de las escuelas de examen
-
como instrumento
para inscripción de Noble.
-
Como siempre,
VI es la reacción en cadena.
-
Si los requisitos del examen escolar
reducen tiempo en Noble
-
por 0.37 años
-
y cada año de inscripción en Noble
-
incrementa las notas ECA
en matemáticas, 0.36 sigma
-
deberíamos esperar
efectos de forma reducida
-
de los requisitos del examen escolar
-
para reducir las notas ECA
-
del prodcuto de estos dos número --
-
o sea, por 0.13 sigma.
-
Los efectos de la forma reducida
de los requisitos
-
a la izquierda de la figura
-
son consistentes con esto.
-
Se juntan cercanamente al -0.16
y no al -0.13
-
pero esa diferencia está dentro
de la varianza del muestreo
-
de los estimados subyacientes.
-
La historia causal aquí
-
postula la desviación
de las escuelas autónomas
-
como mecanismo por el cual
las ofertas de las escuelas de examen
-
logran su desempeño.
-
En otras palabras,
es la inscripción en Noble
-
lo que se presume que satisface
una restricción de exclusión
-
cuando usamos las ofertas
de las escuelas de examen
-
como variable instrumental.
-
Lo importante, como vimos anteiormente
-
es que la línea en esta gráfica final,
con dos grupos de catorce puntos
-
corre a través del origen.
-
Este hecho apoya
nuestra nueva restricción de exclusión.
-
Para cualquier grupo de candidatos
-
para el cual las ofertas
de escuelas de examen
-
tengan poco o ningún efecto
en la inscripción escolar de Noble
-
deberíamos también ver sin cambios
las notas de ECA.
-
Al mismo tiempo
-
porque los puntos azules y rojos se juntan
alrededor de la misma línea
-
los estimados VI de los efectos
de la inscripción en la escuela Noble
-
generados por Noble y por las ofertas
de las escuelas de examen
-
son prácticamente iguales.
-
Espero que esta historia empírica
-
te convenza
del poder de VI y RD
-
para generar conocimiento nuevo causal.
-
Por décadas,
he tenido la suerte de trabajar
-
en muchos problemas empíricos
interesantísimos.
-
He calculado un método de VI
de estmados de lotería
-
en mi tesis de doctorado de Princeton
-
en un gran monstruo peludo de computadora
-
usando cintas de nueve y rentando espacio
-
en un disco duro comunal.
-
Los estudiantes de Princeton
-
aprendieron a montar
y usar carretes de cinta
-
del tamaño de un pastel de queso.
-
Lo bueno es que el estudio empírico hoy
es manualmente un poco menos intensivo.
-
¿Qué mas ha mejorado
en la época moderna empírica?
-
En un artículo del 2010,
Steve Pischke y yo creamos la frase
-
"Revolución de credibilidad".
-
Con esto,
nos referimos al cambio económico
-
hacia las estrategias
empíricas transparentes
-
aplicadas a preguntas concretas causales
-
como las preguntas que David Card
ha estudiado tan convincentemente.
-
La econometría de mis días escolares
-
es enfocó más en modelos
que en preguntas.
-
El modelado tiene que ver
con la era que ya terminó
-
pero ya desde entonces los econometristas
han encontrado mucho en qué contribuir.
-
Guardaré mis listas personales
-
de "grandes éxitos"
y "nuevos artistas"
-
para la versión escrita de esta clase.
-
Terminaré aquí diciendo
-
que estoy orgulloso de ser parte
de esta empresa
-
contemporánea de economía empírica
-
y estoy agradecido
más allá de las palabras
-
por haber sido reconocido
como contrbuyente a ella.
-
En Princeton,
a finales de los años ochenta
-
mis compañeros de universidad
y yo nos reíamos
-
leyendo el lamento de Ed Leamer
-
sobre que ningún economista toma en serio
el trabajo empírico de otro economista.
-
Esto ya no es cierto.
-
El trabajo empírico hoy aspira
a contar historias causales convincentes.
-
No es que todo esfuerzo tenga éxito
-
ni mucho menos.
-
Pero como cualquier candidato a trabajar
en economía te diría
-
el trabajo empírico realizado con cuidado
y claramente explicado
-
se toma muy en serio --
-
esa es la medida del éxito
de nuestra empresa
-
♪ [música] ♪
-
- [Narrador] Si te gustaría aprender
más sobre Josh
-
revisa su curso gratuito
"Dominando la Econometría".
-
Si te gustaría explorar
la investigación de Josh
-
revisa estas lisgas en la descripción
-
o puedes dar clic para ver más
sobre los videos de Josh
-
♪ [música] ♪
Marginal Revolution University
