♪ (música) ♪ Estrategias empíricas en Economía: Iluminando el camino de la causa al efecto [Joshua] Mientras calmaba mi nervioso iPhone temprano el 11 de octubre, mis pensamientos se dirigieron hacia la pregunta de si el reconocimiento a nivel del Nobel podía cambiar la vida de la familia Angrist. Nuestra familia es muy unida; no nos hace falta nada. Entonces, me preocupó que la estresante celebridad del Nobel no fuera positiva. Pero después de la primer taza de café, comencé a relajarme. Se me ocurrió que el tema sobre cómo el reconocimiento público afecta la vida de un estudioso es, después de todo, una simple pregunta causal. La intervención del Nobel es sustancial, repentina y bien medida. Resultados como los de la salud y la riqueza son fáciles de registrar. Cuando me dieron el reconocimiento junto a mis colegas laureados, Guido Imbens y David Card, por contestar preguntas causales usando datos observacionales, mis pensamientos migraron de la agitación personal a las demandas más familiares en cuanto a la identificación y estimación de efectos causales. Pude calmar mi mente preocupada, imaginando un estudio sobre el efecto del tratamiento del Premio Nobel. ¿Cómo se organizaría dicho estudio? En un ensayo de 1999 publicado en el "Manual de Economía Laboral", Alan Krueger y yo adoptamos la frase "estrategia empírica". El volumen del manual en cuestión fue editado por dos de mis tutores de tesis de doctorado de Princeton: Orley Ashenfelter y David Card, unos de los más exitosos y prolíficos tutores de graduados que ha habido en Economía. Una estrategia empírica es un plan de investigación que incluye la recolección de datos, identificación y estimación econométrica. La identificación es el término que los enométricos aplican al diseño de la investigación, un ensayo clínico aleatorizado, un ECA, es el más simple y más poderoso diseño de investigación. En los ECA, los efectos causales se identifican asignando aleatoriamente el tratamiento. La asignación aleatoria asegura que los grupos de tratamiento y de control sean comparables en la ausencia de tratamiento. Para que las diferencias entre ellos reflejen posteriormente solo el efecto del tratamiento. Probablemente, los Premios Nobel no se asignen aleatoriamente. A pesar de este desafío, se me ocurre una estrategía empírica convincente para el efecto del tratamiento del Nobel al menos como una idea empírica imaginativa pero no realista. Imagina un grupo de candidatos elegibles para el premio Nobel, el grupo bajo consideración para el premio. Los candidatos no necesitan postularse a sí mismos. Me imagino, que algún colega los nomina. Mi estudio fantástico de impacto del Nobel solo analiza los candidatos al Nobel, ya que son estudiosos de élite. Pero ese solo el primer paso. Los candidatos con credibilidad son evaluados por jueces usando criterios como publicaciones, citas, declaraciones a favor del nombramiento del candidato. Me imagino que este material se revisa y se le asigna una calificación numérica usando algún tipo de rúbrica de calificación. Las tres calificaciones más altas según el campo en un año ganan el premio. Teniendo idetificados a los candidatos y sus datos en sus calificaciones, el siguiente paso en mi estudio de impacto del Nobel es registrar los puntos de corte relevantes. El punto de corte del Nobel es la calificación más baja de aquellos a quienes se les otorgó el premio. Muchos de los que esperaban el Nobel no alcanzaron el corte. Tomando en cuenta solo a los que por poco lo logran junto con los ganadores, las diferencias en las calificaciones entres los de arriba y debajo del corte comienzan a verse por casualidad, más o menos asignados aleatoriamente. Después de todo, los que están cerca del Nobel son los estudiosos más eminentes, también. Con una publicación de más alto impacto, un poco más de apoyo por parte de los nominadores, pudieron haber obtenido el premio Nobel. Algunos de ellos seguramente lo harán algún día. La estrategia empírica delineada aquí se llama Diseño de regresión discontinua, RD. RD explota los saltos en los problemas humanos inducidos por reglas, regulaciones y la necesidad de clasificar personas para varios propósitos de asignación. Cuando se determina el tratamiento o la intervención a través de una variable de empate que cruza o no un umbral, aquellos justo por debajo del umbral se convierten en un grupo de control natural para aquellos que lo pasan. El RD no requiere que la variable cuyas causas buscamos se ajust o no por completo al valor de corte, únicamente requiere que el valor promedio de esta variable brinque hasta el punto de corte. La RD premite, por ejemplo, que el más cercano al premio Nobel de este año pueda ser el ganador del próximo año. Permitir esto conlleva al uso de saltos en la tasa asignada al tratamiento para construir variables instrumentales, VI, estimaciones del efecto del tratamiento recibido. Se dice que este tipo de RD es difuso, pero como Steve Pischke y yo escribimos en nuestro primer libro: "La RD difusa es VI". (risa de niños) El primer estudio RD al que contribuí fue escrito con mi habitual colaborador Victor Lavy. Este estudio está motivado por los altos costos y los retornos inciertos de la clase de las pequeñas escuelas de educación primaria. Usamos una regla utilizada por las escuelas de primaria israelíes para determinar el tamaño de la clase. Esta regla se usa para estimar los efectos del tamaño poblacional de la clase como se hace en ECA. En los años 90, la población de las clases israelíes era grande. Los estudiates inscritos en un grado cohorte de 40 era probable que los colocaran en un aula de 40, ese es el punto de corte relevante. Al agregar otro niño a la cohorte, para llegar a 41, era probable que dividieran la cohorte en dos clases mucho más pequeñas. Esto conlleva a la regla del diseño de investigación de Maimónides nombrada así porque Ramban en el siglo XII propuso un máximo de tamaño de la clase de 40. En esta figura se trazan los tamaños de las clases de cuarto grado israelíes en función del número de inscritod del cuarto grado superpuesto con la regla del tamaño de clase teórica, la regla de Maimónides. El ajuste no es perfecto, esa es una característica que hace difusa esta aplicación de la RD, pero la esencia de esto es la reducción marcada del tamaño de la clase en cada múltiplo entero de cuarenta, el punto de corte relevante, tal y como lo predice la regla. Como resultado, estas reducciones en el tamaño de clase se reflejan en los saltos de las calificaciones de matemáticas del cuarto y quinto grado. ¡Examen! ¿La comparación entre los ganadores del Nobel y los que casi lo ganan sería en realidad un buen experimento natural? La lógica detrá de este tipo de afirmación parece más sólida si se comparan escuelas de 40 y 41 estudiantes del cuarto grado que para comparar los que ganan y los que por poco ganan. Aún así, ambos escenarios utilizan una característica del mundo físico. Siempre que la variable que rompe el empate, conocida en RD como variable continua, tiene una distribución continua, la probabilidad de cruzar el valor de corte se aproxima a la mitad cuando se examina en un estrecho segmento alrededor del corte. En trabajo empíricos de RD el segmento alrededor de los cortes, se conoce como ancho de banda. Es importante decir que la probabilidad límite es de 0.5 para todos sin importar qué tan calificados estén al entrar en el concurso del Nobel. Este hecho importante puede verse en los datos de los candidatos de una de las más codiciadas escuelas de Nueva York. que filtra por test Como antecedente un 40 % de las escuelas secundarias y bachillerato de Nueva York selecciona a sus candidatos basándose en resultados de examenes, grados y otros criterios exactos. En otras palabras el régimen de admisiones en escuelas que filtran estudiantes es muy parecido al esquema que imaginé para el premio Nobel. Estas escuelas no son más que un número de sistemas altamente selectivos dentro de un sistema en los distritos escolares grandes de Estados Unidos. Boston, Chicago, San Francisco y Washington D.C. todos tienen instituciones altamente selectivas conocidas como escuelas de examen. Las escuelas de examen operan como parte de sistemas de escuelas públicas más grandes que inscriben a los estudiantes sin detectar sus capacidades. Motivados por una larga controversia que hay sobre la equidad de las admisiones por filtro mis colaboradores de laboratorio de proyecto y yo examinamos los efectos causales de la asistencia a la escuela de examen en Boston, Chicago, y Nueva York. Esta figura muestra la probabilidad de que se le ofrezca un cupo en la preparatoria de Nueva York Townsend Harris calificada como la doceava a nivel nacional. La altura de las barras en la figura representa la tasa de calificación; o sea, la probabilidad de que la nota de admisión a Townsend Harris esté por encima de la del candidato al cupo con la nota más baja. La barras muestran la tasa de calificación condicional en una medida de los logros de la pre-aplicación de referencia. En particular, las barras muestran las tasas condicionales de calificación con relación a si el candidato está en el cuartil superior o inferior de sus notas de matemáticas de sexto grado Los candidatos de Townsend Harris con calificaciones estándars altas tienen más probabilidad a calificar que los que tienen notas estándars bajas. Esto no debe sorprender, pero en un ancho de banda simétrico reducido alrededor del valor de corte de la escuela, las tasas de calificaciones en los dos grupos convergen. Las tasas de calificación en los últimos y los grupos más pequeños son notablemente cercanas a la mitad. Esto es lo que esperaríamos ver [cuando] Townsend Harris acepta estudiantes lanzando una moneda al aire, en vez de seleccionar a los altamente calificados en el examen de admisión escolar. Aún cuando las admisiones operan con métodos de pruebas, los datos pueden ser arreglados para imitar un ECA. La ilusión de la élite Algunas de las preguntas que he estudiado son más controversiales que la pregunta para el acceso a las escuelas públicas de examen como la inscripción selectiva de las preparatorias Boston Latin School, Payton y Northside de Chicago y las legendarias escuelas de Nueva York: Brooklyn Tech, Bronx Science y Stuyvesant, preparatorias especializadas que entre todas han graduado a catorce galardonados con el Nobel. Townsen Harris, la escuela con la que empezamos hoy, ha graduado a tres premios Nobel, incluyendo al economista Ken Arrow. Los defensores de las escualas de examen ven las oportunidades que estas escuelas aportan para democratizar la educación pública. Ellos sostienen que las familias ricas pueden acceder al plan de estudio de las escuelas de examen en el sector privado. ¿No deberían los estudiantes de bajos ingresos tener al alcance la misma oportunidad para aspirar a una eduación de elite? Los críticos de escuelas de inscripción selectiva sostienen que, más que expandir la equidad, las escuelas de examen están sesgados intrínsecamente en contra de los estudiantes de raza negra e hispánica que forman el grueso de los distritos urbanos de Estados Unidos. La escuela superselectiva de Stuyvesant de Nueva York, por ejemplo inscribió a tan solo siete estudiantes negros en el 2019 de un total de 895 [nuevos inscritos], pero ¿realmente vale la pena pelear por los cupos de la escuela de examen? Mis colaboradores y yo, hemos usado repetidamente las estrategias empíricas de RD para estudiar los efectos causales de la asistencia a las escuelas de examen como Townsend Harris y Boston Latin. Nuestro primer estudio de escula de examen, el cual examina las escuelas de Boston y Nueva York, resume estos hallazgos en su título, "La ilusión de la élite". La ilusión de la élite se refiere al hecho de que, aún que los estudiantes de la escola de examen sin duda tienen notas altas en las pruebas y otros buenos resultados, esto no es un efecto causal de la asistencia a la escuela de examen. Nuestras estimaciones consistentemente sugieren que los efectos causales de asistir a una escula de examen en el aprendizaje de sus estudiantes e ir al colegio son cero, [pueden ser incluso] negativos. El buen desempeño de los estudiantes de la escuela de examen refleja un sezgo de selección; o sea, el proceso por el que esos estudiantes son escogidos, más que por efectos causales. Los datos del gran sector de la escuela de examen de Chicago ilustran la ilusión de la élite. En esta figura se representa gráficamente la media del logro entre iguales; o sea, las notas del examen del sexto grado de mis compañeros de noveno grado, contra el desempate de admisiones para un subconjunto de candidatos a cualquiera de las nueve escuelas de examen de Chicago. Los candidatos a estas escuelas están clasificados hasta la posición seis, mientras que las escuelas de examen dan prioridad a sus candidatos usando un índice de composición común formado con base a un examen de admisión, los GPA y las notas estándarizadas del séptimo grado. Este desempate compuesto es la variable candidata para un diseño RD que revela lo que pasa cuando se le ofrece un cupo de una escuela de examen a un candidato. En la contienda de la escuela de examen de Chicago, que en realidad es una aplicación del célebre algoritmo de coincidencia de Gale y Shapley, los candidatos a las escuelas de examen están seguros de que se les ofrecerá un cupo cuando sobrepasen al más bajo en sus grupos de valores de corte de entre las escuelas de su rango. A este mínimo corte lo llamamos: "punto de corte clasificatorio". Esta figura muestra el abrupto salto entre el logro de la media de los [iguales] para los candidatos a la escuela de examen de Chicago que sobrepasen sus puntos de corte clasificatorio. Este salto refleja el hecho de que la mayoría de los candidatos a los que se le ofreció un cupo en la escuela de examen lo toman y los candidatos que se inscriben en una de las preparatorias de inscripción selectiva de Chicago están seguros de tener un cupo en un aula de noveno grado llena de otros compañeros precoces porque solo los relativeamente precoces los que lo lograrán. El incremento en el logro entre iguales a través de las cantidades del punto de corte calificatorio equivale casi a la mitad de la desviación estándar, un efecto muy grande, y, aún así, los iguales sobresalientes a pesar de tener la oferta de un cupo en una escuela de examen no parece [aumentar] el aprendizaje. Grafiquemos las notas de los candidatos al ACT contra sus valores de desempate. Esta gráfica muestra que los candidatos a la escuela de examen que superaron el punto de corte clasificatorio se desempeñan peor de forma acentuada en el ACT. ¿Cuál es la explicación de esto? Hay que comentar sobre VI y RD para desenredar las fuerzas detrás de este intrigante e inesperado efecto negativo, pero primero, algo sobre la teoría IV. Un poco de LATE Guido Imbens y yo desarrollamos herramientas teóricas para mejorar el entendimiento de los economistas de las estrategias empíricas que involucran a VI y RD. El premio que compartimos es un reconocimiento por este trabajo. Guido y yo coincidimos únicamente un año en Harvard donde ambos obtuvimos nuestros primeros trabajos de post doctorado. Le dí la bienvenida a Guido en Cambridge, Massachusetts, con un par de variables instrumentales interesantes. Usé el instrumento de selección por lotería en mi tesis de doctorado para estimar las consecuencias económicas a largo plazo de servir en las Fuerzas Armadas [de] los soldados que fueron llamados a fila El instrumento de la lotería de selección se basa en que los números de la lotería se asignan aleatoriamente a los cumpleaños determinados en el riesgo de conscripción de la era de Vietnam. Aún así, la mayoría de los soldados fueron voluntarios tal y como lo es hoy. El instrumento del trimestre de nacimiento se usa en mi artículo de 1991 con Alan Krueger para estimar los retornos económicos escolares. Este instrumento se basa en el hecho de que a los hombres nacidos al principio del año se les permitía abandonar la preparatoria en su cumpleaños número dieciséis con menor escolaridad conclida que aquellos que nacieron después. Guido y yo comenzamos a preguntarnos: "¿Qué es lo que realmente aprendemos de la selección de idoneidad y los experimentos naturales del trimestre de nacimiento? Uno primer resultado en nuestra búsqueda de un nuevo entendimiento de VI fue la solución al problema de sesgo de selección en un ECA con cumplimiento parcial. Incluso en un ensayo clínico aleatorizado, algunas de las personas asignadas al tratamiento podría optar por salirse. Este hecho siempre ha hecho que los ensayistas queden descontentos porque las decisiones para no participar no se hacen aleatoriamente. Nuestro primer manuscrito juntos muestra que en un ensayo aleatorizado con cumplimiento parcial se puede usar VI para estimar el efecto del tratamiento en los que han sido tratados, incluso cuando a algunos se les ofrece tratamiento y lo rechazan. Esto funciona a pesar de que aquellos que cumplen con el tratamiento podrían ser un grupo muy selecto. Desafortunadamente para nosotros, llegamos tarde a la fiesta. Poco tiempo después de publicar nuestro primer escrito aprendimos sobre la contribución concisa de Howard Bloom que incluye este resultado teórico. Notablemente, Bloom derivó esto de los primeros principios sin hacer conección con VI. Entonces Guido y yo volvimos a nuestro punto de partida Y unos meses después, tuvimos el LATE un teorema que muestra cómo estimar el promedio local del efecto tratamiento. El teorema LATE generaliza el teorema de Bloom y establece la conexión entre el cumplimiento y VI. Manteniendo la analogía de los ensayos clínicos, si Zi indica si al sujeto i se le ofrece tratamiento, esto se asigna aleatoriamente, y, también, si D1i indica el estatus del tratamiento del sujeto i cuando se le ha asignado al tratamiento y si D0i indica el estatus del tratamiento del sujeto i cuando se asigne al control, usaré esta notación formal para dar una declaración clara del resultado de LATE y luego daremos seguimiento con ejemplos. Una pieza clave para la estructura del LATE, liderado por el estadístico Don Rubin, es el par de resultados potenciales. Como ya es costumbre, denoto los resultados potenciales para el sujeto i en los estados con tratamiento y sin tratamiento mediante Y1i y Y0i respectivamente. El resultado observado es Y1i para el que está tratado y Y0i para los no tratados. Y1i menos Y0i es el efecto causal del tratamiento en el sujeto i, pero esto nunca lo podemos ver. Por tanto, tratamos de estimar algún tipo de efecto causal promedio. El marco del LATE nos permite hacer lo que hace ECA donde algunos controles son tratados. El teorema dice que el efecto causal promedio sobre las personas, cuyo estado de tratamiento puede cambiarse ofreciendole el tratamiento, es la proporción de [IT] de la diferencia del control del tratamiento en las tasas de cumplimiento. Una declaración matemática de este resultado aparece aquí donde la letra griega delta simboliza el efecto [IT] y los símbolos griegos pi1 y pi0 son tasas de cumplimiento en el grupo asignado al tratamiento y el grupo asignado al control respectivamente. La versión impresa de esta clase ahonda en la historia intelectual del LATE, resaltando las contribuciones clave hechas con Rubin. Por ahora, me gustaría hacer concreto el teorema del LATE para tí compartiendo una de mis aplicaciones favoritas de él. Explicaré el marco del LATE a través de una pregunta de investigación que me ha fascinado casi por dos décadas: ¿Cuál es el efecto causal de la asistencia a una escuela autónoma en el aprendizaje ? Las escuelas autónomas son escuelas públicas que operan independientemente de los distritos de las escuelas públicas tradicionales de Estados Unidos. La autonomía, el derecho de operar una escuela pública; generalmente, se obtiene por tiempo limitado sujeto a la renovación, condicionada por el buen desempeño de una escuela. Las escuelas autónomas son libres de estructurar su currículum y su ambiente escolar. La diferencia más controversial entre las escuelas autónomas y las públicas tradicionales es el hecho de que los maestros y el personal que trabajan en las escuelas autónomas raramente pertenecen a sindicatos laborales. Al contrario, la mayoría de los maestros de las grandes escuelas públicas trabajan bajo contratos sindicales. El documental del 2010 "Esperando a Superman" muestra las escuelas que pertenecen al programa el "Conocimiento es poder", KIPP. Estas escuelas son un emblema de expectativas muy altas algunas veces también llamado el enfoque "sin excusas" de la escuela pública El modelo "sin excusas" presenta una jornada escolar larga y un año escolar extendido contratación selectiva de maestros y se enfoca en las competencias tradicionales de lectura y matemáticas. El debate estadounidense sobre la reforma educativa a menudo se enfoca sobre la brecha del desempeño, que es la clave de las grandes diferencias entre las notas de examen por raza y grupo étnico. Debido a su enfoque en los estudiantes de las minorías, KIPP es a menudo central en este debate con partidarios apuntando al hecho de que los estudiantes KIPP que no son blancos tienen mucho mejores notas que los que no son blancos de escuelas cercanas. Por otro lado, los escépticos del KIPP sostienen que el éxito aparente de KIPP refleja el hecho de que KIPP atrae a familias cuyos niños de todas maneras tienen más probabilidadad de triunfar. ¿Quién tiene la razón? Como ya habrás podido suponer un ensayo aleatorizado puede ser decisivo en el debate sobre las escuelas como KIPP. Sin embargo, como en los Premios Nobel, los cupos en el KIPP no se asignan aleatoriamente. Bien, al menos, no totalmente. De hecho, las escuelas autónomas de Massachusetts con más candidatos que cupos deben ofrecer sus cupos a través lotería. Parece ser un buen experimento natural. Hace un poco más de una década, mis colaboradores y yo, recolectamos datos de loterías de admisiones en KIPP sentando las bases de dos estudios autónomos novedosos, el primero que usó loterías para estudiar KIPP. Nuestro análisis KIPP es una historia VI clásica porque muchos estudiantes a quienes les ofrecieron un cupo en la lotería KIPP no se presentaron en el otoño mientras que a unos pocos que no les ofrecieron cupo lograron entrar. Esta gráfica muestra las notas de matemáticas de los candidatos de educación media KIPP un año después de aplicar al KIPP. Las entradas encima de la línea muestran que los candidatos a quienes se les ofreció un cupo tienen notas de matemáticas estándarizadas cercanas a cero; o sea, cerca del promedio estatal. Como antes, estamos trabajando con datos de notas estandarizadas con media de 0 y desviación estándar 1. Puesto que los candidatos de KIPP comienzan con notas de cuarto grado que están aproximadamente a 0.3 desviaciones estándar debajo de la media estatal, el desempeño a nivel del promedio estatal es impresionante. Al contrario, el promedio de las notas de matemáticas entre los que no se les ofreció cupo es aproximadamente -0.36 sigma; o sea, 0.36 desviaciones estándar por debajo de la media estatal, un resultado típico para los estudiantes urbanos de Massachusetts. Como las ofertas de la lotería se asignan aleatoriamente, podemos decir con confianza que el ofrecimiento de un cupo en KIPP aumenta las notas en matemáticas en un promedio de 0.36 sigma -- un efecto muy grande que también es estadísticamente preciso. Podemos decir con confianza que no es un hallazgo causal. ¿Qué nos dice el efecto de una oferta de 0.36 sigma sobre los efectos de entrar en realidad en KIPP? Los métodos VI convierten los efectos de las ofertas KIPP en efectos de asistencia a KIPP. Usaré un video breve de mi curso corto de Marginal Revolution University para revisar brevemente los supuestos clave detrás de esta conversión. [Narrador] La VI describe una reacción en cadena ¿Porqué las ofertas afectan al logro? Porque probablemente ellas afectan la asistencia a las escualas chárter, y la asistencia a la escuela chárter mejora las notas en matemáticas. El primer eslabón de la cadena, llamado, primera etapa, es el efecto de la lotería en la asistencia a la escuel chárter. La segunda etapa es la relación entre asistir a una escuela chárter y una variable resultantado, en este caso, las calificaciones en matemáticas. La variable instrumental, o el instrumento, para resumir, es la variable que inicia la reacción en cadena. El efecto del instrumento sobre el resultado se llama forma reducida. Esta reacción en cadena puede ser representada matemáticamente. Multiplicamos la primer etapa, el efecto de ganar sobre la asistencia por la segunda etapa, el efecto de la asistencia sobre las calificaciones escolares, y obtenemos la forma reducida, el efecto de ganar la lotería sobre las calificaciones. La forma reducida y la primer etapa son observables y fáciles de calcular. Sin embargo, el efecto de la asistencia en el logro no se observa directamente. Este es el efecto causal que estamos tratando de determinar. Dados algunos supuestos importantes, que discutiremos en breve, podemos hallar el efecto de la asistencia a una escuela del KIPP, dividiendo la forma reducida entre la primera etapa. [Joshua] La VI elimina el sesgo de selección, pero, al igual que todas nuestras herramientas, la solución construida sobre una serie de supuestos no deben darse por sentada. Primero, debe haber una primera etapa sustancial, que es una variable instrumental, ganar o perder la lotería, que debe realmente cambiar la variable cuyo efectos son los que nos interesan aquí, la asistencia a una escuela PCEP. En este caso, la primera etapa no está en duda realmente. Ganar la lotería hace que la asistencia a una escuela PCEP sea más probable. No todas las historias VI son como esta. Segundo, el instrumento tiene que ser tan bueno como la asignación al azar; lo que significa que ganadores y perdedores de la lotería tienen características similares. Ese es un supuesto de independencia. Por supuesto, las victorias de la lotería del PCEP en verdad son asignadas al azar. Aun así, deberíamos verificar el balance y confirmar que los ganadores y perdedores tengan un entorno familiar similar, aptitudes similares, etc. En esencia, estamos verificando que se garantice que la lotería del PCEP sean imparciales, sin grupos de aspirantes sospechosamente más propensos a ganar. Finalmente, se requiere que el instrumento cambie los resultados únicamente a través de la variables de interés, en este caso, asistir a una escuela del PCEP. Este supuesto se llama restricción de exclusión. El efecto causal de la asistencia a una escuela del PCEP puede ser por tanto escrito como la proporción del efecto de las ofertas sobre las notas en el numerador sobre el efecto de las ofertas en la inscripción a PCEP en el denominador. El numerador en esta fórmula VI; o sea, el efecto directo del instrumento sobre los resultados tiene un nombre especial, se le llama forma reducida, El denominador es la primera etapa. La restricción de exclusión es a menudo la parte más confusa, o la más controvertida de una historia VI. Aquí, la restricción de exclusión equivale a declarar que el diferencial de 0.36 en la nota entre los ganadores y los perdedores de la lotería es enteramente atribuíble a la diferencia de la pérdida/ganancia de 0.74 en la tasa de asistencia. Conectando los números el efecto de la asistencia a la escuela del PCEP es de 0.48 σ, casi la mitad de la desviación estándar ganada en las notas de matemáticas, ese es un efecto extraordinariamente grande. ¿Quién se beneficia en extremo del PCEP? ¿Todos los que aplican al PCEP ven tales ganancias? LATE responde a esta pregunta. La interpretación LATE de la estrategia empírica VI de PCEP se clarifica por la historia bíblica de la Pascua judía que explica que hay cuatro tipos de niños, cada uno con conductas características. Para dar seguimiento a estos niños y sus conductas, les daré nombres aliterativos. Los candidatos como Álvaro, mueren por entrar en una escuela del PCEP. Si Álvaro pierde la lotería PCEP, su madre de todas maneras encontrará la forma de inscribirlo en el PCEP, tal vez volviendo a aplicar. Los candidatos como Camila están felices de ir a una escuel del PCEP si ganan un cupo en la lotería, pero aceptarán estóicamente el veredicto si pierden. Finalmente, a los candidatos como Normando les preocupa las largas jornadas y el montón de tareas que tendrán en el PCEP. Normando realmente no quiere ir y se rehusa a ir a la escuela del PCEP cuando se le dice que ganó la lotería. A Normando lo llamamos "nunca-participa" por que gane o pierda, no va a ir a la escuela del PCEP. En el otro extremo del compromiso del PCEP, a Álvaro lo llamaremos "siempre-participa". Él felizmente tomará el cupo cuando se lo ofrezcan, mientras que su madre simplemente encuentra alguna forma de lograrlo aún y cuando él pierda. Para Álvaro y Normando la escuela preferida, el PCEP, tradicional, no está afectado por la lotería. Camila es el tipo de candidato que le da poder a la VI. El instrumento determina su estatus de tratamiento. Las estrategias de la VI dependen de los candidatos como Camila a quienes llamamos "cumplidores". Este término proviene de los ensayos aleatorizados explicados con anterioridad. Como ya hemos discutido muchos ensayos aleatorios aleatorizan solo la oportunidad de ser tratados, mientras que la decisión de cumplir con el tratamiento permanece voluntaria y no es aleatoria. Los cumplidores de ECA son aquellos que optan por el tratamiento cuando se hace la oferta del tratamiento, pero no al revés. Con los instrumentos de lotería, el LATE es el efecto de la asistencia a una escuela del PCEP sobre Camila y los otros cumplidores como ella, quienes se inscriben en el PCEP y toman el tratamiento cuando se les ofrece a través de la lotería, pero no al revés. Los métodos de la VI son poco informativos para quienes siempre lo toman como Álvaro y los que nunca lo toman como Normando porque el instrumento no se relaciona con su estatus de tratamiento. ¿No dije que había cuatro tipos de niños? El cuarto tipo de niño en la teoría VI se comporta perversamente. ¡Siempre hay uno en las familias! Este niño desafiante se inscribe en KIPP solo cuando pierde la lotería. De hecho, el teorema LATE requiere que asumamos que hay pocos desafiantes -- este parece ser un supuesto razonable para los intrumentos de lotería autónomos y tal vez hasta en la vida. Al teorema LATE algunas veces se le ve como una relevancia limitante de los estimados económicos porque se enfoca en grupos de cumplidores. Aún así, la población de cumplidores es un grupo del que nos gustaría aprender. En el ejemplo de KIPP los cumplidores son niños propensos a ser seleccionados en KIPP donde la escuela se expande y ofrece lugares adicionales en la lotería. ¿Qué tan relevante es esto? Hace algunos años Massachusetts permitió que algunas escuelas autónomas se expandieran. Un estudio reciente, realizado por algunos compañeros de laboratorio muestra que los estimados LATE como el que acabamos de calcular para KIPP pronostican ganancias de aprendizaje en las escuelas creadas para expansión autónoma. Cerrando la grieta del desempeño LATE no solo es un teorema -- es un marco de referencia. El marco LATE puede ser usado para estimar la distribución entera de los resultados potenciales de los cumplidores como si hubiéramos tenido un ensayo aleatorizado para este grupo. Aunque la teoría detrás de este hecho es necesariamente técnica el valor del marco de referencia se aprecia fácilmente en la práctica. Para ilustrar esto, recordemos que el estudio de KIPP está motivado en parte por las diferencias en los resultados de las notas por raza. Veamos la distribución de los grados de cuarto grado separados por raza. para candidatos de Boston a escuelas autónomas de educación media. Los dos lados de esta figura muestran distribuciones para los cumplidores con y sin tratamiento. A los cumplidores con tratamiento se les ofrece un lugar autónomo en la lotería. Mientras que a los cumplidores sin tratamiento no se les ofrece nada. Ya que estas son notas de cuarto grado mientras que la educación media empieza en el quinto o sexto grado ambos lados de la figura son similares. Ambos lados muestran distribuciones de notas para los candidatos negros desplazadas hacia la izquierda de las distribuciones de notas de los blancos. Para el octavo grado los cumplidores con tratamiento han terminado la escuela autónoma en Boston mientras que los cumplidores sin tratamiento se han quedado en una escuela pública tradicional. Notablemente, esta siguiente gráfica muestra que las distribuciones de las notas de octavo grado de los cumplidores con tratamiento negros y blancos no pueden distinguirse. Las escuelas medias autónomas de Boston cerraron la grieta del desempeño Pero para los sin tratamiento las distribuciones de las notas de negros y blancos permanecen distintas con los estudiantes negros detrás de los blancos como estaban en cuarto grado Las autónomas de Boston cerraron la grieta del desempeño porque aquellos que entran en las escuelas autónomas hasta atrás tienden a ganar lo más posible de la inscripción autónoma. Profundizo en este punto en la versión escrita de esta plática. Efectos explicados de la escuela de examen de Chicago ¿Recuerdas ese acertijo sobre los efectos negativos del examen escolar de Chicago? Terminaré la parte científica de mi plática usando VI y RD para explicar este hallazgo sorprendente. La solución a este acertijo comienza con el hecho de que el razonamiento económico se trata sobre las alternativas ¿Cuál es la alternativa a la educación de examen escolar? Para muchos candidatos a las escuelas de examen de Chicago la alternativa al examen líder es la escuela pública tradicional. Pero muchos de los candidatos rechazados de las escuelas de examen de Chicago se enlistan en una escuela autónoma Las ofertas de exámenes escolares reducen la posibilidad de la asistencia a las escuelas autónomas. Específicamente, las escuelas de examen dispersan a los candidatos lejos de las preparatorias en la red Noble de las escuelas autónomas. Noble, con pedagogía, parecido a KIPP es uno de los proveedores más visibles de autónomas de Chicago. También como KIPP, la evidencia convincente de la efectividad de Noble viene de las admisiones de las loterías. El eje de la X en esta gráfica muestra los efectos de la oferta de lotería en los años inscritos en Noble. Esta es la primera etapa de Noble para un VI que usa una variable ficticia indicando las ofertas de lotería de Noble como instrumento de inscripción de Noble. Este gráfico tiene una característica que lo distingue de un análisis KIPP más simple. El gráfico muestras los efectos del primer nivel para dos grupos. Uno para los candidatos de Noble que viven en las zonas de menos ingresos en Chicago, el nivel 1 y uno para los candidatos de Noble que viven en áreas de mayores ingresos nivel 3. ¿Recuerdas la reacción en cadena de VI? Cada punto de esta gráfica tiene coordenadas dadas por la forma reducida de la primera etapa y eso implica un estimado VI. El efecto de la inscripción de Noble en las notas ECA es la razón de la coordenada de la forma reducida entre la coordenada de la primer etapa. Este gráfico muestras ambas razones Los resultados relevantes para el Nivel 1 son 0.35 mientras que para el Nivel 3, tenemos 0.33 y no está mal. Para los candidatos de Noble de ambos niveles estas primeras etapas y los estimados de forma reducida implican un efecto anual de inscripción en Noble de una ganancia de una tercera parte de la desviación estándar en las notas de matemáticas de ECA. Nota que también hay una línea conectando dos de los estimados VI en la figura. Ya que esta línea pasa a través del origen el cambio en y dividido por el cambio en x de su pendiente es igual a los dos estimados de VI -- en este caso, la pendiente es de 0.34 El hecho de que la línea pase a través de 0,0 es importante por otra razón. Con esto, hemos corroborado la restricción de exclusión. Específicamente, la restricción de exclusión dice que un grupo dado para el cual las ofertas de Noble no se relacionan con la inscripción de Noble podemos esperar ver un efecto de la forma reducido a cero de estas ofertas hechas a los candidatos en ese grupo. ¿Qué tan consistente es la evidencia de una ganancia de aprendizaje de Noble del orden de 0.34 sigma por año? En la siguiente gráfica agregamos doce punto más a los dos originales. Los puntos rojos aquí muestran la primer etapa y la forma reducida. Los efectos de la oferta de Noble, para los doce grupos adicionales dos niveles más y doce grupos definidos por las características demográficas relacionadas con la raza, sexo, ingreso familiar y calificaciones base. Aunque no se ajusta perfectamente estos puntos señalan una línea alrededor de pendiente 0.36 sigma parecido a línea que vimos antes para los candidatos de los niveles 1 y 3. Ahora te preguntarás qué tienen que ver los estimados de Noble VI en esta figura con las inscripciones del examen escolar. Aquí está la respuesta. La línea azul en esta nueva gráfica muestra, como esperábamos que la exposición al examen escolar brincara para candidatos que cumplan con su nivel de requisitos. Al mismo tiempo la línea roja muestra que la inscripción escolar de Noble falla en el mismo punto. Este es el efecto de desviación de las ofertas del examen escolar en la inscripción de Noble. A muchos niños a quienes se les ofrece un lugar en una escuela de examen prefieren ese lugar de examen escolar a inscribirse en Noble. IV nos da la oportunidad de ir por las ramas con fuertes aseveraciones sobre el mecanismo que está detrás del efecto causal. Aquí va una aseveración causal fuerte en cuando a porqué las escuela de examen de Chicago reducen su desempeño. La fuerza primaria que dirije los efectos de la forma reducida de los requisitos del examen escolar en las notas ECA, yo digo es el efecto de las ofertas del examen escolar en la inscripción de Noble. Para apoyar esta aseveración considera los puntos de la línea azul todos a la izquierda del cero en el eje de las X. Estos puntos son negativos porque marcan el efecto de los requisitos del examen escolar en la inscripción escolar de Noble para grupos de candidatos particulares. Ya vimos que a los candidatos de Noble a quienes se les ofrece un lugar realizan grandes ganancias matemáticas en ECA como resultado. Ahora considera las ofertas de las escuelas de examen como instrumento para inscripción de Noble. Como siempre, VI es la reacción en cadena. Si los requisitos del examen escolar reducen tiempo en Noble por 0.37 años y cada año de inscripción en Noble incrementa las notas ECA en matemáticas, 0.36 sigma deberíamos esperar efectos de forma reducida de los requisitos del examen escolar para reducir las notas ECA del prodcuto de estos dos número -- o sea, por 0.13 sigma. Los efectos de la forma reducida de los requisitos a la izquierda de la figura son consistentes con esto. Se juntan cercanamente al -0.16 y no al -0.13 pero esa diferencia está dentro de la varianza del muestreo de los estimados subyacientes. La historia causal aquí postula la desviación de las escuelas autónomas como mecanismo por el cual las ofertas de las escuelas de examen logran su desempeño. En otras palabras, es la inscripción en Noble lo que se presume que satisface una restricción de exclusión cuando usamos las ofertas de las escuelas de examen como variable instrumental. Lo importante, como vimos anteiormente es que la línea en esta gráfica final, con dos grupos de catorce puntos corre a través del origen. Este hecho apoya nuestra nueva restricción de exclusión. Para cualquier grupo de candidatos para el cual las ofertas de escuelas de examen tengan poco o ningún efecto en la inscripción escolar de Noble deberíamos también ver sin cambios las notas de ECA. Al mismo tiempo porque los puntos azules y rojos se juntan alrededor de la misma línea los estimados VI de los efectos de la inscripción en la escuela Noble generados por Noble y por las ofertas de las escuelas de examen son prácticamente iguales. Espero que esta historia empírica te convenza del poder de VI y RD para generar conocimiento nuevo causal. Por décadas, he tenido la suerte de trabajar en muchos problemas empíricos interesantísimos. He calculado un método de VI de estmados de lotería en mi tesis de doctorado de Princeton en un gran monstruo peludo de computadora usando cintas de nueve y rentando espacio en un disco duro comunal. Los estudiantes de Princeton aprendieron a montar y usar carretes de cinta del tamaño de un pastel de queso. Lo bueno es que el estudio empírico hoy es manualmente un poco menos intensivo. ¿Qué mas ha mejorado en la época moderna empírica? En un artículo del 2010, Steve Pischke y yo creamos la frase "Revolución de credibilidad". Con esto, nos referimos al cambio económico hacia las estrategias empíricas transparentes aplicadas a preguntas concretas causales como las preguntas que David Card ha estudiado tan convincentemente. La econometría de mis días escolares es enfocó más en modelos que en preguntas. El modelado tiene que ver con la era que ya terminó pero ya desde entonces los econometristas han encontrado mucho en qué contribuir. Guardaré mis listas personales de "grandes éxitos" y "nuevos artistas" para la versión escrita de esta clase. Terminaré aquí diciendo que estoy orgulloso de ser parte de esta empresa contemporánea de economía empírica y estoy agradecido más allá de las palabras por haber sido reconocido como contrbuyente a ella. En Princeton, a finales de los años ochenta mis compañeros de universidad y yo nos reíamos leyendo el lamento de Ed Leamer sobre que ningún economista toma en serio el trabajo empírico de otro economista. Esto ya no es cierto. El trabajo empírico hoy aspira a contar historias causales convincentes. No es que todo esfuerzo tenga éxito ni mucho menos. Pero como cualquier candidato a trabajar en economía te diría el trabajo empírico realizado con cuidado y claramente explicado se toma muy en serio -- esa es la medida del éxito de nuestra empresa ♪ [música] ♪ - [Narrador] Si te gustaría aprender más sobre Josh revisa su curso gratuito "Dominando la Econometría". Si te gustaría explorar la investigación de Josh revisa estas lisgas en la descripción o puedes dar clic para ver más sobre los videos de Josh ♪ [música] ♪