♪ (música) ♪ Estrategias empíricas en Economía: Iluminando el camino de la causa al efecto [Joshua] Mientras silenciaba mi tembloroso iPhone temprano el 11 de octubre, mis pensamientos se dirigieron hacia la pregunta de si el reconocimiento a nivel del Nobel podía cambiar la vida de la familia Angrist. Nuestra familia es muy unida; no nos hace falta nada. Entonces, me preocupó que la estresante celebridad del Nobel no fuera positiva. Pero después de la primera taza de café, comencé a relajarme. Se me ocurrió que el tema sobre cómo el reconocimiento público afecta la vida de un académico es, después de todo, una simple pregunta causal. La intervención del Nobel es sustancial, repentina y con una buena medición. Variables de resultado como la salud y la riqueza son fáciles de registrar. Cuando me dieron el reconocimiento junto a mis colegas laureados, Guido Imbens y David Card, por contestar preguntas causales usando datos observacionales, mis pensamientos migraron de la agitación personal a las demandas más comunes en cuanto a la identificación y estimación de efectos causales. Pude calmar mi mente preocupada, imaginando un estudio sobre el efecto del tratamiento del Premio Nobel. ¿Cómo se organizaría dicho estudio? En un ensayo de 1999 publicado en el "Manual de Economía Laboral", Alan Krueger y yo adoptamos la frase "estrategia empírica". El volumen del manual en cuestión fue editado por dos de mis tutores de tesis de doctorado de Princeton: Orley Ashenfelter y David Card, unos de los más exitosos y prolíficos tutores de posgrado que ha habido en Economía. Una estrategia empírica es un plan de investigación que incluye la recolección de datos, identificación y estimación econométrica. La identificación es el término que los econometristas aplican al diseño de la investigación, un ensayo clínico aleatorizado, un ECA, es el más simple y más poderoso diseño de investigación. En los ECA, los efectos causales se identifican asignando aleatoriamente el tratamiento. La asignación aleatoria asegura que los grupos de tratamiento y de control sean comparables en la ausencia de tratamiento para que las diferencias entre ellos reflejen posteriormente solo el efecto del tratamiento. Probablemente, los Premios Nobel no se asignen aleatoriamente. A pesar de este desafío, se me ocurre una estrategia empírica convincente para el efecto del tratamiento del Nobel, al menos como una idea empírica imaginativa, pero no realista. Imagina un grupo de candidatos elegibles para el premio Nobel, el grupo bajo consideración para el premio. Los candidatos no necesitan postularse a sí mismos. Me imagino, que algún colega los postula. Mi estudio fantástico de impacto del Nobel solo analiza los candidatos al Nobel, ya que son estudiosos de élite. Pero ese solo el primer paso. Los candidatos con credibilidad son evaluados por jueces, usando criterios como las publicaciones, las citas, declaraciones a favor del postulado. Me imagino que este material se revisa y se le asigna una calificación numérica usando algún tipo de rúbrica de calificación. Las tres calificaciones más altas según el campo en un año ganan el premio. Teniendo identificados a los candidatos y sus datos en sus calificaciones, el siguiente paso en mi estudio de impacto del Nobel es registrar los puntos de corte relevantes. El punto de corte del Nobel es la calificación más baja de aquellos a quienes se les otorgó el premio. Muchos de los que esperaban el Nobel no alcanzaron el corte. Tomando en cuenta solo a los que por poco lo logran junto con los ganadores, las diferencias en las calificaciones entre los de arriba y debajo del corte comienzan a verse por casualidad, más o menos asignados aleatoriamente. Después de todo, los que están cerca del Nobel son los estudiosos más eminentes, también. Con una publicación de más alto impacto, un poco más de apoyo por parte de los postulantes, pudieron haber obtenido el premio Nobel. Algunos de ellos seguramente lo harán algún día. La estrategia empírica delineada aquí se llama Diseño de regresión discontinua, RD. El RD explota los saltos en los problemas humanos inducidos por reglas, regulaciones y la necesidad de clasificar personas para varios propósitos de asignación. Cuando se determina el tratamiento o la intervención a través de una variable de empate, que cruza o no un umbral, aquellos que están justo por debajo del umbral se convierten en un grupo de control natural para aquellos que lo pasan. La RD no requiere que la variable cuyas causas buscamos se ajuste o no por completo al valor de corte, únicamente requiere que el valor promedio de esta variable brinque en el punto de corte. La RD permite, por ejemplo, que el más cercano al premio Nobel de este año pueda ser el ganador del próximo año. Permitir esto conlleva al uso de saltos en la tasa asignada al tratamiento para construir las variables instrumentales, VI, las estimaciones del efecto del tratamiento recibido. Se dice que este tipo de RD es difuso, pero como Steve Pischke y yo escribimos en nuestro primer libro: "La RD difusa es la VI". (risa de niños) El primer estudio de RD al que contribuí fue escrito con mi habitual colaborador Victor Lavy. Este estudio está motivado por los altos costos y los retornos inciertos de las clases pequeñas en las escuelas de educación primaria. Usamos una regla utilizada por las escuelas de primaria israelíes para determinar el tamaño de la clase. Esta regla se usa para estimar los efectos del tamaño poblacional de la clase como se hace en un ECA del tamaño de clase. En los años 90, la población de las clases israelíes era grande. Los estudiantes inscritos en un grado cohorte de 40 era probable que los colocaran en un aula de 40, ese es el punto de corte relevante. Al agregar otro niño a la cohorte, para llegar a 41, era probable que dividieran la cohorte en dos clases mucho más pequeñas. Esto conlleva a la regla del diseño de investigación de Maimónides nombrada así porque Ramban en el siglo XII propuso un máximo de tamaño de la clase de 40. En esta figura se trazan los tamaños de las clases de cuarto grado israelíes en función del número de inscritos en cuarto grado superpuesto con la regla del tamaño de clase teórica, la regla de Maimónides. El ajuste no es perfecto, esa es una característica que hace difusa esta aplicación de la RD, pero la esencia de esto es la reducción marcada del tamaño de la clase en cada múltiplo entero de cuarenta, el punto de corte relevante, tal y como lo predice la regla. Como resultado, estas reducciones en el tamaño de la clase se reflejan en los saltos de las calificaciones de matemáticas del cuarto y quinto grado. ¡La hora del examen! ¿La comparación entre los ganadores del Nobel y los que casi lo ganan sería en realidad un buen experimento natural? La lógica detrás de este tipo de afirmación parece más sólida si se comparan escuelas de 40 y 41 estudiantes en cuarto grado que si se comparan los que ganan y los que por poco ganan. Aun así, ambos escenarios utilizan una característica del mundo físico. Siempre que la variable que rompe el empate, conocida en la RD como variable continua, tiene una distribución continua, la probabilidad de cruzar el valor de corte se aproxima a la mitad cuando se examina en un estrecho segmento alrededor del corte. En trabajos empíricos de RD el segmento alrededor de los cortes, se conoce como ancho de banda. Es importante decir que la probabilidad límite es de 0,5 para todos, sin importar qué tan calificados estén al entrar en el concurso del Nobel. Este hecho importante puede verse en los datos de los candidatos de una de las más codiciadas escuelas de Nueva York que selecciona por test. Como antecedente, un 40 % de las escuelas de educación media y preparatoria de Nueva York selecciona a sus candidatos basándose en resultados de exámenes, grados y otros criterios exactos. En otras palabras, el régimen de admisiones en escuelas que seleccionan por test es muy parecido al esquema que imaginé para el premio Nobel. Estas escuelas no son más que un número de sistemas altamente selectivos dentro de un sistema en los distritos escolares grandes de Estados Unidos. Boston, Chicago, San Francisco y Washington D.C., todos, tienen instituciones altamente selectivas conocidas como escuelas de examen. Las escuelas de examen operan como parte de sistemas de escuelas públicas más grandes que inscriben a los estudiantes sin investigar sus antecedentes. Motivados por una larga controversia que hay sobre la equidad de las admisiones por filtro, mis colaboradores del Blueprint Lab y yo examinamos los efectos causales de la asistencia a la escuela de examen en Boston, Chicago, y Nueva York. Esta figura muestra la probabilidad de ofrecer un cupo en la preparatoria de Nueva York Townsend Harris, calificada como la doceava a nivel nacional. La altura de las barras en la figura representa la tasa de calificación; o sea, la probabilidad de que la nota de admisión a Townsend Harris esté por encima de la del candidato al cupo con la nota más baja. Las barras muestran la tasa de calificación condicional en una medida de los logros de la pre-aplicación de referencia. En particular, las barras muestran las tasas condicionales de calificación con relación a si el candidato está en el cuartil superior o inferior de sus notas de matemáticas de sexto grado Los candidatos de Townsend Harris con altas notas de línea base tienen más probabilidad de calificar que los que tienen notas bajas de línea base. Esto no debe sorprender, pero en un ancho de banda simétrico reducido alrededor del valor de corte de la escuela, las tasas de calificaciones en los dos grupos convergen. Las tasas de calificación en los últimos y los grupos más pequeños son notablemente cercanas a la mitad. Esto es lo que esperaríamos ver cuando Townsend Harris acepta a estudiantes lanzando una moneda al aire, en vez de seleccionar a los altamente calificados en el examen de admisión escolar. Aun y cuando las admisiones operan con investigación de antecedentes, los datos pueden ser arreglados para imitar un ECA. La Ilusión de la Élite Pocas de las preguntas que he estudiado son más controversiales que la pregunta para el acceso a las escuelas públicas de examen como la inscripción selectiva de las preparatorias Boston Latin School, Payton y Northside de Chicago y las legendarias escuelas de Nueva York: Brooklyn Tech, Bronx Science y Stuyvesant, preparatorias especializadas que entre todas han graduado a catorce galardonados con el Nobel. Townsen Harris, la escuela con la que empezamos hoy, ha graduado a tres premios Nobel, incluyendo al economista Ken Arrow. Los defensores de las escuelas de examen ven las oportunidades que estas escuelas aportan para democratizar la educación pública. Ellos argumentan que las familias ricas pueden acceder al plan de estudio de las escuelas de examen en el sector privado. ¿No deberían los estudiantes de bajos ingresos tener al alcance la misma oportunidad para aspirar a una educación de élite? Los críticos de escuelas de inscripción selectiva sostienen que, más que expandir la equidad, las escuelas de examen están sesgadas intrínsecamente en contra de los estudiantes de raza negra e hispana que forman el grueso de los distritos urbanos de Estados Unidos. La escuela superselectiva de Stuyvesant de Nueva York, por ejemplo, inscribió a tan solo siete estudiantes negros en el 2019 de un total de 895 nuevos inscritos, pero ¿realmente vale la pena luchar por los cupos de la escuela de examen? Mis colaboradores y yo hemos usado repetidamente las estrategias empíricas de la RD para estudiar los efectos causales de la asistencia a las escuelas de examen como Townsend Harris y Boston Latin. Nuestro primer estudio sobre la escuela de examen, el cual examina las escuelas de Boston y Nueva York, resume estos hallazgos en su título, "La Ilusión de la Élite" La ilusión de la élite se refiere al hecho de que, aunque los estudiantes de la escuela de examen sin duda tienen notas altas en las pruebas y otros buenos resultados, esto no es un efecto causal de la asistencia a las escuelas de examen. Nuestras estimaciones consistentemente sugieren que los efectos causales de asistir a una escuela de examen en el aprendizaje de sus estudiantes y asistencia a la educación superior son cero incluso pueden ser negativos. El buen desempeño de los estudiantes de la escuela de examen refleja un sesgo de selección; o sea, el proceso por el que esos estudiantes son escogidos, más que efectos causales. Los datos del gran sector de las escuelas de examen de Chicago ilustran la ilusión de la élite. En esta figura se representa gráficamente la media del logro entre iguales; o sea, las notas del examen del sexto grado de mis compañeros de noveno grado, contra el desempate de admisiones para un subconjunto de candidatos a cualquiera de las nueve escuelas de examen de Chicago. Los candidatos a estas escuelas clasifican hasta seis escuelas de examen mientras que las escuelas de examen dan prioridad a sus candidatos usando un índice de composición común formado con base a un examen de admisión, el promedio académico y las notas estandarizadas del séptimo grado. Este puntaje compuesto es la variable candidata para un diseño de RD que revela lo que pasa cuando se le ofrece un cupo de una escuela de examen a un candidato. En la contienda de la escuela de examen de Chicago, que en realidad es una aplicación del célebre algoritmo de coincidencia de Gale y Shapley, los candidatos a las escuelas de examen están seguros de que se les ofrecerá un cupo cuando sobrepasen al más bajo en sus grupos de valores de corte de entre las escuelas que rankean. A este mínimo corte lo llamamos: "punto de corte clasificatorio". Esta figura muestra el abrupto salto en el logro de la media de los iguales para los candidatos a la escuela de examen de Chicago que sobrepasen sus puntos de corte clasificatorio. Este salto refleja el hecho de que la mayoría de los candidatos a los que se le ofreció un cupo en la escuela de examen lo toman y los candidatos que se inscriben en una de las preparatorias de inscripción selectiva de Chicago están seguros de tener un cupo en un aula de noveno grado llena de otros compañeros académicamente sobresalientes porque solo los relativamente académicamente sobresalientes logran entrar. El incremento en el logro entre iguales a través del punto de corte equivale casi a la mitad de una desviación estándar, un efecto muy grande, y, aun así, los compañeros sobresalientes a pesar de tener la oferta de un cupo en una escuela de examen no parece que hagan incrementar el aprendizaje. Grafiquemos las notas de los candidatos al ACT contra sus valores de desempate. Esta gráfica muestra que los candidatos a la escuela de examen que superaron el punto de corte clasificatorio se desempeñan peor de forma acentuada en el ACT. ¿Cuál es la explicación de esto? Hay que comentar sobre las VI y la RD para desenredar las fuerzas detrás de este intrigante e inesperado efecto negativo, pero primero, algo sobre la teoría IV. Un poco de LATE Guido Imbens y yo desarrollamos herramientas teóricas para mejorar el entendimiento de los economistas de las estrategias empíricas que involucran la VI y la RD. El premio que compartimos es un reconocimiento por este trabajo. Guido y yo coincidimos únicamente un año en Harvard, donde ambos obtuvimos nuestros primeros trabajos después del doctorado. Le di la bienvenida a Guido en Cambridge, Massachusetts, con un par de variables instrumentales interesantes. Usé el instrumento de selección por lotería en mi tesis de doctorado para estimar las consecuencias económicas a largo plazo de servir en las Fuerzas Armadas de los soldados que fueron llamados a fila El instrumento de la selección por lotería se basa en que los números de la lotería se asignan aleatoriamente a los cumpleaños determinados en el riesgo de conscripción de la era de Vietnam. Aun así, la mayoría de los soldados fueron voluntarios tal y como lo es hoy. El instrumento del trimestre de nacimiento se usa en mi artículo de 1991 con Alan Krueger para estimar los retornos económicos escolares. Este instrumento se basa en el hecho de que a los hombres nacidos al principio del año se les permitía abandonar la preparatoria en su cumpleaños número dieciséis con menor escolaridad concluida que aquellos que nacieron después. Guido y yo comenzamos a preguntarnos: "¿Qué es lo que realmente aprendemos de la selección de idoneidad y los experimentos naturales del trimestre de nacimiento?". Un primer resultado en nuestra búsqueda de un nuevo entendimiento de la VI fue la solución al problema de sesgo de selección en un ECA con cumplimiento parcial. Incluso en un ensayo clínico aleatorizado, algunas de las personas asignadas al tratamiento podrían optar por salirse. Este hecho siempre ha hecho que los ensayistas queden descontentos porque las decisiones para no participar no se hacen aleatoriamente. Nuestro primer manuscrito juntos muestra que en un ensayo aleatorizado con cumplimiento parcial se puede usar la VI para estimar el efecto del tratamiento en los que han sido tratados, incluso cuando a algunos se les ofrece tratamiento y lo rechazan. Esto funciona a pesar de que aquellos que cumplen con el tratamiento podrían ser un grupo muy selecto. Desafortunadamente para nosotros, llegamos tarde a la fiesta. Poco tiempo después de publicar nuestro primer documento de trabajo aprendimos sobre la contribución concisa de Howard Bloom que incluye este resultado teórico. Notablemente, Bloom derivó esto de los primeros principios sin hacer conexión con la VI. Entonces Guido y yo volvimos a nuestro punto de partida Y unos meses después, tuvimos el LATE un teorema que muestra cómo estimar el promedio local del efecto tratamiento. El teorema LATE generaliza el teorema de Bloom y establece la conexión entre el cumplimiento y la VI. Manteniendo la analogía de los ensayos clínicos, si "Zi" indica si al sujeto "i" se le ofrece tratamiento, esto se asigna aleatoriamente, y, también, si "D1i" indica el estatus del tratamiento del sujeto i cuando se le ha asignado al tratamiento y si "D0i" indica el estatus del tratamiento del sujeto i cuando se asigne al control, usaré esta notación formal para dar una declaración clara del resultado de LATE y luego daremos seguimiento con ejemplos. Una pieza clave para la estructura del LATE, liderado por el estadístico Don Rubin, es el par de resultados potenciales. Como ya es costumbre, expreso los resultados potenciales para el sujeto i en los estados con tratamiento y sin tratamiento mediante "Y1i" y "Y0i", respectivamente. El resultado observado es Y1i para el que está tratado y Y0i para los no tratados. Y1i menos Y0i es el efecto causal del tratamiento en el sujeto i, pero esto nunca lo podemos ver. Por tanto, tratamos de estimar algún tipo de efecto causal promedio. La estructura del LATE nos permite hacer lo que hace ECA, donde algunos controles son tratados. El teorema dice que el efecto causal promedio sobre las personas, cuyo estado de tratamiento puede cambiarse ofreciéndole el tratamiento, es la proporción de ITT de la diferencia del control del tratamiento en las tasas de cumplimiento. Una declaración matemática de este resultado aparece aquí, donde la letra griega delta simboliza el efecto ITT y los símbolos griegos πi1 y πi0 son tasas de cumplimiento en el grupo asignado al tratamiento y el grupo asignado al control, respectivamente. La versión impresa de esta clase ahonda en la historia intelectual del LATE, resaltando las contribuciones clave hechas con Rubin. Por ahora, me gustaría hacer concreto el teorema del LATE para ti, compartiendo una de mis aplicaciones favoritas de él. LATE para la escuela chárter Explicaré la estructura del LATE a través de una pregunta de investigación que me ha fascinado casi por dos décadas: ¿Cuál es el efecto causal de la asistencia a una escuela chárter sobre el aprendizaje? Las escuelas chárteres son escuelas públicas que operan independientemente de los distritos de las escuelas públicas tradicionales de Estados Unidos. La autonomía, el derecho de operar una escuela pública; generalmente, se obtiene por tiempo limitado sujeta a la renovación, condicionada por el buen desempeño de una escuela. Las escuelas chárteres son libres de estructurar su currículum y su ambiente escolar. La diferencia más controversial entre las escuelas chárteres y las públicas tradicionales es el hecho de que los maestros y el personal que trabajan en las escuelas chárteres raramente pertenecen a sindicatos laborales. Al contrario, la mayoría de los maestros de las grandes escuelas públicas trabajan bajo contratos sindicales. El documental del 2010 "Esperando a Superman" muestra las escuelas que pertenecen al programa "El Conocimiento es Poder", PCEP. Estas escuelas son un emblema, de expectativas muy altas, algunas veces también llamado el enfoque "sin excusas" de la educación pública. El modelo "sin excusas" presenta una jornada escolar larga y un año escolar extendido, contratación selectiva de maestros y se enfoca en las competencias tradicionales de lectura y matemáticas. El debate estadounidense sobre la reforma educativa a menudo se enfoca sobre la brecha en el logro, que es la clave de las grandes diferencias entre las notas de examen por raza y grupo étnico. Debido a su enfoque en los estudiantes de las minorías, el PCEP es a menudo central en este debate con partidarios apuntando al hecho de que los estudiantes del PCEP que no son blancos tienen notablemente mejores notas que los que no son blancos en las escuelas cercanas. Por otro lado, los escépticos del PCEP sostienen que el éxito aparente del PCEP refleja el hecho de que el PCEP atrae a familias cuyos niños de todas maneras tienen más probabilidad de triunfar. ¿Quién tiene la razón? Como ya supones, un ensayo aleatorizado puede ser decisivo en el debate sobre las escuelas como las del PCEP. Sin embargo, como en los Premios Nobel, los cupos en el PCEP no se asignan aleatoriamente. Bien, al menos, no totalmente. De hecho, las escuelas chárters de Massachusetts con más candidatos que cupos deben ofrecer sus cupos a través lotería. Parece ser un buen experimento natural. Hace un poco más de una década, mis colaboradores y yo, recolectamos datos de loterías de admisiones en PCEP, sentando las bases de dos estudios chárters novedosos, el primero que usó loterías para estudiar el PCEP. Nuestro análisis del PCEP es una historia de la VI clásica porque muchos estudiantes a quienes les ofrecieron un cupo en la lotería del PCEP no se presentaron en el otoño mientras que a unos pocos que no les ofrecieron cupo lograron entrar. Este gráfico muestra las notas de matemáticas de los candidatos de educación media del PCEP un año después de aplicar al PCEP. Las entradas encima de la línea muestran que los candidatos a quienes se les ofreció un cupo tienen notas de matemáticas estandarizadas cercanas a 0; o sea, cerca del promedio estatal. Como antes, estamos trabajando con datos de notas estandarizadas con media 0 y desviación estándar 1. Puesto que los candidatos del PCEP comienzan con notas de cuarto grado que están aproximadamente a 0,3 desviaciones estándar debajo de la media estatal, el desempeño a nivel del promedio estatal es impresionante. Al contrario, el promedio de las notas de matemáticas entre los que no se les ofreció cupo es aproximadamente -0,36 σ; o sea, 0,36 desviaciones estándar por debajo de la media estatal, un resultado típico para los estudiantes urbanos de Massachusetts. Como las ofertas de la lotería se asignan aleatoriamente, podemos decir con confianza que el ofrecimiento de un cupo en el PCEP aumenta las notas de matemáticas en un promedio de 0,36 σ, un efecto muy grande que también es estadísticamente preciso. Podemos decir con confianza que no es un hallazgo por chance. ¿Qué nos dice el efecto de una oferta de 0,36 σ sobre los efectos de entrar en realidad en PCEP? Los métodos de VI convierten los efectos de las ofertas PCEP en efectos de asistencia a PCEP. Usaré un video breve de mi curso corto en Marginal Revolution University para revisar brevemente los supuestos clave detrás de esta conversión. [Narrador] La VI describe una reacción en cadena ¿Por qué las ofertas afectan al logro? Porque probablemente ellas afectan la asistencia a las escuelas chárter, y la asistencia a la escuela chárter mejora las notas en matemáticas. El primer eslabón de la cadena, llamado, primera etapa, es el efecto de la lotería en la asistencia a la escuela chárter. La segunda etapa es la relación entre asistir a una escuela chárter y una variable resultado, en este caso, las calificaciones en matemáticas. La variable instrumental, o el instrumento, para resumir, es la variable que inicia la reacción en cadena. El efecto del instrumento sobre el resultado se llama forma reducida. Esta reacción en cadena puede ser representada matemáticamente. Multiplicamos la primera etapa, el efecto de ganar la lotería sobre la asistencia por la segunda etapa, el efecto de la asistencia sobre las calificaciones escolares, y obtenemos la forma reducida, el efecto de ganar la lotería sobre las calificaciones. La forma reducida y la primera etapa son observables y fáciles de calcular. Sin embargo, el efecto de la asistencia en el logro no se observa directamente. Este es el efecto causal que estamos tratando de determinar. Dados algunos supuestos importantes, que discutiremos en breve, podemos hallar el efecto de la asistencia a una escuela del PCEP, dividiendo la forma reducida en la primera etapa. [Joshua] La VI elimina el sesgo de selección, pero, al igual que todas nuestras herramientas, la solución se construye sobre una serie de supuestos que no deben darse por sentado. Primero, debe haber una primera etapa sustancial, que es, la variable instrumental, ganar o perder la lotería, debe realmente cambiar la variable cuyos efectos son los que nos interesan aquí, la asistencia a una escuela PCEP. En este caso, la primera etapa no está en duda realmente. Ganar la lotería hace que la asistencia a una escuela PCEP sea más probable. No todas las historias la VI son como esta. Segundo, el instrumento tiene que ser tan bueno como la asignación al azar; lo que significa que ganadores y perdedores de la lotería tienen características similares. Ese es un supuesto de independencia. Por supuesto, las victorias de la lotería del PCEP en verdad son asignadas al azar. Aun así, deberíamos verificar el balance y confirmar que los ganadores y perdedores tengan un entorno familiar similar, aptitudes similares, etc. En esencia, estamos verificando que se garantice que la lotería del PCEP sean imparciales, sin grupos de aspirantes sospechosamente más propensos a ganar. Finalmente, se requiere que el instrumento cambie los resultados únicamente a través de la variable de interés, en este caso, asistir a una escuela del PCEP. Este supuesto se llama la restricción de exclusión. El efecto causal de la asistencia a una escuela del PCEP puede ser por tanto escrito como la proporción del efecto de las ofertas sobre las notas en el numerador sobre el efecto de las ofertas en la inscripción a PCEP en el denominador. El numerador en esta fórmula de VI; o sea, el efecto directo del instrumento sobre los resultados tiene un nombre especial, se le llama forma reducida, el denominador es la primera etapa. La restricción de exclusión es a menudo la parte más confusa, o la más controvertida, de una historia de VI. Aquí, la restricción de exclusión equivale a declarar que el diferencial de 0,36 en la nota entre los ganadores y los perdedores de la lotería es enteramente atribuible a la diferencia de la pérdida/ganancia de 0,74 en la tasa de asistencia. Conectando los números el efecto de la asistencia a la escuela del PCEP es de 0,48 σ, casi mitad de una desviación estándar es ganada en las notas de matemáticas, ese es un efecto extraordinariamente grande. ¿Quién se beneficia en extremo del PCEP? ¿Todos los que aplican al PCEP ven tales ganancias? El LATE responde a esta pregunta. La interpretación de LATE de la estrategia empírica de VI de PCEP se clarifica por la historia bíblica de la Pascua judía que explica que hay cuatro tipos de niños, cada uno con comportamientos característicos. Para dar seguimiento a estos niños y sus comportamientos, les daré nombres aliterativos. Los candidatos como Álvaro, mueren por entrar en una escuela del PCEP. Si Álvaro pierde la lotería PCEP, su madre de todas maneras encontrará la forma de inscribirlo en el PCEP, tal vez volviendo a aplicar. Los candidatos como Camila están felices de ir a una escuela del PCEP si ganan un cupo en la lotería, pero aceptarán estoicamente el veredicto si pierden. Finalmente, a los candidatos como Normando les preocupa las largas jornadas y el montón de tareas que tendrán en el PCEP. Normando realmente no quiere ir y se rehúsa a ir a la escuela del PCEP cuando se le dice que ganó la lotería. A Normando lo llamamos "nunca-lo-toma" por que gane o pierda, no va a ir a la escuela del PCEP. En el otro extremo del compromiso del PCEP, a Álvaro lo llamaremos "siempre-lo-toma". Él felizmente tomará el cupo cuando se lo ofrezcan, mientras que su madre simplemente encuentra alguna forma de lograrlo por él, aún y cuando él pierda. Para Álvaro y Normando la escuela preferida, el PCEP, tradicional, no está afectada por la lotería. Camila es el tipo de candidato que le da poder a la VI. El instrumento determina su estatus de tratamiento. Las estrategias de la VI dependen de los candidatos como Camila a quienes llamamos "cumplidores". Este término proviene de los ensayos aleatorizados explicados con anterioridad. Como ya hemos discutido, muchos ensayos aleatorios aleatorizan solo la oportunidad de ser tratados, mientras que la decisión de cumplir con el tratamiento permanece voluntaria y no es aleatoria. Los cumplidores del ECA son aquellos que optan por el tratamiento cuando se les hace la oferta del tratamiento, pero no al revés. Con los instrumentos de lotería, el LATE es el efecto de la asistencia a una escuela del PCEP sobre Camila y los otros cumplidores como ella, quienes se inscriben en el PCEP y toman el tratamiento cuando se les ofrece a través de la lotería, pero no al revés. Los métodos de la VI son poco informativos para quienes siempre lo toman como Álvaro y los que nunca lo toman como Normando porque el instrumento no se relaciona con su estatus de tratamiento. ¡Eh!, ¿yo dije que habían cuatro tipos de niños? El cuarto tipo de niño en la teoría de la VI se comporta perversamente. ¡Siempre hay uno en cada familia! Estos niños desafiantes se inscriben en el PCEP solo cuando pierden la lotería. De hecho, el teorema del LATE requiere que partamos de un supuesto que es que haya pocos niños desafiantes, este parece ser una supuesto razonable para los instrumentos de lotería chárter, y tal vez hasta en la vida. El teorema del LATE algunas veces es visto como limitante de la relevancia de las estimaciones económicas porque se enfoca en los grupos de cumplidores. Aun así, la población de cumplidores es un grupo del que nos gustaría aprender. En el ejemplo del PCEP, los cumplidores son niños que probablemente son atraídos por el PCEP, donde la escuela se expande y ofrece cupos adicionales en la lotería. ¿Qué tan relevante es esto? Hace algunos años, Massachusetts permitió que las pujantes escuelas chárteres se expandieran. Un estudio reciente, realizado por algunos de mis compañeros de laboratorio, muestra que las estimaciones del LATE, como el que acabamos de calcular para el PCEP, predicen ganancias de aprendizaje en las escuelas creadas a través de la expansión chárter. Cerrando la Brecha de Logro El LATE no solo es un teorema, es una estructura. La estructura del LATE puede usarse para estimar la distribución entera de los resultados potenciales de los cumplidores como si hubiésemos tenido un ensayo aleatorizado para este grupo. Aunque la teoría detrás de este hecho es necesariamente técnica, su valor se aprecia fácilmente en la práctica. Para ilustrar esto, recordemos que el estudio del PCEP está motivado en parte por las diferencias en las notas de las pruebas por raza. Veamos la distribución de las calificaciones de cuarto grado separados por raza, para candidatos de Boston a escuelas chárter de educación media. Los dos lados de esta figura muestran distribuciones para los cumplidores con y sin tratamiento. A los cumplidores con tratamiento se les ofrece un cupo chárter en la lotería, mientras que a los cumplidores sin tratamiento no se les ofrece cupo. Ya que estas son notas de cuarto grado, mientras que la educación media empieza en el quinto o sexto grado, ambos lados de la figura son similares. Ambos lados muestran distribuciones de notas para los candidatos negros desplazadas hacia la izquierda respecto a las distribuciones de notas que corresponden a los blancos. Para el octavo grado, los cumplidores con tratamiento han terminado la escuela chárter en Boston, mientras que los cumplidores sin tratamiento se han quedado en una escuela pública tradicional. Notablemente, el siguiente gráfico muestra que las distribuciones de las notas de octavo grado de los negros y blancos cumplidores con tratamiento son indistingubles. Las escuelas medias chárter de Boston cerraron la brecha del logro. Pero para los sin tratamiento, las distribuciones de las notas de negros y blancos permanecen distintas con los estudiantes negros detrás de los blancos como estaban en cuarto grado. Las escuelas chárteres de Boston cerraron la brecha del logro. porque aquellos que entran en las escuelas chárter, los rezagados tienden a ganar lo más posible de la inscripción chárter. Profundizo en este punto en la versión escrita de esta charla. La Explicación de los Efectos de las Escuelas de Examen de Chicago ¿Recuerdas el acertijo de los efectos negativos de las escuelas de examen de Chicago? Terminaré la parte científica de mi charla usando la VI y la RD para explicar este hallazgo sorprendente. La solución a este acertijo comienza con el hecho de que el razonamiento económico se trata sobre las alternativas. Entonces, ¿cuál es la alternativa a la educación en una escuela de examen? Para muchos candidatos a las escuelas de examen de Chicago, la alternativa no examen es la escuela pública tradicional, pero muchos de los candidatos rechazados de las escuelas de examen de Chicago se matriculan en una escuela chárter. Las ofertas de las escuelas de examen reducen la posibilidad de asistencia a las escuelas chárteres. Específicamente, las escuelas de examen desvían a los candidatos lejos de las preparatorias en la red Noble de las escuelas chárteres. Noble, con pedagogía parecida al PCEP, es uno de los proveedores de chárter más visibles de Chicago. También, como PCEP, la evidencia convincente de la efectividad de Noble viene de las loterías de admisiones. El eje de la X en este gráfico muestra los efectos de la oferta de lotería sobre los años de matrícula en Noble. Esta es la primera etapa de Noble, para una VI que usa una variable dicótoma, indicando las ofertas de lotería de Noble como instrumento de matrícula en el Noble. Este gráfico tiene una característica que lo distingue de un análisis del PCEP más simple. El gráfico muestras los efectos de la primera etapa para dos grupos. Uno para los candidatos de Noble que viven en los vecindarios de más bajos ingresos de Chicago, el nivel 1, y uno para los candidatos de Noble que viven en áreas de mayores ingresos, el nivel 3. ¿Recuerdas la reacción en cadena de la VI? Cada punto de este gráfico tiene coordenadas dadas por la forma reducida de la primera etapa y eso implica una estimación de la VI. El efecto de la inscripción de Noble sobe las notas del ACT es la proporción entre la coordenada de la forma reducida sobre la coordenada de la primera etapa. Este gráfico muestras ambas proporciones Los resultados relevantes para el nivel 1 son 0,35, mientras que para el nivel 3 tenemos 0,33; nada mal. Para los candidatos de Noble de ambos niveles, estas primeras etapas y las estimaciones de la forma reducida implican un efecto anual de estar matriculados en Noble de una ganancia de un tercio de una desviación estándar en las notas de matemáticas del ACT. Nota que también hay una línea que conecta dos de los estimados de la VI en la figura. Ya que esta línea pasa a través del origen, su pendiente, las diferencia en el eje Y dividida por la diferencia en eje X, es aproximadamente igual a las estimaciones de la VI; en este caso, la pendiente es de 0,34. El hecho de que la línea pase a través de 0,0 es importante por otra razón. Con esto, hemos corroborado la restricción de exclusión. Específicamente, la restricción de exclusión dice que dado un grupo para el cual las ofertas de Noble no se relacionan con la inscripción de Noble; lo que debemos esperar ver es un efecto 0 de la forma reducida de estas ofertas hechas a los candidatos en ese grupo. ¿Qué tan consistente es la evidencia de que una escuela Noble cause una ganancia de aprendizaje del orden de 0,34 σ por año? En el siguiente gráfico, agregamos 12 puntos más a los 2 originales. Los puntos rojos aquí muestran la primera etapa y la forma reducida, los efectos de la oferta de Noble para 12 grupos adicionales, dos niveles más y doce grupos definidos por características demográficas relacionadas con la raza, el sexo, el ingreso familiar y las calificaciones estándar. Aunque no se ajusta perfectamente, estos puntos apiñados señalan una línea alrededor de pendiente 0,36 σ muy parecido a la línea que vimos antes para los candidatos de los niveles 1 y 3. Ahora te estarás preguntando, ¿qué tienen que ver las estimaciones de la VI Noble en esta figura con las inscripciones de las escuelas de examen? Aquí está la respuesta. La línea azul en este nuevo gráfico muestra, como debemos esperar, que la exposición a las escuelas de examen salta para candidatos que cruzan sus puntos de corte clasificatorio. Al mismo tiempo, la línea roja muestra que la matrícula escolar en Noble cae en el mismo punto. Este es el efecto de desviación de las ofertas de las escuelas de examen en la matrícula en Noble. A muchos niños a quienes se les ofrece un cupo en una escuela de examen prefieren ese cupo de la escuela de examen a matricularse en una escuela Noble. La IV nos da la oportunidad de arriesgarnos con fuertes afirmaciones sobre el mecanismo que está detrás del efecto causal. Aquí va una fuerte afirmación causal con relación al motivo por el cual las escuelas de examen de Chicago reducen el desempeño. La fuerza primaria que conduce a los efectos de forma reducida de clasificar a las escuela de examen en las notas del ACT, digo yo, proviene del efecto de las ofertas de las escuelas de examen sobre la matrícula en las escuelas Noble. Para apoyar esta afirmación, considera los puntos azules graficados aquí todos a la izquierda de 0 en el eje de las X. Estos puntos son negativos porque marcan el efecto de clasificar a las escuelas de examen en la matrícula en las escuelas Noble para grupos de candidatos particulares. Ya hemos visto que a los candidatos de Noble a quienes se les ofreció un cupo alcanzaron como resultado un gran aumento en las notas de matemáticas del ACT. Ahora considera las ofertas de las escuelas de examen como instrumento para la matrícula en escuelas Noble. Como siempre, la VI es la reacción en cadena. Si los requisitos de la escuela de examen reducen el tiempo en Noble a 0,37 años, y cada año de inscripción en Noble incrementa las notas de matemáticas del ACT en 0,36 σ, debemos esperar que los efectos de la forma reducida de la clasificación a las escuelas de examen reduzcan las notas del ACT conforme al producto de estos dos números; o sea, 0,13 σ. Los efectos de form reducida de la clasificación a la izquierda de la figura son en líneas generales consistentes con esto. Ellos se apiñan más cerca de -0.16 y no de -0,13, pero esa diferencia está dentro de la varianza de la muestra, de las estimaciones subyacentes. La historia causal aquí postula la desviación de las escuelas chárter como mecanismo por el cual las ofertas de las escuelas de examen afectan el logro. En otras palabras, es la inscripción en Noble lo que se presume que satisface una restricción de exclusión cuando usamos las ofertas de las escuelas de examen como variable instrumental. Como vimos anteriormente, lo importante es que la línea en este gráfico final, con dos grupos de 14 puntos, corre a través del origen. Este hecho apoya nuestra nueva restricción de exclusión. Para cualquier grupo de candidatos, para el cual las ofertas de la escuela de examen tengan poco o ningún efecto en la inscripción escolar de Noble, debemos también ver que no hay cambios en las notas del ACT. Al mismo tiempo, porque los puntos azules y rojos se apiñan alrededor de la misma línea, las estimaciones de VI de los efectos de la matrícula en las escuelas Noble generadas por las ofertas de Noble y de las escuelas de examen son prácticamente iguales. Espero que esta historia empírica te convenza del poder de las VI y la RD para generar conocimiento nuevo causal. Por décadas, he tenido la suerte de trabajar en muchos problemas empíricos igualmente fascinantes. La Economía Empírica se Pone Seria He calculado las estimaciones de la VI de la selección por lotería en mi tesis de doctorado de Princeton en un gran monstruo peludo de computadora central, usando cintas de nueve pistas y rentando espacio en un disco duro comunal. Los estudiantes de posgrado de Princeton aprendieron a montar y usar carretes de cinta del tamaño de un pastel de queso. Afortunadamente, el estudio empírico hoy requiere menos mano de obra. ¿Qué más ha mejorado en la época moderna empírica? En un artículo del 2010, Steve Pischke y yo creamos la frase "La revolución de credibilidad". Con esto, nos referimos al cambio económico hacia las estrategias empíricas transparentes aplicadas a preguntas concretas causales como las preguntas que David Card ha estudiado tan convincentemente. La econometría de mis días de estudiante se enfocaba más en modelos que en preguntas. El modelado tiene que ver con la era que ya terminó, pero, desde entonces, los econometristas han encontrado mucho en qué contribuir. Guardaré mis listas personales de grandes éxitos y nuevos artistas para la versión escrita de esta clase. Terminaré aquí, diciendo que estoy orgulloso de ser parte de esta empresa contemporánea de economía empírica y estoy agradecido, más allá de las palabras, por haber sido reconocido como contribuyente a ella. En Princeton, a finales de los años ochenta, mis compañeros de universidad y yo nos reíamos leyendo el lamento de Ed Leamer sobre que ningún economista toma en serio el trabajo empírico de otro economista. Esto ya no es cierto. El trabajo empírico hoy aspira a contar historias causales convincentes. No es que cada esfuerzo tenga éxito ni mucho menos, Pero, como cualquier candidato a trabajar en economía, te diría el trabajo empírico realizado con cuidado y claramente explicado se toma muy en serio. Esa es la medida del éxito de nuestra empresa ♪ (música) ♪ [Narrador] Si quieres aprender más de Josh, revisa su curso gratuito "Dominando la Econometría". Si te interesa explorar el trabajo de investigación de Josh, revisa estos vínculos en la descripción, o puedes darle clic para ver más videos de Josh ♪ (música) ♪