[Narrador] El camino de la causa al efecto es oscuro y peligroso, pero las armas de la econometría son eficaces. Observen la más poderosa de ellas: la espada de la asignación aleatoria que van al fundamento de las preguntas de causa y efecto. Empecemos con nuestra arma más poderosa y más costosa: las pruebas aleatorias. [Estudiante] ¡Genial! Cada misión de una métrica empieza con la pregunta causal. Las preguntas claras llevan a respuestas claras. Las respuestas más claras provienen de pruebas aleatorias. Veamos cómo y porqué las pruebas aleatorias dan respuestas especialmente convincentes a preguntas causales. [Josh] Como una espada bien afilada, las pruebas aleatorias van al corazón de un problema causal, creando comparaciones convincentes del tipo "manzanas con manzanas". Pero, como con cualquier arma meticulosamente hecha, las pruebas aleatorias son caras y no se pueden hacer rápidamente Las pruebas aleatorias se originan en la investigación clínica donde se les llama ensayos clínicos aleatorios o ECA. La Administración de Alimentos y Medicamentos de EUA les solicita a los fabricantes de medicamentos que demuestren la seguridad y eficacia de nuevos fármacos o tratamientos médicos. Esto se hace a través de una serie de ECA. Por eso, es que las pruebas aleatorias miden mejor los efectos del tratamiento. Puede ser que ustedes hayan contribuido con otro tipo de prueba aleatoria: las pruebas A/B que usan las empresas de Silicon Valley para comparar las estrategias de mercado. Por ejemplo, Amazon aleatoriza resultados de búsqueda en un flujo constante de experimentos encubiertos. - [Mujer] ¡Oh! - [Hombre] Interesante. Las pruebas aleatorias también son importantes en la investigación educativa; se han utilizado para responder una pregunta causal como aquella que despierta demasiado interés en mi apasionada maestra: ¿Se debería aceptar el uso de laptops y otros dispositivos electrónicos en el salón de clases? Muchos ven a los electrónicos dentro del aula como un apoyo para el aprendizaje, pero para otros, como yo, son una distracción dañina. ¿Quién tiene razón? CAPITULO 01 PRUEBAS ALEATORIAS: DISEÑO DE INVESTIGACIÓN Los maestros de métricas que enseñan en West Point, la academia militar que entrena a los oficiales de la armada de EUA, diseñaron una prueba aleatoria para responder esta pregunta. Estos maestros asignan aleatoriamente a los cadetes a clases de economía que funcionan bajo reglas distintas. A diferencia de la mayoría de las universidades de EUA, en West Point no se usan los electrónicos. Para propósitos de este experimento, algunos estudiantes permanecieron en las clases tradicionales sin tecnología, sin laptops ni tabletas y ¡tampoco teléfonos! Este es el grupo de control, o el punto de referencia. Al otro grupo se le permitió el uso de electrónicos. Este es el grupo de tratamiento, sujeto al ambiente modificado. El tratamiento, en este caso, es el uso libre de laptops o tabletas en clase. Cada pregunta causal tiene un resultado claro. Las variables que esperamos influenciar, se definen antes de empezar el estudio. Los resultados en el estudio de los electrónicos en West Point son las notas de los exámenes finales. El estudio busca responder a la siguiente pregunta: ¿Cuál es el efecto causal de los electrónicos sobre el aprendizaje en clase medido a través de las calificaciones de los exámenes? [Narrador] Los estudiantes de economía fueron asignados aleatoriamente a uno de los dos grupos, al de control o al de tratamiento. La asignación aleatoria crea comparaciones ceteris paribus, permitiéndonos, así, obtener conclusiones causales al comparar los grupos. El poder revelador de la causalidad en una prueba aleatoria proviene de una propiedad estadística llamada la ley de los grandes números. Cuando los estadísticos y matemáticos descubren algo importante que es cierto e irrefutable sobre el mundo natural, lo llaman ley. La ley de los grandes números dice que cuando los grupos aleatorizados son suficientemente grandes, los estudiantes allí serán similares en promedio, en todos los sentidos. Esto significa que se espera que los grupos de estudiantes divididos al azar sean similares en cuanto al entorno familiar, la motivación y las habilidades. Adiós al sesgo de selección, al menos en teoría. En la práctica, pudiera suceder que los grupos aleatorios no sean lo suficientemente grandes como para que la ley de los grandes números se cumpla o que los investigadores hayan fallado en las asignaciones aleatorias. Como en cualquier tarea técnica, incluso los más experimentados están alertas de los errores posibles. Por lo tanto, debemos comprobar los errores de balance, comparando las variables del entorno de los estudiantes en los dos grupos y asegurarnos de que verdaderamente sean similares. [Narrador] Aquí está la revisión del balance de West Point. Esta tabla tiene dos columnas: una que muestra datos del grupo de control y otra que muestra datos del grupo de tratamiento. Las filas muestran algunas de las variables que, esperamos, estén balanceadas: sexo, edad, raza, puntos GPA, entre otros. La primera fila indica qué porcentaje de cada grupo es mujer. En el grupo de control es de 17 % y 20 % en el grupo de tratamiento. Kamal, ¿cómo se ve el balance del GPA? [Kamal] Los del grupo de control tienen un GPA de 2,87, mientras que los del otro tienen un GPA de 2,82 aproximadamente, muy similares. [Narrador] Los dos grupos son similares en general. ¿Qué tan grande debe ser la muestra para que la ley de los grandes números se cumpla? [Narrador] El estudio de West Point que involucró a 250 estudiantes en cada grupo es suficientemente grande. No hay reglas estrictas en esto. En otro video aprenderán sobre cómo confirmar la hipótesis del balance de grupo con pruebas estadísticas formales. [Hombre] ¡Qué emocionante! CAPÍTULO 02 ANÁLISIS DE LOS DATOS El meollo del asunto en esta mesa es el efecto estimado del tratamiento. Recuerde que el tratamiento en este caso es el permiso para usar dispositivos electrónicos en clase. Los efectos del tratamiento comparan los promedios entre los grupos de control y de tratamiento. El grupo que tiene permiso de usar electrónicos en el aula tuvo una calificación promedio del examen final de 0,28 desviaciones estándar por debajo de las calificaciones del grupo de control. ¿Qué tan grande es este efecto? Los científicos sociales miden las calificaciones en desviaciones estándar porque estas unidades son de fácil comparación entre los estudios. Sabemos por el historial de investigaciones sobre aprendizaje en el aula que 0,28 es muchísimo. Una disminución de 0,28 es como tomar al estudiante de puntuación intermedia y bajarlo al tercio inferior. ¿Qué tan seguros podemos estar de que estos resultados de verdad sean significativos? Después de todo, estamos analizando una división aleatorizada entre el tratamiento y los grupos de control. Otras divisiones podrían haber producido algo diferente. Por lo tanto, calculamos la varianza de la muestra en las estimaciones de los efectos causales. ¿Qué es la varianza muestral? [Narrador] La varianza muestral nos dice qué tan probable es que un resultado estadístico particular sea un resultado fortuito, en vez de indicar una relación subyacente. La varianza muestral se resume en un número llamado error estándar del efecto estimado del tratamiento. - [Estudiantes] ¡No lo entiendo! - ¿De qué está hablando? No se preocupen, después cubriremos a profundidad esta idea fundamental. [Estudiante] Genial. Solo recuerden que entre más pequeño sea el error estándar, los hallazgos serán más concluyentes. Por otro lado, si el error estándar es grande en comparación con el efecto que estamos tratando de estimar, hay una gran probabilidad de que obtengamos algo distinto si tuviéramos que repetir el experimento. Se puede entender al error estándar como una forma de medir la confiabilidad del resultado que vemos. [Estudiantes] Okey. [Narrador] En este estudio, el error estándar relevante es 0,1. Por ahora es suficiente aprender una simple regla de oro: cuando el efecto estimado del tratamiento es más del doble del error estándar, las probabilidades de este resultado no nulo son muy bajas, más o menos 1 de 20. Ya que esto es muy poco probable, decimos que las estimaciones que son dos o más veces mayor que el error estándar asociado son estadísticamente significativas. Camila, ¿el efecto del tratamiento del estudio de West Point es estadísticamente significativo? El error estándar es 0,10 y el efecto del tratamiento es 0,28 y como 0,28 es más del doble de 0,10; entonces, sí es significativo. Correcto. El fracaso en el aprendizaje por el uso de electrónicos en el curso Econ 101 es, por lo tanto, grande y estadísticamente significativo. [Hombre] Bien. CAPÍTULO 03 EL ARMA IDEAL Las pruebas aleatorias dan las respuestas más convincentes a preguntas causales. Cuando esta arma está en nuestro juego de herramientas, la usamos. La asignación aleatoria nos permite afirmar que ceteris, en efecto, se ha vuelto paribus, pero las pruebas aleatorias pueden ser difíciles de organizar, podrían ser costosas y requieren de mucho tiempo. y, en algunos casos, se consideran poco éticas. Así que los expertos buscan alternativas convincentes. Las alternativas tratan de imitar el poder revelador de la causalidad de una prueba aleatoria, pero sin el tiempo, el problema y el gasto de un experimento diseñado para un propósito particular. Estas herramientas alternativas se aplican a escenarios reales que imitan la asignación aleatoria. [Narrador] Estas a punto de dominar la econometría. Asegúrate de aprender de este video, respondiendo a los ejercicios. O, si estás listo, haz clic en el siguiente video. También puede revisar el sitio web de MRU para ver más cursos, recursos de enseñanza y más. ♪ (música) ♪