[Narrador] El camino de la causa al efecto es oscuro y peligroso,
pero las armas de la econometría son eficaces.
Observen la más poderosa de ellas: la espada de la asignación aleatoria
que van al meollo de las preguntas de causa y efecto.
Empecemos con nuestra arma más poderosa y más costosa:
las pruebas aleatorias.
[Estudiante] ¡Genial!
Cada misión de una métrica empieza con la pregunta causal.
Las preguntas claras llevan a respuestas claras.
Las respuestas más claras provienen de pruebas aleatorias.
Veamos cómo y porqué las pruebas aleatorias dan
respuestas especialmente convincentes a preguntas causales.
[Josh] Como una espada bien afilada, las pruebas aleatorias van
al meollo de un problema causal,
creando comparaciones convincentes del tipo "manzanas con manzanas".
Pero, como con cualquier arma meticulosamente hecha,
las pruebas aleatorias son caras y no se pueden hacer rápidamente
Las pruebas aleatorias se originan en la investigación clínica
donde se les llama ensayos clínicos aleatorios o ECA.
La Administración de Alimentos y Medicamentos de EUA
les solicita a los fabricantes de medicamentos
que demuestren la seguridad y eficacia de nuevos fármacos
o tratamientos médicos.
Esto se hace a través de una serie de ECA.
Por eso, es que las pruebas aleatorias miden mejor los efectos del tratamiento.
Puede ser que ustedes hayan contribuido con otro tipo
de prueba aleatoria:
las pruebas A/B que usan las empresas de Silicon Valley
para comparar las estrategias de mercado.
Por ejemplo, Amazon aleatoriza resultados de búsqueda en un flujo constante
de experimentos encubiertos.
- [Mujer] ¡Oh! - [Hombre] Interesante.
Las pruebas aleatorias también son importantes en la investigación educativa;
se han utilizado para responder una pregunta causal como aquella
que despierta demasiado interés en mi apasionada maestra:
¿Se debería aceptar el uso de laptops y otros dispositivos electrónicos
en el salón de clases?
Muchos ven a los electrónicos dentro del aula
como un apoyo para el aprendizaje,
pero para otros, como yo, son una distracción dañina.
¿Quién tiene razón?
Los maestros de métricas que enseñan en West Point,
el colegio militar que entrena a los oficiales de la armada de EUA,
diseñaron una prueba aleatoria para responder esta pregunta.
Estos maestros asignan aleatoriamente a los cadetes a clases de economía
que funcionan bajo reglas distintas.
A diferencia de la mayoría de las universidades de EUA,
en West Point no se usan los electrónicos.
Para propósitos de este experimento, algunos estudiantes permanecieron
en las clases tradicionales sin tecnología,
sin laptops ni tabletas ni teléfonos.
Este es el grupo de control, o el punto de referencia.
A otro grupo se le permitió el uso de electrónicos.
Este es el grupo de tratamiento, sujeto al ambiente modificado.
El tratamiento, en este caso, es el uso libre
de laptops o tabletas en clase.
Cada pregunta causal tiene un resultado claro.
Las variables que esperamos influenciar, se definen antes de empezar el estudio.
Los resultados en el estudio de los electrónicos en West Point
son las notas de los exámenes finales.
El estudio busca responder a la siguiente pregunta:
¿Cuál es el efecto causal de los electrónicos sobre el aprendizaje en clase
medido a través de las calificaciones de los exámenes?
[Narrador] Los estudiantes de economía fueron asignados aleatoriamente
a uno de los dos grupos, al de control o al de tratamiento.
La asignación aleatoria crea comparaciones ceteris paribus,
permitiéndonos, así, obtener conclusiones causales al comparar los grupos.
El poder revelador de la causalidad en una prueba aleatoria proviene
de una propiedad estadística llamada la ley de los grandes números.
Cuando los estadísticos y matemáticos descubren
algo importante que es cierto e irrefutable
sobre el mundo natural, lo llaman ley.
La ley de los grandes números dice que cuando los grupos aleatorios
son suficientemente grandes, los estudiantes allí serán similares
en promedio, en todos los sentidos.
Esto significa que se espera que los grupos de estudiantes divididos al azar
sean similares en cuanto al entorno familiar,
la motivación y las habilidades.
Adiós al sesgo de selección, al menos en teoría.
En la práctica, pudiera suceder que los grupos aleatorios
no sean lo suficientemente grandes
como para que la ley de los grandes números se cumpla
o que los investigadores hayan fallado en las asignaciones aleatorias.
Como en cualquier tarea técnica, incluso los más experimentados
están alertas de los errores posibles.
Por lo tanto, debemos comprobar los errores de equilibrio,
comparando las variables del entorno de los estudiantes en los dos grupos
y asegurarnos de que verdaderamente sean similares.
[Narrador] Aquí está la revisión del equilibrio de West Point.
Esta tabla tiene dos columnas:
una que muestra datos del grupo de control
y otra que muestra datos del grupo de tratamiento.
Las filas muestran algunas de las variables
que, esperamos, estén equilibradas:
sexo, edad, raza, puntos GPA, entre otros.
La primera fila indica qué porcentaje
de cada grupo es mujer.
En el grupo de control es de 17 % y 20 % en el grupo de tratamiento.
Kamal, ¿cómo se ve el balance del GPA?
[Kamal] Los del grupo de control tienen un GPA de 2,87,
mientras que los del otro tienen un GPA de 2,82 aproximadamente,
muy similares.
[Narrador] Los dos grupos son similares en general.
¿Qué tan grande debe ser la muestra
para que la ley de los grandes números se cumpla?
[Narrador] El estudio de West Point
que involucró a 250 estudiantes en cada grupo
es suficientemente grande.
No hay reglas estrictas en esto.
En otro video aprenderán sobre cómo confirmar la hipótesis
del balance de grupo con pruebas estadísticas formales.
[Hombre] ¡Qué emocionante!
El meollo del asunto en esta mesa
es el efecto estimado del tratamiento.
Recuerde que el tratamiento en este caso es el permiso
para usar dispositivos electrónicos en clase.
Los efectos del tratamiento comparan los promedios
entre los grupos de control y de tratamiento.
El grupo que tiene permiso de usar electrónicos en el aula
tuvo una calificación promedio
del examen final de 0,28 desviaciones estándar
por debajo de las calificaciones del grupo de control.
¿Qué tan grande es este efecto?
Los científicos sociales miden
las calificaciones en desviaciones estándar
porque estas unidades facilitan la comparación entre los estudios.
Sabemos por el historial de investigaciones
sobre aprendizaje en el aula que 0,28 es muchísimo.
Una disminución de 0,28 es como tomar al estudiante de la mitad de la clase
y bajarlo al tercio inferior.
¿Qué tan seguros podemos estar de que estos resultados
de verdad sean significativos?
Después de todo, estamos analizando una división aleatoria
entre el tratamiento y los grupos de control.
Otras divisiones podrían haber producido algo diferente.
Por lo tanto, calculamos la varianza de la muestra
en las estimaciones de los efectos causales.
¿Qué es la varianza muestral?
[Narrador] La varianza muestral nos dice qué tan probable
es que un resultado estadístico particular sea un resultado fortuito,
en vez de indicar una relación subyacente.
La varianza muestral se resume en un número
llamado error estándar del efecto estimado del tratamiento.
- [Estudiantes] ¡No lo entiendo! - ¿De qué está hablando?
No se preocupen, después cubriremos a profundidad esta idea fundamental.
[Estudiante] Genial.
Solo recuerden que entre más pequeño sea el error estándar
los hallazgos serán más concluyentes.
Por otro lado, si el error estándar es grande
en comparación con el efecto que estamos tratando de estimar,
hay una gran probabilidad de que obtengamos algo distinto
si tuviéramos que repetir el experimento.
Se puede entender al error estándar como una forma de medir la confiabilidad
del resultado que vemos.
[Estudiantes] Okey.
[Narrador] En este estudio, el error estándar relevante es 0,1.
Por ahora es suficiente saber una simple regla de oro:
cuando el efecto estimado del tratamiento es más
del doble del error estándar,
las probabilidades de este resultado no nulo
son muy bajas, más o menos 1 de 20.
Ya que esto es muy poco probable, decimos que los estimaciones que son dos
o más veces mayor que el error estándar asociado
son estadísticamente significativas.
Camila, ¿el efecto del tratamiento del estudio de West Point
es estadísticamente significativo?
El error estándar es 0,10 y el efecto del tratamiento es 0,28
y como 0,28 es más del doble de 0,10; entonces, sí es significativo.
Correcto.
El fracaso en el aprendizaje por el uso de electrónicos en el curso Econ 101
es, por lo tanto, grande y estadísticamente significativo.
[Hombre] Bien.
Las pruebas aleatorias dan las respuestas más convincentes
a preguntas causales.
Cuando esta arma está en nuestro juego de herramientas, la usamos.
La asignación aleatoria nos permite afirmar que ceteris,
en efecto, se ha vuelto paribus,
pero las pruebas aleatorias pueden ser difíciles de organizar,
podrían ser costosas y requieren de mucho tiempo.
y, en algunos casos, se consideran poco éticas.
Así que los expertos buscan alternativas convincentes.
Las alternativas tratan de copiar el poder revelador de la causalidad
de una prueba aleatoria, pero sin el tiempo, el problema
y el gasto de un experimento diseñado para un propósito particular.
Estas herramientas alternativas se aplican a escenarios reales
que imitan la asignación aleatoria.
[Narrador] Estas a punto de dominar la econometría.
Asegúrate de aprender de este video,
respondiendo a los ejercicios.
O, si estás listo, haz clic en el siguiente video.
También puede revisar el sitio web de MRU
para ver más cursos, recursos de enseñanza y más.