[Narrador] El camino de la causa
al efecto es oscuro y peligroso,
pero las armas
de la econometría son eficaces.
Observen la más poderosa de ellas:
la espada de la asignación aleatoria
que van al meollo
de las preguntas de causa y efecto.
Empecemos con nuestra arma
más poderosa y más costosa:
las pruebas aleatorias.
[Estudiante] ¡Genial!
Cada misión de una métrica empieza
con la pregunta causal.
Las preguntas claras llevan
a respuestas claras.
Las respuestas más claras provienen
de pruebas aleatorias.
Veamos cómo y porqué
las pruebas aleatorias dan
respuestas especialmente convincentes
a preguntas causales.
[Josh] Como una espada bien afilada,
las pruebas aleatorias van
al meollo de un problema causal,
creando comparaciones convincentes
del tipo "manzanas con manzanas".
Pero, como con cualquier arma
meticulosamente hecha,
las pruebas aleatorias son caras
y no se pueden hacer rápidamente
Las pruebas aleatorias se originan
en la investigación clínica
donde se les llama
ensayos clínicos aleatorios o ECA.
La Administración
de Alimentos y Medicamentos de EUA
les solicita a los fabricantes
de medicamentos
que demuestren la seguridad
y eficacia de nuevos fármacos
o tratamientos médicos.
Esto se hace a través de una serie de ECA.
Por eso, es que las pruebas aleatorias
miden mejor los efectos del tratamiento.
Puede ser que ustedes
hayan contribuido con otro tipo
de prueba aleatoria:
las pruebas A/B
que usan las empresas de Silicon Valley
para comparar las estrategias de mercado.
Por ejemplo, Amazon aleatoriza resultados
de búsqueda en un flujo constante
de experimentos encubiertos.
- [Mujer] ¡Oh!
- [Hombre] Interesante.
Las pruebas aleatorias también son
importantes en la investigación educativa
Se han utilizado para responder
preguntas causales
que le importan mucho a mi maestra:
¿Se debería aceptar el uso de laptops
y otros dispositivos electrónicos
en el salón de clases?
Muchos ven
a los electrónicos dentro del aula
como un apoyo para el aprendizaje,
pero para otros, como yo,
son una distracción dañina.
¿Quién tiene razón?
Los maestros de métricas
que enseñan en West Point,
el colegio militar que entrena,
a los oficiales de la armada de EUA,
diseñaron una prueba aleatoria
para responder esta pregunta.
Estos maestros asignan aleatoriamente
a los cadetes a clases de economía
que funcionan bajo reglas distintas.
A diferencia de la mayoría
de las universidades de EUA,
en West Point no se usan los electrónicos.
Para propósitos de este experimento,
algunos estudiantes permanecieron
en las clases tradicionales
sin tecnología,
sin laptops ni tabletas ni teléfonos.
Este es el grupo de control,
o el punto de referencia.
A otro grupo se le permitió
el uso de electrónicos.
Este es el grupo de tratamiento,
sujeto al ambiente modificado.
El tratamiento, en este caso,
es el uso libre
de laptops o tabletas en clase.
Cada pregunta causal
tiene un resultado claro.
Las variables que esperamos influenciar,
se definen antes de empezar el estudio.
Los resultados en el estudio
de los electrónicos en West Point
son las notas de los exámenes finales.
El estudio busca responder
a la siguiente pregunta:
¿Cuál es el efecto causal de los
electrónicos sobre el aprendizaje en clase
medido a través
de las calificaciones de los exámenes?
[Narrador] Los estudiantes de economía
fueron asignados aleatoriamente
a uno de los dos grupos,
al de control o al de tratamiento.
La asignación aleatoria
crea comparaciones ceteris paribus,
permitiéndonos, así, obtener conclusiones
causales al comparar los grupos.
El poder revelador de la causalidad
en una prueba aleatoria proviene
de una propiedad estadística
llamada la ley de los grandes números.
Cuando los estadísticos
y matemáticos descubren
algo importante
que es cierto e irrefutable
sobre el mundo natural, lo llaman ley.
La ley de los grandes números dice
que cuando los grupos aleatorios
son suficientemente grandes,
los estudiantes allí serán similares
en promedio, en todos los sentidos.
Esto significa que se espera que los
grupos de estudiantes divididos al azar
sean similares en cuanto
al entorno familiar,
la motivación y las habilidades.
Adiós al sesgo de selección,
al menos en teoría.
En la práctica, pudiera suceder
que los grupos aleatorios
no sean lo suficientemente grandes
como para que la ley
de los grandes números se cumpla
o que los investigadores hayan
fallado en las asignaciones aleatorias.
Como en cualquier tarea técnica,
incluso los más experimentados
están alertas de los errores posibles.
Po lo tanto, debemos comprobar
los errores de equilibrio,
comparando las variables del entorno
de los estudiantes en los dos grupos
y asegurarnos
de que verdaderamente sean similares.
[Narrador] Aquí está la revisión
del equilibrio de West Point.
Esta tabla tiene dos columnas:
una que muestra datos del grupo de control
y otra que muestra datos
del grupo de tratamiento.
Las filas muestran
algunas de las variables
que, esperamos, estén equilibradas:
sexo, edad, raza, puntos GPA, entre otros.
La primera fila indica qué porcentaje
de cada grupo es mujer.
En el grupo de control es de 17 %
y 20 % en el grupo de tratamiento.
Kamal, ¿cómo se ve el balance del GPA?
[Kamal] Los del grupo de control
tienen un GPA de 2,87,
mientras que los del otro tienen
un GPA de 2,82 aproximadamente,
muy similares.
[Narrador] Los dos grupos
son similares en general.
¿Qué tan grande debe ser la muestra
para que la ley de los grandes
números se cumpla?
[Narrador] El estudio de West Point
que involucró
a 250 estudiantes en cada grupo
es suficientemente grande.
No hay reglas estrictas en esto.
En otro video aprenderán
sobre cómo confirmar la hipótesis
del balance de grupo
con pruebas estadísticas formales.
[Hombre] ¡Qué emocionante!
El meollo del asunto en esta mesa
es el efecto estimado del tratamiento.
Recuerde que el tratamiento
en este caso es el permiso
para usar dispositivos
electrónicos en clase.
Los efectos del tratamiento
comparan los promedios
entre los grupos de control
y de tratamiento.
El grupo que tiene permiso
de usar electrónicos en el aula
tuvo una calificación promedio
del examen final
de 0,28 desviaciones estándar
por debajo de las calificaciones
del grupo de control.
¿Qué tan grande es este efecto?
Los científicos sociales miden
las calificaciones
en desviaciones estándar
porque estas unidades facilita
la comparación entre los estudios.
Sabemos por el historial
de investigaciones
sobre aprendizaje en el aula
que 0,28 es muchísimo.
Una disminución de 0,28 es como tomar
al estudiante de la mitad de la clase
y bajarlo al antepenúltimo lugar.
¿Qué tan seguros podemos estar
de que estos resultados
de verdad sean significativos?
Después de todo, estamos analizando
una división aleatoria
entre el tratamiento
y los grupos de control.
Otras divisiones podrían haber
producido algo diferente.
Por lo tanto, calculamos
la varianza de la muestra
con los estimados de los efectos causales.
¿Qué es la varianza muestral?
[Narrador] La varianza muestral
nos dice qué tan probable
es que un resultado estadístico particular
sea un resultado fortuito,
en vez de indicar
una relación subyacente.
La varianza muestral
se resume en un número
llamado error estándar
del efecto estimado del tratamiento.
- [Estudiantes] ¡No lo entiendo!
- ¿De qué está hablando?
No se preocupen, después cubriremos
a profundidad esta idea fundamental.
[Estudiante] Genial.
Solo recuerden que entre más pequeño
sea el error estándar
los hallazgos serán más concluyentes.
Por otro lado,
si el error estándar es grande
en relación con el efecto que estamos
tratando de estimar,
hay una gran probabilidad
de que obtengamos algo distinto
si tuviéramos que repetir el experimento.
Se puede entender al error estándar
como una forma de medir la confiabilidad
del resultado que vemos.
[Estudiantes] Okey.
[Narrador] En este estudio,
el error estándar relevante es 0,1.
Por ahora es suficiente saber
una simple regla de oro:
cuando el efecto estimado
del tratamiento es más
del doble del error estándar,
las probabilidades
de este resultado no nulo
son muy bajas, más o menos 1 de 20.
Ya que esto es muy poco probable,
decimos que los estimacines que son dos
o más veces mayor
que el error estándar asociado
son estadísticamente significativas.
Camila, ¿el efecto del tratamiento
del estudio de West Point
es estadísticamente significativo?
El error estándar es 0,10
y el efecto del tratamiento es 0,28
y como 0,28 es más del doble
de 0,10; entonces, sí es significativo.
Correcto.
El fracazo en el aprendizaje por el uso
de electrónicos en el curso Econ 101
es, por lo tanto, grande
y estadísticamente significativo.
[Hombre] Bien.
Las pruebas aleatorias
dan las respuestas más convincentes
a preguntas causales.
Cuando esta arma está en nuestro
juego de herramientas, la usamos.
La asignación aleatoria nos permite
afirmar que ceteris,
en efecto, se ha vuelto paribus,
pero las pruebas aleatorias pueden ser
difíciles de organizar,
podrían ser costosas
y requieren de mucho tiempo.
y, en algunos casos,
se consideran poco éticas.
Así que los expertos buscan
alternativas convincentes.
Las alternativas tratan de copiar
el poder revelador de la causalidad
de una prueba aleatoria,
pero sin el tiempo, el problema
y el gasto de un experimento
diseñado para un propósito particular.
Estas herramientas alternativas
se aplican a escenarios reales
que imitan la asignación aleatoria.
[Narrador] Estas a punto
de dominar la econometría.
Asegúrate de aprender de este video,
respondiendo a los ejercicios.
O, si estás listo,
haz clic en el siguiente video.
También puede revisar el sitio web de MRU
para ver más cursos,
recursos de enseñanza y más.