Return to Video

Randomized Trials: The Ideal Weapon

  • 0:00 - 0:05
    [Narrador] El camino de la causa
    al efecto es oscuro y peligroso,
  • 0:06 - 0:09
    pero las armas
    de la econometría son eficaces.
  • 0:10 - 0:15
    Observen la más poderosa de ellas:
    la espada de la asignación aleatoria
  • 0:15 - 0:18
    que van al fundamento
    de las preguntas de causa y efecto.
  • 0:23 - 0:28
    Empecemos con nuestra arma
    más poderosa y más costosa:
  • 0:28 - 0:30
    las pruebas aleatorias.
  • 0:30 - 0:31
    [Estudiante] ¡Genial!
  • 0:31 - 0:35
    Cada misión de una métrica empieza
    con la pregunta causal.
  • 0:35 - 0:38
    Las preguntas claras llevan
    a respuestas claras.
  • 0:39 - 0:43
    Las respuestas más claras provienen
    de pruebas aleatorias.
  • 0:44 - 0:48
    Veamos cómo y porqué
    las pruebas aleatorias dan
  • 0:48 - 0:51
    respuestas especialmente convincentes
    a preguntas causales.
  • 0:52 - 0:56
    [Josh] Como una espada bien afilada,
    las pruebas aleatorias van
  • 0:56 - 0:58
    al corazón de un problema causal,
  • 0:58 - 1:01
    creando comparaciones convincentes
    del tipo "manzanas con manzanas".
  • 1:01 - 1:04
    Pero, como con cualquier arma
    meticulosamente hecha,
  • 1:04 - 1:07
    las pruebas aleatorias son caras
    y no se pueden hacer rápidamente
  • 1:08 - 1:12
    Las pruebas aleatorias se originan
    en la investigación clínica
  • 1:12 - 1:16
    donde se les llama
    ensayos clínicos aleatorios o ECA.
  • 1:17 - 1:20
    La Administración
    de Alimentos y Medicamentos de EUA
  • 1:20 - 1:22
    les solicita a los fabricantes
    de medicamentos
  • 1:22 - 1:25
    que demuestren la seguridad
    y eficacia de nuevos fármacos
  • 1:25 - 1:26
    o tratamientos médicos.
  • 1:27 - 1:30
    Esto se hace a través de una serie de ECA.
  • 1:31 - 1:36
    Por eso, es que las pruebas aleatorias
    miden mejor los efectos del tratamiento.
  • 1:36 - 1:38
    Puede ser que ustedes
    hayan contribuido con otro tipo
  • 1:38 - 1:40
    de prueba aleatoria:
  • 1:40 - 1:43
    las pruebas A/B
    que usan las empresas de Silicon Valley
  • 1:43 - 1:46
    para comparar las estrategias de mercado.
  • 1:46 - 1:50
    Por ejemplo, Amazon aleatoriza resultados
    de búsqueda en un flujo constante
  • 1:50 - 1:52
    de experimentos encubiertos.
  • 1:52 - 1:53
    - [Mujer] ¡Oh!
    - [Hombre] Interesante.
  • 1:53 - 1:57
    Las pruebas aleatorias también son
    importantes en la investigación educativa;
  • 1:57 - 1:59
    se han utilizado para responder
    una pregunta causal como aquella
  • 1:59 - 2:02
    que despierta demasiado interés
    en mi apasionada maestra:
  • 2:02 - 2:05
    ¿Se debería aceptar el uso de laptops
    y otros dispositivos electrónicos
  • 2:05 - 2:07
    en el salón de clases?
  • 2:07 - 2:09
    Muchos ven
    a los electrónicos dentro del aula
  • 2:09 - 2:12
    como un apoyo para el aprendizaje,
    pero para otros, como yo,
  • 2:12 - 2:14
    son una distracción dañina.
  • 2:14 - 2:16
    ¿Quién tiene razón?
  • 2:16 - 2:18
    CAPITULO 01
  • 2:18 - 2:20
    PRUEBAS ALEATORIAS:
    DISEÑO DE INVESTIGACIÓN
  • 2:22 - 2:24
    Los maestros de métricas
    que enseñan en West Point,
  • 2:24 - 2:27
    la academia militar que entrena
    a los oficiales de la armada de EUA,
  • 2:27 - 2:31
    diseñaron una prueba aleatoria
    para responder esta pregunta.
  • 2:31 - 2:34
    Estos maestros asignan aleatoriamente
    a los cadetes a clases de economía
  • 2:34 - 2:36
    que funcionan bajo reglas distintas.
  • 2:37 - 2:39
    A diferencia de la mayoría
    de las universidades de EUA,
  • 2:39 - 2:42
    en West Point no se usan los electrónicos.
  • 2:43 - 2:46
    Para propósitos de este experimento,
    algunos estudiantes permanecieron
  • 2:46 - 2:49
    en las clases tradicionales
    sin tecnología,
  • 2:49 - 2:52
    sin laptops ni tabletas
    y ¡tampoco teléfonos!
  • 2:53 - 2:56
    Este es el grupo de control,
    o el punto de referencia.
  • 2:56 - 3:00
    Al otro grupo se le permitió
    el uso de electrónicos.
  • 3:00 - 3:03
    Este es el grupo de tratamiento,
    sujeto al ambiente modificado.
  • 3:03 - 3:06
    El tratamiento, en este caso,
    es el uso libre
  • 3:06 - 3:08
    de laptops o tabletas en clase.
  • 3:09 - 3:12
    Cada pregunta causal
    tiene un resultado claro.
  • 3:12 - 3:16
    Las variables que esperamos influenciar,
    se definen antes de empezar el estudio.
  • 3:16 - 3:19
    Los resultados en el estudio
    de los electrónicos en West Point
  • 3:19 - 3:20
    son las notas de los exámenes finales.
  • 3:21 - 3:24
    El estudio busca responder
    a la siguiente pregunta:
  • 3:24 - 3:28
    ¿Cuál es el efecto causal de los
    electrónicos sobre el aprendizaje en clase
  • 3:28 - 3:30
    medido a través
    de las calificaciones de los exámenes?
  • 3:30 - 3:33
    [Narrador] Los estudiantes de economía
    fueron asignados aleatoriamente
  • 3:33 - 3:36
    a uno de los dos grupos,
    al de control o al de tratamiento.
  • 3:36 - 3:40
    La asignación aleatoria
    crea comparaciones ceteris paribus,
  • 3:40 - 3:45
    permitiéndonos, así, obtener conclusiones
    causales al comparar los grupos.
  • 3:45 - 3:49
    El poder revelador de la causalidad
    en una prueba aleatoria proviene
  • 3:49 - 3:53
    de una propiedad estadística
    llamada la ley de los grandes números.
  • 3:53 - 3:55
    Cuando los estadísticos
    y matemáticos descubren
  • 3:55 - 3:57
    algo importante
    que es cierto e irrefutable
  • 3:57 - 4:01
    sobre el mundo natural, lo llaman ley.
  • 4:02 - 4:05
    La ley de los grandes números dice
    que cuando los grupos aleatorizados
  • 4:05 - 4:08
    son suficientemente grandes,
    los estudiantes allí serán similares
  • 4:08 - 4:10
    en promedio, en todos los sentidos.
  • 4:11 - 4:14
    Esto significa que se espera que los
    grupos de estudiantes divididos al azar
  • 4:14 - 4:16
    sean similares en cuanto
    al entorno familiar,
  • 4:16 - 4:19
    la motivación y las habilidades.
  • 4:19 - 4:22
    Adiós al sesgo de selección,
    al menos en teoría.
  • 4:23 - 4:25
    En la práctica, pudiera suceder
    que los grupos aleatorios
  • 4:25 - 4:27
    no sean lo suficientemente grandes
  • 4:27 - 4:29
    como para que la ley
    de los grandes números se cumpla
  • 4:29 - 4:32
    o que los investigadores hayan
    fallado en las asignaciones aleatorias.
  • 4:32 - 4:35
    Como en cualquier tarea técnica,
    incluso los más experimentados
  • 4:35 - 4:37
    están alertas de los errores posibles.
  • 4:38 - 4:40
    Por lo tanto, debemos comprobar
    los errores de balance,
  • 4:40 - 4:43
    comparando las variables del entorno
    de los estudiantes en los dos grupos
  • 4:43 - 4:46
    y asegurarnos
    de que verdaderamente sean similares.
  • 4:46 - 4:49
    [Narrador] Aquí está la revisión
    del balance de West Point.
  • 4:50 - 4:52
    Esta tabla tiene dos columnas:
  • 4:52 - 4:55
    una que muestra datos del grupo de control
  • 4:55 - 4:57
    y otra que muestra datos
    del grupo de tratamiento.
  • 4:58 - 5:00
    Las filas muestran
    algunas de las variables
  • 5:00 - 5:02
    que, esperamos, estén balanceadas:
  • 5:02 - 5:06
    sexo, edad, raza, puntos GPA, entre otros.
  • 5:07 - 5:09
    La primera fila indica qué porcentaje
  • 5:09 - 5:12
    de cada grupo es mujer.
  • 5:12 - 5:16
    En el grupo de control es de 17 %
    y 20 % en el grupo de tratamiento.
  • 5:18 - 5:21
    Kamal, ¿cómo se ve el balance del GPA?
  • 5:22 - 5:25
    [Kamal] Los del grupo de control
    tienen un GPA de 2,87,
  • 5:25 - 5:29
    mientras que los del otro tienen
    un GPA de 2,82 aproximadamente,
  • 5:29 - 5:30
    muy similares.
  • 5:30 - 5:34
    [Narrador] Los dos grupos
    son similares en general.
  • 5:34 - 5:36
    ¿Qué tan grande debe ser la muestra
  • 5:36 - 5:38
    para que la ley de los grandes
    números se cumpla?
  • 5:38 - 5:39
    [Narrador] El estudio de West Point
  • 5:39 - 5:43
    que involucró
    a 250 estudiantes en cada grupo
  • 5:43 - 5:45
    es suficientemente grande.
  • 5:45 - 5:48
    No hay reglas estrictas en esto.
  • 5:48 - 5:51
    En otro video aprenderán
    sobre cómo confirmar la hipótesis
  • 5:51 - 5:55
    del balance de grupo
    con pruebas estadísticas formales.
  • 5:55 - 5:56
    [Hombre] ¡Qué emocionante!
  • 5:58 - 6:00
    CAPÍTULO 02
    ANÁLISIS DE LOS DATOS
  • 6:00 - 6:02
    El meollo del asunto en esta mesa
  • 6:02 - 6:04
    es el efecto estimado del tratamiento.
  • 6:05 - 6:07
    Recuerde que el tratamiento
    en este caso es el permiso
  • 6:07 - 6:09
    para usar dispositivos
    electrónicos en clase.
  • 6:10 - 6:12
    Los efectos del tratamiento
    comparan los promedios
  • 6:12 - 6:14
    entre los grupos de control
    y de tratamiento.
  • 6:15 - 6:18
    El grupo que tiene permiso
    de usar electrónicos en el aula
  • 6:18 - 6:20
    tuvo una calificación promedio
  • 6:20 - 6:22
    del examen final
    de 0,28 desviaciones estándar
  • 6:22 - 6:24
    por debajo de las calificaciones
    del grupo de control.
  • 6:26 - 6:28
    ¿Qué tan grande es este efecto?
  • 6:28 - 6:30
    Los científicos sociales miden
  • 6:30 - 6:32
    las calificaciones
    en desviaciones estándar
  • 6:32 - 6:35
    porque estas unidades son de fácil
    comparación entre los estudios.
  • 6:35 - 6:39
    Sabemos por el historial
    de investigaciones
  • 6:39 - 6:41
    sobre aprendizaje en el aula
    que 0,28 es muchísimo.
  • 6:41 - 6:46
    Una disminución de 0,28 es como tomar
    al estudiante de puntuación intermedia
  • 6:46 - 6:49
    y bajarlo al tercio inferior.
  • 6:49 - 6:52
    ¿Qué tan seguros podemos estar
    de que estos resultados
  • 6:52 - 6:53
    de verdad sean significativos?
  • 6:53 - 6:56
    Después de todo, estamos analizando
    una división aleatorizada
  • 6:56 - 6:58
    entre el tratamiento
    y los grupos de control.
  • 6:58 - 7:01
    Otras divisiones podrían haber
    producido algo diferente.
  • 7:01 - 7:04
    Por lo tanto, calculamos
    la varianza de la muestra
  • 7:04 - 7:06
    en las estimaciones
    de los efectos causales.
  • 7:06 - 7:08
    ¿Qué es la varianza muestral?
  • 7:09 - 7:11
    [Narrador] La varianza muestral
    nos dice qué tan probable
  • 7:11 - 7:16
    es que un resultado estadístico particular
    sea un resultado fortuito,
  • 7:16 - 7:19
    en vez de indicar una relación subyacente.
  • 7:20 - 7:23
    La varianza muestral
    se resume en un número
  • 7:23 - 7:27
    llamado error estándar
    del efecto estimado del tratamiento.
  • 7:27 - 7:29
    - [Estudiantes] ¡No lo entiendo!
    - ¿De qué está hablando?
  • 7:29 - 7:33
    No se preocupen, después cubriremos
    a profundidad esta idea fundamental.
  • 7:33 - 7:34
    [Estudiante] Genial.
  • 7:34 - 7:36
    Solo recuerden que entre más pequeño
    sea el error estándar,
  • 7:36 - 7:39
    los hallazgos serán más concluyentes.
  • 7:39 - 7:42
    Por otro lado,
    si el error estándar es grande
  • 7:42 - 7:45
    en comparación con el efecto
    que estamos tratando de estimar,
  • 7:45 - 7:48
    hay una gran probabilidad
    de que obtengamos algo distinto
  • 7:48 - 7:50
    si tuviéramos que repetir el experimento.
  • 7:51 - 7:55
    Se puede entender al error estándar
    como una forma de medir la confiabilidad
  • 7:55 - 7:57
    del resultado que vemos.
  • 7:57 - 7:58
    [Estudiantes] Okey.
  • 7:58 - 8:01
    [Narrador] En este estudio,
    el error estándar relevante es 0,1.
  • 8:02 - 8:05
    Por ahora es suficiente aprender
    una simple regla de oro:
  • 8:05 - 8:07
    cuando el efecto estimado
    del tratamiento es más
  • 8:07 - 8:09
    del doble del error estándar,
  • 8:09 - 8:11
    las probabilidades
    de este resultado no nulo
  • 8:11 - 8:14
    son muy bajas, más o menos 1 de 20.
  • 8:15 - 8:18
    Ya que esto es muy poco probable,
    decimos que las estimaciones que son dos
  • 8:18 - 8:21
    o más veces mayor
    que el error estándar asociado
  • 8:21 - 8:23
    son estadísticamente significativas.
  • 8:24 - 8:28
    Camila, ¿el efecto del tratamiento
    del estudio de West Point
  • 8:28 - 8:30
    es estadísticamente significativo?
  • 8:31 - 8:36
    El error estándar es 0,10
    y el efecto del tratamiento es 0,28
  • 8:36 - 8:40
    y como 0,28 es más del doble
    de 0,10; entonces, sí es significativo.
  • 8:40 - 8:42
    Correcto.
  • 8:42 - 8:46
    El fracaso en el aprendizaje por el uso
    de electrónicos en el curso Econ 101
  • 8:46 - 8:50
    es, por lo tanto, grande
    y estadísticamente significativo.
  • 8:50 - 8:51
    [Hombre] Bien.
  • 8:51 - 8:56
    CAPÍTULO 03
    EL ARMA IDEAL
  • 8:57 - 9:00
    Las pruebas aleatorias
    dan las respuestas más convincentes
  • 9:00 - 9:01
    a preguntas causales.
  • 9:01 - 9:04
    Cuando esta arma está en nuestro
    juego de herramientas, la usamos.
  • 9:05 - 9:07
    La asignación aleatoria nos permite
    afirmar que ceteris,
  • 9:07 - 9:10
    en efecto, se ha vuelto paribus,
  • 9:10 - 9:13
    pero las pruebas aleatorias pueden ser
    difíciles de organizar,
  • 9:13 - 9:15
    podrían ser costosas
    y requieren de mucho tiempo.
  • 9:15 - 9:18
    y, en algunos casos,
    se consideran poco éticas.
  • 9:18 - 9:21
    Así que los expertos buscan
    alternativas convincentes.
  • 9:21 - 9:25
    Las alternativas tratan de imitar
    el poder revelador de la causalidad
  • 9:25 - 9:28
    de una prueba aleatoria,
    pero sin el tiempo, el problema
  • 9:28 - 9:31
    y el gasto de un experimento
    diseñado para un propósito particular.
  • 9:31 - 9:35
    Estas herramientas alternativas
    se aplican a escenarios reales
  • 9:35 - 9:37
    que imitan la asignación aleatoria.
  • 9:39 - 9:43
    [Narrador] Estas a punto
    de dominar la econometría.
  • 9:43 - 9:44
    Asegúrate de aprender de este video,
  • 9:44 - 9:47
    respondiendo a los ejercicios.
  • 9:47 - 9:51
    O, si estás listo,
    haz clic en el siguiente video.
  • 9:51 - 9:54
    También puede revisar el sitio web de MRU
  • 9:54 - 9:57
    para ver más cursos,
    recursos de enseñanza y más.
  • 9:57 - 10:01
    ♪ (música) ♪
Title:
Randomized Trials: The Ideal Weapon
Description:

more » « less
Video Language:
English
Team:
Marginal Revolution University
Project:
Mastering Econometrics
Duration:
10:01

Spanish subtitles

Revisions Compare revisions