Return to Video

How to Read Economics Research Papers: Randomized Controlled Trials (RCTs)

  • 0:01 - 0:05
    [Narrador] En su intento
    de llegar a dominar la econometría,
  • 0:06 - 0:09
    Saltamonte Kamal ha progresado mucho,
  • 0:09 - 0:14
    poniendo a prueba sus capacidades
    y burlando a sus enemigos.
  • 0:14 - 0:17
    ¡Ay!, hoy está abatido
  • 0:17 - 0:20
    porque todavía le queda
    por vencer un desafío.
  • 0:20 - 0:24
    Kamal todavía no puede descifrar
    las escrituras de investigación académica,
  • 0:24 - 0:27
    revistas
    como "The American Economic Review"
  • 0:27 - 0:29
    y "Econometrica".
  • 0:29 - 0:34
    A él le parece que están escritas
    en un oscuro idioma extragero.
  • 0:34 - 0:35
    [Kamal] !Uf!, ¿qué diab...?
  • 0:37 - 0:40
    [Narrador] Estos volúmenes
    son turbios para el principiante, Kamal,
  • 0:40 - 0:42
    pero pueden ser descifrados con estudio.
  • 0:42 - 0:45
    Leámoslos juntos.
  • 0:53 - 0:55
    Sumerjámonos
    en el estudio de Westo Point,
  • 0:55 - 0:58
    publicado
    en el "Economics of Education Review".
  • 0:59 - 1:02
    Este artículo trata sobre
    una evaluación aleatoria
  • 1:02 - 1:06
    del uso de electrónicos por parte
    de los estudiantes de Economía 101.
  • 1:06 - 1:09
    Primero, haremos una revisión rápida
    del diseño de la investigación
  • 1:09 - 1:11
    Okay.
  • 1:12 - 1:14
    [Josh] Los maestros de métricas
    que enseñan en West Point,
  • 1:14 - 1:17
    la academia militar que entrena
    a los oficiales de la armada de EUA,
  • 1:17 - 1:20
    diseñaron una prueba aleatoria
    para responder esta pregunta.
  • 1:21 - 1:23
    Estos maestro asignaron aleatoriamente
    a los cadetes en la clase de Economía
  • 1:23 - 1:27
    que funcionan bajo reglas distintas.
  • 1:27 - 1:29
    A diferencia de la mayoría
    de las universidades de EUA,
  • 1:29 - 1:32
    en West Point no se usan los electrónicos.
  • 1:32 - 1:36
    Para propósitos de este experimento,
    algunos estudiantes permanecieron
  • 1:36 - 1:39
    en las clases tradicionales
    sin tecnología,
  • 1:39 - 1:42
    sin laptops ni tablets
    y ¡tampoco teléfonos!
  • 1:42 - 1:43
    [ecos de voz]
  • 1:43 - 1:46
    Este es el grupo de control,
    o el punto de referencia.
  • 1:46 - 1:49
    Al otro grupo se le permitió
    el uso de electrónicos.
  • 1:49 - 1:53
    Este es el grupo de tratamiento
    sujeto al ambiente modificado.
  • 1:53 - 1:56
    El tratamiento, en este caso,
    es el uso libre
  • 1:56 - 1:58
    de laptops o tablets en la clase.
  • 1:59 - 2:02
    Cada pregunta causal
    tiene un resultado claro.
  • 2:02 - 2:05
    Las variables que esperamos influenciar
    se definen antes de empezar el estudio.
  • 2:06 - 2:08
    Los resultados en el estudio
    de los electrónicos de West Point
  • 2:08 - 2:11
    son las notas del examen final.
  • 2:11 - 2:14
    El estudio busca responder
    la siguiente pregunta:
  • 2:14 - 2:18
    ¿Cuál es el efecto causal
    de los electrónicos sobre el aprendizaje
  • 2:18 - 2:20
    en clase, medido a través
    de las calificaciones de los exámenes?
  • 2:21 - 2:24
    Los artículos de revistas especializadas
    en economía por lo general comienzan
  • 2:24 - 2:26
    con una tabla de estadística descriptiva
  • 2:26 - 2:29
    que proporciona hechos clave
    acerca de la muestra en estudio.
  • 2:29 - 2:32
    [Kamal] ¡Por Dios, ya recuerdo
    esta tabla tan confusa!
  • 2:32 - 2:37
    [Narrador] En las columnas 1 a 3 están
    las caracteristicas medias, o promedio.
  • 2:37 - 2:40
    Estos nos dan una idea
    de a quién estamos estudiando.
  • 2:40 - 2:44
    Comencemos con la columna 1,
    la cual describe las covariabless
  • 2:44 - 2:45
    en el grupo de control.
  • 2:45 - 2:49
    Las covariables son las características
    de los grupos de control y tratamiento,
  • 2:49 - 2:52
    medidos antes
    de que comience el experimento.
  • 2:52 - 2:58
    Por ejemplo, vemos que el grupo de control
    tiene una edad promedio de más de 20.
  • 2:58 - 3:00
    Muchas de estas covariables
    son variables ficticias.
  • 3:01 - 3:06
    Una variable ficticia solo puede tener
    dos valores: cero o uno.
  • 3:06 - 3:10
    Por ejemplo, el género se registra
    como una variable ficticia
  • 3:10 - 3:13
    que para mujer es igual a uno
    y para hombre es igual a cero.
  • 3:13 - 3:17
    La media de esta varable es
    la proporción de mujeres.
  • 3:17 - 3:21
    También vemos que en el grupo
    de control el 13 % son hispanos
  • 3:21 - 3:24
    y el 19 % hizo el servicio militar.
  • 3:25 - 3:27
    Las notas de la tabla son clave.
  • 3:27 - 3:29
    Consulten estas notas a medida
    que examinan la tabla.
  • 3:29 - 3:34
    Estas notas explican
    qué muestra cada columna y panel.
  • 3:39 - 3:42
    Lad notas, por ejemplo, nos dicen
  • 3:42 - 3:45
    que la desviaciones estándar
    están entre paréntesis.
  • 3:46 - 3:50
    Las desviaciones estándar nos dicen
    qué tan dispersos están los datos.
  • 3:50 - 3:55
    Por ejemplo, una desviación estándar
    de 0,52 nos dice que la mayor parte
  • 3:55 - 3:59
    de los GPA del grupo
    de control cae entre 2,35,
  • 3:59 - 4:03
    que está a 0,52 por debajo
    de la media del GPA de 2,87,
  • 4:03 - 4:08
    y 3,39, que está a 0,52
    por encima de 2,87.
  • 4:09 - 4:12
    Una desviación estándar menor
    significaría que los GPA
  • 4:12 - 4:15
    están más agrupados cerca de la media.
  • 4:15 - 4:18
    [Kamal] Okay, pero estas faltan
    para la mayor parte de las variables.
  • 4:18 - 4:19
    [Narrador] Es cierto, los maestros omiten
  • 4:19 - 4:22
    las desviaciones estándar
    de las variables ficticias
  • 4:22 - 4:26
    porque sus medias determinan
    sus desviaciones estándar.
  • 4:28 - 4:30
    En este estudio se comparan
    dos grupos de tratamiento
  • 4:30 - 4:32
    con el grupo de control.
  • 4:32 - 4:36
    Al primero se le permitió
    el uso de laptops y tabletas.
  • 4:36 - 4:38
    Con el segundo grupo de tratamiento
    su uso fue más limitado,
  • 4:38 - 4:42
    permitiendo que las tabletas
    solo estuvieran sobre el pupitre.
  • 4:42 - 4:45
    Los grupos de tratamiento
    son muy parecidos al grupo de control.
  • 4:47 - 4:51
    Esto nos lleva
    a los siguientes atributos de esta tabla.
  • 4:51 - 4:55
    Las columnas 4 a 6 usan tests estadísticos
    para comparar las características
  • 4:55 - 4:58
    del grupo de tratamiento con el de control
    antes del experimento.
  • 4:58 - 5:02
    En la columna 4, los dos grupos
    de tratamiento están mezclados.
  • 5:02 - 5:05
    Pueden ver que la diferencia
    en la proporción de mujeres
  • 5:05 - 5:10
    entre el grupo de tratamiento
    y el de control es solo de 0,03.
  • 5:11 - 5:14
    La diferencia
    no es estadísticamente significativa,
  • 5:14 - 5:17
    esta es el tipo de diferencia
    que podemos atribuir
  • 5:17 - 5:21
    a los resultados azarosos en el proceso
    de selección de la muestra.
  • 5:21 - 5:22
    [Kamal] ¡Mmm!, ¿Cómo sabemos eso?
  • 5:22 - 5:24
    [Narrador] ¿Recuerdas la regla general?
  • 5:24 - 5:27
    Las estimaciones estadísticas
    que exceden el error estándar
  • 5:27 - 5:30
    en múltiplos de 2
    en valores absolutos se dice
  • 5:30 - 5:34
    que son estadísticamente significativas.
  • 5:35 - 5:39
    El error estándar es de 0,03
  • 5:39 - 5:41
    igual que en la diferencia
    de la proporción de mujeres.
  • 5:42 - 5:46
    La proporción de la última
    a la anterior es solamente 1,
  • 5:46 - 5:49
    la cual, por supuesto, es menor que 2.
  • 5:49 - 5:51
    [Kamal] ¡Ajá! Ninguna de las diferencias
    del grupo de tratamiento
  • 5:51 - 5:54
    y control son mayores
    al doble de sus errores estándar.
  • 5:54 - 5:56
    [Narrador] Correcto.
  • 5:56 - 5:59
    La división al azar de los estudiantes
    parece haber tenido éxito
  • 5:59 - 6:02
    en la creación de grupos
    que son realmente comparables.
  • 6:03 - 6:05
    Podemos confiar, por tanto,
  • 6:05 - 6:08
    que cualquier diferencia posterior
    de los logros de la clase
  • 6:08 - 6:11
    son el resultado
    de la intervención experimental
  • 6:11 - 6:15
    más que de un reflejo
    de diferencias preexistentes.
  • 6:15 - 6:17
    ¡Ceteris paribus conseguido!
  • 6:17 - 6:21
    [Kamal] Buenísimo.
    Pero ¿qué pasa en la parte de abaj,
  • 6:21 - 6:23
    los número con asteríscos?
  • 6:23 - 6:26
    Esas diferencias son
    mucho más del doble que el error estándar.
  • 6:26 - 6:27
    [Narrador] ¡Buen ojo, Kamal!
  • 6:27 - 6:29
    La tabla tiene muchos números.
  • 6:29 - 6:32
    Los del panel B son importantes también.
  • 6:32 - 6:36
    Ellos miden el grado
    en el que los estudiantes usan
  • 6:36 - 6:39
    las computadoras en clase en el grupo
    de tratamiento y en el de control.
  • 6:40 - 6:43
    El tratamiento aquí fue permitir
    el uso de la computadora.
  • 6:43 - 6:45
    Los investigadores deben mostrar
  • 6:45 - 6:47
    que a los estudiantes
    que se les permitió usar computadoras
  • 6:47 - 6:49
    tomaron ventaja
    de esa circunstancia para hacerlo.
  • 6:50 - 6:53
    Si ellos no lo hicieron, entonces,
    realmente no hay tratamiento.
  • 6:54 - 6:58
    Afortunadamente, el 81 % de quienes
    estaban en el grupo de primer tratamiento
  • 6:58 - 6:59
    usaron las computadoras
  • 6:59 - 7:02
    en comparación
    con los del grupo de control.
  • 7:02 - 7:05
    Y muchos del segundo grupo
    de tratamiento con tabletas
  • 7:05 - 7:07
    también usaron computadoras.
  • 7:07 - 7:10
    Estas diferencias en el uso
    de la computadora son grandes
  • 7:10 - 7:12
    y estadísticamente significativas.
  • 7:12 - 7:15
    También pudimos ver el tamaño
    de la muestra en cada grupo.
  • 7:15 - 7:18
    [Kamal ¿Los asteríscos son
    como decoraciones?
  • 7:18 - 7:22
    [Narrador] Algunos artículos académicos
    usan asteriscos para indicar
  • 7:22 - 7:24
    las diferencias
    que son estadísticamente significativas.
  • 7:24 - 7:27
    Esto los hace saltar a la vista.
  • 7:27 - 7:32
    Aquí, tres asteríscos indican que el resultado
    es estadísticamente diferente
  • 7:32 - 7:35
    de cero con un valor-p menor que 1 %.
  • 7:36 - 7:39
    En otras palabras, hay
    una posibilidad menor que 1 en 100
  • 7:39 - 7:42
    de que este resultado
    sea puramente un hallazgo por azar.
  • 7:42 - 7:43
    [aplausos]
  • 7:43 - 7:49
    Dos asteríscos son 1 posibilidad en 20,
    o de un 5 %, de un acierto por azar.
  • 7:49 - 7:52
    Un asterísco denota resultados
    que pudieramos ver tanto
  • 7:52 - 7:56
    como el 10 % de las veces
    debido solamente al azar.
  • 7:56 - 8:00
    Hoy en día, los asteríscos son vistos
    como un poquito anticuado
  • 8:00 - 8:02
    y algunas revistas los omiten.
  • 8:02 - 8:04
    [Kamal] ¿Y qué pasa
    con los de las dos últimas columnas?
  • 8:04 - 8:06
    [Narrador] A diferencia de la columna 4
    que combina ambos grupos
  • 8:06 - 8:10
    de tratamiento en uno,
    estas dos últimas columnas
  • 8:10 - 8:12
    muestra las diferencias
    para cada uno de los grupos
  • 8:12 - 8:15
    el de tratamiento y el de control,
  • 8:15 - 8:17
    lo cual facilita un análisis
    de balance más detallado.
  • 8:18 - 8:21
    Pero, por ahora, pueden ignorar esta fila
  • 8:21 - 8:24
    que muestra otro tes de significancia.
  • 8:25 - 8:29
    Ahora buscaremos la culminación
    del artículo, la tabla 4.
  • 8:30 - 8:33
    Esta tabla muestra
    las estimaciones de la regresión
  • 8:33 - 8:37
    de los efectos del uso de electrónicos
    sobre la medida del aprendizaje.
  • 8:37 - 8:40
    [Kamal] ¿Por quéel estudio
    da las estimaciones de la regresión?
  • 8:40 - 8:43
  • 8:43 - 8:45
  • 8:45 - 8:47
  • 8:47 - 8:50
  • 8:50 - 8:54
  • 8:54 - 8:55
  • 8:55 - 8:59
  • 8:59 - 9:01
  • 9:01 - 9:04
  • 9:04 - 9:07
  • 9:07 - 9:10
  • 9:10 - 9:14
  • 9:14 - 9:17
  • 9:17 - 9:19
  • 9:20 - 9:23
  • 9:23 - 9:24
  • 9:25 - 9:26
  • 9:26 - 9:29
  • 9:29 - 9:33
  • 9:33 - 9:38
  • 9:38 - 9:40
  • 9:40 - 9:44
  • 9:45 - 9:48
  • 9:48 - 9:51
  • 9:51 - 9:53
  • 9:53 - 9:56
  • 9:56 - 10:01
  • 10:02 - 10:03
  • 10:03 - 10:07
  • 10:07 - 10:11
  • 10:11 - 10:13
  • 10:13 - 10:16
  • 10:16 - 10:20
  • 10:20 - 10:21
  • 10:22 - 10:26
  • 10:26 - 10:27
  • 10:28 - 10:31
  • 10:31 - 10:34
  • 10:34 - 10:37
  • 10:37 - 10:40
  • 10:40 - 10:44
  • 10:44 - 10:47
  • 10:47 - 10:50
  • 10:50 - 10:52
  • 10:52 - 10:53
  • 10:53 - 10:56
  • 10:56 - 11:01
  • 11:01 - 11:04
  • 11:04 - 11:08
  • 11:09 - 11:12
  • 11:12 - 11:14
  • 11:14 - 11:15
  • 11:15 - 11:17
  • 11:17 - 11:20
  • 11:20 - 11:22
  • 11:22 - 11:24
  • 11:24 - 11:26
  • 11:26 - 11:30
  • 11:30 - 11:35
  • 11:35 - 11:37
  • 11:37 - 11:40
  • 11:40 - 11:43
  • 11:43 - 11:45
  • 11:45 - 11:48
  • 11:48 - 11:51
  • 11:51 - 11:54
  • 11:55 - 11:56
  • 11:56 - 11:58
  • 11:59 - 12:03
  • 12:03 - 12:05
  • 12:05 - 12:08
  • 12:08 - 12:09
  • 12:09 - 12:12
  • 12:12 - 12:13
  • 12:16 - 12:17
  • 12:17 - 12:21
  • 12:21 - 12:23
  • 12:23 - 12:25
  • 12:25 - 12:29
  • 12:29 - 12:33
  • 12:33 - 12:35
Title:
How to Read Economics Research Papers: Randomized Controlled Trials (RCTs)
Description:

more » « less
Video Language:
English
Team:
Marginal Revolution University
Project:
Mastering Econometrics
Duration:
12:40

Spanish subtitles

Revisions Compare revisions