Return to Video

How to Read Economics Research Papers: Randomized Controlled Trials (RCTs)

  • 0:01 - 0:05
    [Narrador] En su búsqueda
    para dominar la econometría,
  • 0:06 - 0:09
    Saltamontes Kamal ha progresado mucho,
  • 0:09 - 0:13
    poniendo a prueba sus capacidades
    y burlando a sus enemigos.
  • 0:14 - 0:17
    ¡Ay!, hoy está abatido
  • 0:17 - 0:19
    porque todavía le queda
    por vencer un desafío.
  • 0:20 - 0:24
    Kamal todavía no puede descifrar
    las escrituras de investigación académica,
  • 0:24 - 0:27
    revistas como:
    "The American Economic Review"
  • 0:27 - 0:29
    y "Econometrica".
  • 0:29 - 0:34
    A él le parece que están escritas
    en un oscuro idioma extranjero.
  • 0:34 - 0:35
    [Kamal] ¡Uf!, ¿qué diab...?
  • 0:37 - 0:40
    [Narrador] Estos volúmenes
    son turbios para el principiante, Kamal,
  • 0:40 - 0:42
    pero pueden ser descifrados con estudio.
  • 0:42 - 0:45
    Leámoslos juntos.
  • 0:46 - 0:49
    ♪ (música) ♪
  • 0:53 - 0:55
    [Narrador] Sumerjámonos
    en el estudio de West Point,
  • 0:55 - 0:58
    publicado
    en el "Economics of Education Review".
  • 0:59 - 1:02
    Este artículo trata sobre
    una evaluación aleatoria
  • 1:02 - 1:06
    del uso de electrónicos por parte
    de los estudiantes de Economía 101.
  • 1:06 - 1:09
    Primero, haremos una revisión rápida
    del diseño de la investigación
  • 1:09 - 1:11
    Bueno.
  • 1:12 - 1:14
    [Josh] Los maestros de métricas
    que enseñan en West Point,
  • 1:14 - 1:17
    la academia militar que entrena
    a los oficiales de la armada de EUA,
  • 1:17 - 1:20
    diseñaron una prueba aleatoria
    para responder esta pregunta.
  • 1:21 - 1:25
    Estos maestros asignaron aleatoriamente
    a los cadetes en las clases de Economía
  • 1:25 - 1:27
    que funcionan bajo distintas reglas.
  • 1:27 - 1:29
    A diferencia de la mayoría
    de las universidades de EUA,
  • 1:29 - 1:32
    en West Point no se usan los electrónicos.
  • 1:32 - 1:36
    Para propósitos de este experimento,
    algunos estudiantes permanecieron
  • 1:36 - 1:39
    en las clases tradicionales
    sin tecnología,
  • 1:39 - 1:42
    sin laptops ni tabletas
    y ¡tampoco teléfonos!
  • 1:42 - 1:43
    [ecos de voz]
  • 1:43 - 1:46
    Este es el grupo de control,
    o el punto de referencia.
  • 1:46 - 1:49
    Al otro grupo se le permitió
    el uso de electrónicos.
  • 1:49 - 1:53
    Este es el grupo de tratamiento
    sujeto al ambiente modificado.
  • 1:53 - 1:56
    El tratamiento, en este caso,
    es el uso libre
  • 1:56 - 1:58
    de laptops o tabletas en la clase.
  • 1:59 - 2:02
    Cada pregunta causal
    tiene un resultado claro.
  • 2:02 - 2:05
    Las variables que esperamos influenciar
    se definen antes de empezar el estudio.
  • 2:06 - 2:09
    Los resultados en el estudio
    de los electrónicos de West Point
  • 2:09 - 2:11
    son las notas del examen final.
  • 2:11 - 2:13
    El estudio busca responder
    la siguiente pregunta:
  • 2:14 - 2:17
    ¿Cuál es el efecto causal
    de los electrónicos sobre el aprendizaje
  • 2:18 - 2:20
    en clase, medido a través
    de las calificaciones de los exámenes?
  • 2:21 - 2:24
    [Narrador] Los artículos de revistas
    de economía por lo general comienzan
  • 2:24 - 2:26
    con una tabla de estadística descriptiva
  • 2:26 - 2:29
    que proporciona hechos clave
    acerca de la muestra en estudio.
  • 2:29 - 2:32
    [Kamal] ¡Por Dios, ya recuerdo
    esta tabla, es muy confusa!
  • 2:32 - 2:37
    [Narrador] En las columnas 1 a 3 están
    las características medias, o promedio.
  • 2:37 - 2:39
    Estos nos dan una idea
    de a quién estamos estudiando.
  • 2:40 - 2:44
    Comencemos con la columna 1,
    la cual describe las covariables
  • 2:44 - 2:45
    en el grupo de control.
  • 2:45 - 2:49
    Las covariables son las características
    de los grupos de control y tratamiento,
  • 2:49 - 2:52
    medidos antes
    de que comience el experimento.
  • 2:52 - 2:57
    Por ejemplo, vemos que el grupo de control
    tiene una edad promedio de más de 20.
  • 2:58 - 3:00
    Muchas de estas covariables
    son variables ficticias.
  • 3:01 - 3:06
    Una variable ficticia solo puede tener
    dos valores: cero o uno.
  • 3:06 - 3:10
    Por ejemplo, el género se registra
    como una variable ficticia
  • 3:10 - 3:13
    que para mujer es igual a uno
    y para hombre es igual a cero.
  • 3:13 - 3:17
    La media de esta variable es
    la proporción de mujeres.
  • 3:17 - 3:21
    También vemos que en el grupo
    de control el 13 % son hispanos
  • 3:21 - 3:24
    y el 19 % ya hizo el servicio militar.
  • 3:25 - 3:27
    Las notas de la tabla son clave.
  • 3:27 - 3:29
    Consulten estas notas a medida
    que examinan la tabla.
  • 3:29 - 3:33
    Estas notas explican
    lo que muestra cada columna y panel.
  • 3:34 - 3:36
    ♪ (música) ♪
  • 3:36 - 3:37
    PANEL A
  • 3:37 - 3:39
    PANEL B
  • 3:39 - 3:42
    Las notas, por ejemplo, nos dicen
  • 3:42 - 3:45
    que las desviaciones estándar
    están entre paréntesis.
  • 3:46 - 3:50
    Las desviaciones estándar nos dicen
    qué tan dispersos están los datos.
  • 3:50 - 3:55
    Por ejemplo, una desviación estándar
    de 0,52 nos dice que la mayor parte
  • 3:55 - 3:59
    de los GPA del grupo
    de control cae entre 2,35,
  • 3:59 - 4:03
    que está a 0,52 por debajo
    de la media del GPA de 2,87,
  • 4:03 - 4:08
    y 3,39, que está a 0,52
    por encima de 2,87.
  • 4:09 - 4:12
    Una desviación estándar menor
    significaría que los GPA
  • 4:12 - 4:14
    están más agrupados cerca de la media.
  • 4:15 - 4:17
    [Kamal] Sí, pero estas faltan
    para la mayor parte de las variables.
  • 4:17 - 4:20
    [Narrador] Es cierto, los maestros omiten
  • 4:20 - 4:22
    las desviaciones estándar
    de las variables ficticias
  • 4:22 - 4:26
    porque sus medias determinan
    sus desviaciones estándar.
  • 4:28 - 4:30
    En este estudio se comparan
    dos grupos de tratamiento
  • 4:30 - 4:32
    con el grupo de control.
  • 4:32 - 4:36
    Al primero se le permitió
    el uso de laptops y tabletas.
  • 4:36 - 4:38
    Con el segundo grupo de tratamiento
    su uso fue más limitado,
  • 4:38 - 4:42
    permitiendo que las tabletas
    solo estuvieran sobre el pupitre.
  • 4:42 - 4:45
    Los grupos de tratamiento
    son muy parecidos al grupo de control.
  • 4:47 - 4:49
    Esto nos lleva
    a los siguientes atributos de esta tabla.
  • 4:50 - 4:55
    Las columnas 4 a 6 usan tests estadísticos
    para comparar las características
  • 4:55 - 4:58
    del grupo de tratamiento con el de control
    antes del experimento.
  • 4:58 - 5:02
    En la columna 4, los dos grupos
    de tratamiento están combinados.
  • 5:02 - 5:05
    Pueden ver que la diferencia
    en la proporción de mujeres
  • 5:05 - 5:10
    entre el grupo de tratamiento
    y el de control es solo de 0,03.
  • 5:11 - 5:14
    La diferencia
    no es estadísticamente significativa,
  • 5:14 - 5:17
    este es el tipo de diferencia
    que podemos considerar
  • 5:17 - 5:21
    como resultado del azar en el proceso
    de selección de la muestra.
  • 5:21 - 5:22
    [Kamal] ¡Mmm!, ¿Cómo sabemos eso?
  • 5:22 - 5:24
    [Narrador] ¿Recuerdan la regla general?
  • 5:24 - 5:27
    Las estimaciones estadísticas
    que exceden el error estándar
  • 5:27 - 5:30
    en múltiplos de 2
    en valores absolutos se dice
  • 5:30 - 5:34
    que son estadísticamente significativas.
  • 5:35 - 5:39
    El error estándar es de 0,03
  • 5:39 - 5:41
    igual que en la diferencia
    de la proporción de mujeres.
  • 5:42 - 5:46
    La proporción de la última
    a la anterior es solamente 1,
  • 5:46 - 5:49
    la cual, por supuesto, es menor que 2.
  • 5:49 - 5:51
    [Kamal] ¡Ajá! Ninguna de las diferencias
    del grupo de tratamiento
  • 5:51 - 5:54
    y control son mayores
    al doble de sus errores estándar.
  • 5:54 - 5:56
    [Narrador] Correcto.
  • 5:56 - 5:59
    La división al azar de los estudiantes
    parece haber tenido éxito
  • 5:59 - 6:02
    en la creación de grupos
    que son realmente comparables.
  • 6:03 - 6:05
    Podemos confiar, por tanto,
  • 6:05 - 6:08
    que cualquier diferencia posterior
    a los logros de la clase
  • 6:08 - 6:11
    es resultado
    de la intervención experimental
  • 6:11 - 6:14
    más que de un reflejo
    de diferencias preexistentes.
  • 6:15 - 6:17
    ¡Ceteris paribus alcanzado!
  • 6:17 - 6:21
    [Kamal] Buenísimo.
    Pero ¿qué hay en la parte de abajo,
  • 6:21 - 6:22
    los números con asteriscos?
  • 6:23 - 6:25
    Esas diferencias son
    mucho más del doble que el error estándar.
  • 6:26 - 6:27
    [Narrador] ¡Buena observación, Kamal!
  • 6:27 - 6:29
    La tabla tiene muchos números.
  • 6:29 - 6:32
    Los del panel B son importantes también.
  • 6:32 - 6:36
    Esos miden el grado
    en el que los estudiantes usan
  • 6:36 - 6:39
    las computadoras en clase en el grupo
    de tratamiento y en el de control.
  • 6:40 - 6:43
    El tratamiento aquí fue permitir
    el uso de la computadora.
  • 6:43 - 6:45
    Los investigadores deben mostrar
  • 6:45 - 6:47
    que a los estudiantes
    que se les permitió usar computadoras
  • 6:47 - 6:49
    sacaron ventaja
    de esa circunstancia para hacerlo.
  • 6:50 - 6:53
    Si no lo hicieron, entonces,
    realmente no hay tratamiento.
  • 6:54 - 6:58
    Afortunadamente, el 81 % de quienes
    estaban en el grupo de primer tratamiento
  • 6:58 - 6:59
    usaron las computadoras
  • 6:59 - 7:02
    en comparación con los del grupo
    de control que no lo hicieron.
  • 7:02 - 7:05
    Y muchos del segundo grupo
    de tratamiento con tabletas
  • 7:05 - 7:07
    también usaron computadoras.
  • 7:07 - 7:10
    Estas diferencias en el uso
    de la computadora son grandes
  • 7:10 - 7:12
    y estadísticamente significativas.
  • 7:12 - 7:15
    También pudimos ver el tamaño
    de la muestra en cada grupo.
  • 7:15 - 7:18
    [Kamal ¿Los asteriscos son
    como decoraciones?
  • 7:18 - 7:21
    [Narrador] En algunos artículos académicos
    se usan los asteriscos para indicar
  • 7:21 - 7:24
    que las diferencias
    son estadísticamente significativas.
  • 7:24 - 7:26
    Esto los hace saltar a la vista.
  • 7:27 - 7:32
    Tres asteriscos indican que el resultado
    es estadísticamente distinto
  • 7:32 - 7:35
    de cero con un valor-p menor que 1 %.
  • 7:36 - 7:40
    En otras palabras, hay
    una posibilidad menor que 1 en 100
  • 7:40 - 7:42
    de que este resultado
    sea puramente un hallazgo por azar.
  • 7:42 - 7:43
    [aplausos]
  • 7:43 - 7:46
    Dos asteriscos son 1 posibilidad en 20,
  • 7:46 - 7:49
    o de un 5 %, de un hallazgo por azar.
  • 7:49 - 7:52
    Un asterisco denota resultados
    que pudiéramos ver tanto
  • 7:52 - 7:56
    como el 10 % de las veces
    debido solamente al azar.
  • 7:56 - 8:00
    Hoy en día, los asteriscos son vistos
    como un poquito anticuados
  • 8:00 - 8:02
    y algunas revistas los omiten.
  • 8:02 - 8:04
    [Kamal] ¿Y qué pasa
    con los de las dos últimas columnas?
  • 8:04 - 8:07
    [Narrador] A diferencia de la columna 4
    que combina ambos grupos
  • 8:07 - 8:10
    de tratamiento en uno,
    estas dos últimas columnas
  • 8:10 - 8:12
    muestran separadamente las diferencias
    en el tratamiento/control
  • 8:12 - 8:15
    en cada grupo de tratamiento,
  • 8:15 - 8:17
    lo cual facilita un análisis
    de balance más detallado.
  • 8:18 - 8:21
    Pero, por ahora, pueden ignorar esta fila
  • 8:21 - 8:24
    que muestra otro test de significancia.
  • 8:25 - 8:29
    Ahora buscaremos la culminación
    del artículo, la tabla 4.
  • 8:30 - 8:33
    Esta tabla muestra
    las estimaciones de la regresión
  • 8:33 - 8:37
    de los efectos del uso de electrónicos
    sobre la medida del aprendizaje.
  • 8:37 - 8:40
    [Kamal] ¿Por qué el estudio muestra
    las estimaciones de la regresión?
  • 8:40 - 8:42
    Ve, por eso me pierdo.
  • 8:43 - 8:45
    Pensé que la única razón
    por la cual necesitamos
  • 8:45 - 8:47
    los tratamientos aleatorios es
    para obtener los efectos causales
  • 8:47 - 8:50
    comparando simplemente los grupos
    de tratamiento y de control
  • 8:50 - 8:54
    y dado que estos grupos están balanceados,
    no se necesita usar a la regresión.
  • 8:54 - 8:55
    [Narrador] Bien dicho, Kamal.
  • 8:55 - 8:59
    En la práctica se acostumbra a mostrar
    las estimaciones de la regresión
  • 8:59 - 9:01
    por dos razones:
  • 9:01 - 9:04
    primero, evidencia
    de balance, sin embargo,
  • 9:04 - 9:07
    un exceso de cautela,
    podría conducir al analista
  • 9:07 - 9:10
    a permitir las diferencias por el azar.
  • 9:10 - 9:14
    Segundo, es más probable
    que las estimaciones de la regresión
  • 9:14 - 9:17
    sean más precisas, es decir,
    los errores estándar son menores
  • 9:17 - 9:19
    que los de la simple comparación
    entre tratamiento y control.
  • 9:20 - 9:23
    La variable dependiente en este estudio
  • 9:23 - 9:24
    es el resultado de interés.
  • 9:25 - 9:26
    Debido a que la pregunta
    que tenemos a mano
  • 9:26 - 9:29
    es cómo afectan al aprendizaje
    los electrónicos en clase,
  • 9:29 - 9:33
    un buen resultado es
    las notas del examen final de Economía.
  • 9:33 - 9:37
    Cada columna muestra los resultados
    de un modelo de regresión diferente.
  • 9:38 - 9:40
    Los modelos se distinguen
    a través de las variables de control,
  • 9:40 - 9:44
    o covariables, e incluyen,
    además, la condición de tratamiento.
  • 9:45 - 9:48
    Las estimaciones sin covariables
    son comparaciones simples
  • 9:48 - 9:51
    entre los grupos
    de control y de tratamiento.
  • 9:51 - 9:53
    [Kamal] Yo pensé
    que solo habían olvidado llenarlo.
  • 9:53 - 9:56
    [Narrador] La columna 1 sugiere
    que el uso de electrónicos
  • 9:56 - 10:01
    reduce las notas del examen final
    en 0,28 desviaciones estándar.
  • 10:02 - 10:03
    En nuestra última lección,
  • 10:03 - 10:07
    el Maestro Joshway explicó que se usan
    las unidades de desviación estándar
  • 10:07 - 10:11
    porque estas unidades
    se comparan fácilmente
  • 10:11 - 10:14
    a través de los estudios.
    La columna 2 muestra los resultados
  • 10:14 - 10:16
    de un modelo que añade
    controles demográficos.
  • 10:16 - 10:18
    Aquí se están comparando
    las notas de los tests,
  • 10:18 - 10:21
    pero manteniendo constantes
    factores como la edad y el sexo.
  • 10:22 - 10:26
    La columna 3 muestra los resultados
    de un modelo que añade el GPA
  • 10:26 - 10:27
    a una lista de covariables.
  • 10:28 - 10:31
    En la columna 4 añades las notas del ACT.
  • 10:31 - 10:34
    Los analistas en general reportan
    los resultados de esta manera,
  • 10:34 - 10:37
    empezando con los modelos
    que incluyen pocas o ninguna covariables
  • 10:37 - 10:40
    y, entonces, muestran
    las estimaciones de los modelos
  • 10:40 - 10:44
    que añaden más y más covariables a medida
    que nos movemos por las columnas.
  • 10:44 - 10:47
    Si examinan las columnas, ¿qué observan?
  • 10:47 - 10:50
    [Kamal] Bien, el coeficiente sobre el uso
    de una computadora siempre es
  • 10:50 - 10:52
    un número muy negativo.
  • 10:52 - 10:53
    [Narrador] ¡Correcto!
  • 10:53 - 10:56
    También vemos que los errores estándar
    son suficientemente pequeños
  • 10:56 - 11:01
    para hacer a estos resultados negativos
    estadísticamente significativos.
  • 11:01 - 11:04
    En otras palabras, la primera conclusión
    de este experimento
  • 11:05 - 11:08
    es que los electrónicos en el salón
    de clases reduce el aprendizaje.
  • 11:09 - 11:12
    [Kamal] Las notas de GPA y ACT
    también son significativas
  • 11:12 - 11:14
    ¿Por qué?
  • 11:14 - 11:15
    [Narrador] ¡Buena observación!
  • 11:15 - 11:17
    Eso no me sorprende.
  • 11:17 - 11:20
    Se espera que estas variables
    predigan el rendimiento universitario.
  • 11:20 - 11:22
    [Kamal] Cierto, por supuesto.
  • 11:22 - 11:24
    Es más probable que los estudiantes
  • 11:24 - 11:27
    que tuvieron mejores notas antes
    tengan mejores notas en este curso.
  • 11:27 - 11:30
    [Narrador] También van a observar
    mucha más información en esta tabla.
  • 11:30 - 11:34
    Los paneles restantes de la tabla
    muestran los efectos del uso
  • 11:34 - 11:37
    de electrónicos
    sobre los componentes del examen final
  • 11:37 - 11:40
    tales como las preguntas
    de selección múltiple.
  • 11:40 - 11:43
    Estos resultados son muy consistentes
    con los efectos del uso de computadoras
  • 11:43 - 11:45
    sobre las notas en general.
  • 11:45 - 11:48
    [Kamal] ¿Qué pasa con las filas
    que no están en inglés?
  • 11:48 - 11:51
    [Narrador] Estas filas dan
    información estadística adicional.
  • 11:51 - 11:54
    R cuadrado es una medida
    de la bondad de ajuste
  • 11:55 - 11:56
    y no es tan importante,
  • 11:56 - 11:58
    aunque hay personas a quienes
    les gustaría saber qué es.
  • 11:59 - 12:03
    Otras filas muestran tests alternativos
    de significancia estadística
  • 12:03 - 12:05
    que, por ahora, pueden ignorar.
  • 12:05 - 12:08
    [Kamal] ¡Por Dios, estas tablas
    no son tan difíciles!
  • 12:08 - 12:09
    Muchísimas gracias.
  • 12:09 - 12:12
    [Narrador] Después veremos la regresión.
  • 12:12 - 12:13
    ¡Hasta entonces!
  • 12:16 - 12:17
    ♪ (música) ♪
  • 12:17 - 12:21
    Estás a punto de dominar la econometría.
  • 12:21 - 12:23
    Asegúrate de aprender de este video,
  • 12:23 - 12:25
    respondiendo a los ejercicios.
  • 12:25 - 12:29
    O, si estás listo, haz clic
    en el siguiente video.
  • 12:29 - 12:33
    También puedes revisar el sitio web de MRU
    para ver más cursos, recursos
  • 12:33 - 12:35
    para enseñanza y más.
  • 12:36 - 12:39
    ♪ (música) ♪
Titolo:
How to Read Economics Research Papers: Randomized Controlled Trials (RCTs)
Descrizione:

more » « less
Video Language:
English
Team:
Marginal Revolution University
Progetto:
Mastering Econometrics
Duration:
12:40

Spanish subtitles

Revisioni Compare revisions