[Narrador] En su intento de llegar a dominar la econometría,
Saltamonte Kamal ha progresado mucho,
poniendo a prueba sus capacidades y burlando a sus enemigos.
¡Ay!, hoy está abatido
porque todavía le queda por vencer un desafío.
Kamal todavía no puede descifrar las escrituras de investigación académica,
revistas como "The American Economic Review"
y "Econometrica".
A él le parece que están escritas en un oscuro idioma extragero.
[Kamal] !Uf!, ¿qué diab...?
[Narrador] Estos volúmenes son turbios para el principiante, Kamal,
pero pueden ser descifrados con estudio.
Leámoslos juntos.
Sumerjámonos en el estudio de Westo Point,
publicado en el "Economics of Education Review".
Este artículo trata sobre una evaluación aleatoria
del uso de electrónicos por parte de los estudiantes de Economía 101.
Primero, haremos una revisión rápida del diseño de la investigación
Okay.
[Josh] Los maestros de métricas que enseñan en West Point,
la academia militar que entrena a los oficiales de la armada de EUA,
diseñaron una prueba aleatoria para responder esta pregunta.
Estos maestros asignaron aleatoriamente a los cadetes en las clases de Economía
que funcionan bajo reglas distintas.
A diferencia de la mayoría de las universidades de EUA,
en West Point no se usan los electrónicos.
Para propósitos de este experimento, algunos estudiantes permanecieron
en las clases tradicionales sin tecnología,
sin laptops ni tablets y ¡tampoco teléfonos!
[ecos de voz]
Este es el grupo de control, o el punto de referencia.
Al otro grupo se le permitió el uso de electrónicos.
Este es el grupo de tratamiento sujeto al ambiente modificado.
El tratamiento, en este caso, es el uso libre
de laptops o tablets en la clase.
Cada pregunta causal tiene un resultado claro.
Las variables que esperamos influenciar se definen antes de empezar el estudio.
Los resultados en el estudio de los electrónicos de West Point
son las notas del examen final.
El estudio busca responder la siguiente pregunta:
¿Cuál es el efecto causal de los electrónicos sobre el aprendizaje
en clase, medido a través de las calificaciones de los exámenes?
[Narrador] Los artículos de revistas de economía por lo general comienzan
con una tabla de estadística descriptiva
que proporciona hechos clave acerca de la muestra en estudio.
[Kamal] ¡Por Dios, ya recuerdo esta tabla tan confusa!
[Narrador] En las columnas 1 a 3 están las caracteristicas medias, o promedio.
Estos nos dan una idea de a quién estamos estudiando.
Comencemos con la columna 1, la cual describe las covariabless
en el grupo de control.
Las covariables son las características de los grupos de control y tratamiento,
medidos antes de que comience el experimento.
Por ejemplo, vemos que el grupo de control tiene una edad promedio de más de 20.
Muchas de estas covariables son variables ficticias.
Una variable ficticia solo puede tener dos valores: cero o uno.
Por ejemplo, el género se registra como una variable ficticia
que para mujer es igual a uno y para hombre es igual a cero.
La media de esta varable es la proporción de mujeres.
También vemos que en el grupo de control el 13 % son hispanos
y el 19 % ya hizo el servicio militar.
Las notas de la tabla son clave.
Consulten estas notas a medida que examinan la tabla.
Estas notas explican qué lo que muestra cada columna y panel.
Las notas, por ejemplo, nos dicen
que la desviaciones estándar están entre paréntesis.
Las desviaciones estándar nos dicen qué tan dispersos están los datos.
Por ejemplo, una desviación estándar de 0,52 nos dice que la mayor parte
de los GPA del grupo de control cae entre 2,35,
que está a 0,52 por debajo de la media del GPA de 2,87,
y 3,39, que está a 0,52 por encima de 2,87.
Una desviación estándar menor significaría que los GPA
están más agrupados cerca de la media.
[Kamal] Okay, pero estas faltan para la mayor parte de las variables.
[Narrador] Es cierto, los maestros omiten
las desviaciones estándar de las variables ficticias
porque sus medias determinan sus desviaciones estándar.
En este estudio se comparan dos grupos de tratamiento
con el grupo de control.
Al primero se le permitió el uso de laptops y tabletas.
Con el segundo grupo de tratamiento su uso fue más limitado,
permitiendo que las tabletas solo estuvieran sobre el pupitre.
Los grupos de tratamiento son muy parecidos al grupo de control.
Esto nos lleva a los siguientes atributos de esta tabla.
Las columnas 4 a 6 usan tests estadísticos para comparar las características
del grupo de tratamiento con el de control antes del experimento.
En la columna 4, los dos grupos de tratamiento están mezclados.
Pueden ver que la diferencia en la proporción de mujeres
entre el grupo de tratamiento y el de control es solo de 0,03.
La diferencia no es estadísticamente significativa,
esta es el tipo de diferencia que podemos atribuir
a los resultados azarosos en el proceso de selección de la muestra.
[Kamal] ¡Mmm!, ¿Cómo sabemos eso?
[Narrador] ¿Recuerdan la regla general?
Las estimaciones estadísticas que exceden el error estándar
en múltiplos de 2 en valores absolutos se dice
que son estadísticamente significativas.
El error estándar es de 0,03
igual que en la diferencia de la proporción de mujeres.
La proporción de la última a la anterior es solamente 1,
la cual, por supuesto, es menor que 2.
[Kamal] ¡Ajá! Ninguna de las diferencias del grupo de tratamiento
y control son mayores al doble de sus errores estándar.
[Narrador] Correcto.
La división al azar de los estudiantes parece haber tenido éxito
en la creación de grupos que son realmente comparables.
Podemos confiar, por tanto,
que cualquier diferencia posterior a los logros de la clase
son el resultado de la intervención experimental
más que de un reflejo de diferencias preexistentes.
¡Ceteris paribus alcanzado!
[Kamal] Buenísimo. Pero ¿qué hay en la parte de abajo,
los número con asteríscos?
Esas diferencias son mucho más del doble que el error estándar.
[Narrador] ¡Buen observación, Kamal!
La tabla tiene muchos números.
Los del panel B son importantes también.
Ellos miden el grado en el que los estudiantes usan
las computadoras en clase en el grupo de tratamiento y en el de control.
El tratamiento aquí fue permitir el uso de la computadora.
Los investigadores deben mostrar
que aquellos estudiantes que se les permitió usar computadoras
tomaron ventaja de esa circunstancia para hacerlo.
Si ellos no lo hicieron, entonces, realmente no hay tratamiento.
Afortunadamente, el 81 % de quienes estaban en el grupo de primer tratamiento
usaron las computadoras
en comparación con los del grupo de control que no lo hicieron.
Y muchos del segundo grupo de tratamiento con tabletas
también usaron computadoras.
Estas diferencias en el uso de la computadora son grandes
y estadísticamente significativas.
También pudimos ver el tamaño de la muestra en cada grupo.
[Kamal ¿Los asteríscos son como decoraciones?
[Narrador] En algunos artículos académicos se usan los asteriscos para indicar
que las diferencias son estadísticamente significativas.
Esto los hace saltar a la vista.
Aquí, tres asteríscos indican que el resultado es estadísticamente diferente
de cero con un valor-p menor que 1 %.
En otras palabras, hay una posibilidad menor que 1 en 100
de que este resultado sea puramente un hallazgo por azar.
[aplausos]
Dos asteríscos son 1 posibilidad en 20, o de un 5 %, de un acierto por azar.
Un asterísco denota resultados que pudieramos ver tanto
como el 10 % de las veces debido solamente al azar.
Hoy en día, los asteríscos son vistos como un poquito anticuados
y algunas revistas los omiten.
[Kamal] ¿Y qué pasa con los de las dos últimas columnas?
[Narrador] A diferencia de la columna 4 que combina ambos grupos
de tratamiento en uno, estas dos últimas columnas
muestran separadamente las diferencias de cada uno de los grupos,
el de tratamiento y el de control,
lo cual facilita un análisis de balance más detallado.
Pero, por ahora, pueden ignorar esta fila
que muestra otro tes de significancia.
Ahora buscaremos la culminación del artículo, la tabla 4.
Esta tabla muestra las estimaciones de la regresión
de los efectos del uso de electrónicos sobre la medida del aprendizaje.
[Kamal] ¿Por qué el estudio muestra las estimaciones de la regresión?
Ve, por eso me pierdo.
Pensé que la única razón por la cual necistamos
los tratamientos al aleatorio es para obtener los efectos causales
comparando simplemente los grupos de tratamiento y de control
y dado que estos grupos están balanceados, no se necesita usar al regresión.
[Narrador] Bien dicho, Kamal.
En la práctica se acostumbra a mostrar las estimaciones de la regresión
por dos razones:
primero, evidencia de balance, sin embargo,
un exceso de cautela, podría conducir al analista
a permitir las diferencias por el azar.
Segundo, es más probable que las estimasiones de la regresión
sean más precisas, es decir, los errores estándar son menores
que los de la simple comparación entre tratamiento y control.
La variable dependiente en este estudio
es el resultado de interés.
Debido a que la pregunta que tenemos a mano
es cómo afectan al aprendizaje los electrónicos en clase,
un buen resultado es las notas del examen final.
Cada columna muestra los resultados de un modelo de regresión diferente.
Los modelos se distinguen a través de las varables de conrol,
o covariables, ellos incluyen, además, la condición de tratamiento.
Las estimasiones sin covariables son comparaciones simples
entre los grupos de control y de tratamiento.
[Kamal] Yo pensé que solo habían olvidado llenarlo.
[Narrador] La columna 1 sugiere que el uso de electrónicos
reduce las notas del examen final en 0,28 desviaciones estándar.
En nuestra última lección,
el Maestro Joshway explicó que se usan las unidades de desviación estándar
porque estas unidades se comparar fácilmente
a través de los estudios. La columna 2 muestra los resultados
de un modelo que añade controles demográficos.
Aquí se están comparando las notas de los tests,
pero manteniendo constantes factores como la edad y el sexo.
La columna 3 muestra los resultado de un modelo que añade el GPA
a una lista de cavariables.
En la columna 4 añades las notas del ACT.
Los analistas en general reportan los resultados de esta manera,
empezando con los modelos que incluyen pocas o ninguna covariables
y, entonces, lo reportan las estimaciones de los modelos
que añaden más y más covariables a medida que nos movemos por las columnas
Si examinas las columnas, ¿qué observan?
[Kamal] Bien, el coeficiente sobre el uso de una computadora siempre es
un número mucho más negativo.
[Narrador] ¡Correcto!
También vemos que los errores estándar son suficientemente pequeños
para hacer estos resultados negativos estadísticamente significativos.
En otras palabras, la primera conclusión de este experimento
es que los electrónicos en el salón de clases reduce el aprendizaje.
[Kamal] Las notas de GPA y ACT tembién son significativas
¿Por qué?
[Narrador] ¡Buena observación!
Eso no sorprende.
Se espera que estas variables predigan el rendimiento académico.
[Kamal] Cierto, pro supuesto.
es más probable que los estudiantes
que tuviero mejores notas tengan mejores notas en este curso.
[Narrador] También van a observar mucho más información en testa tabla.
Los paneles restantes de la tabla muestran los efectos del uso
de electrónicos sobre los componentes del examen final
tales como las preguntas de selección múltiple.
Estos resultados son muy consistentes con los efectos del uso de computadoras
sobre las notas en general.
[Kamal] ¿Qué pasa con las filas que no están en inglés?
[Narrador] Estas filas dan información estadística adicional.
R cuadrado es una medida de la bondad de ajuste
y no es tan importante,
aunque hay personas a quienes les gustaría saber qué es.
Otras filas mustran tests alternativos de significancia estadística
que, por ahora, pueden ignorar.
[Kamal] ¡Por Dios, estas tablas no son tan difíciles!
Muchísimas gracias.
[Narrador] Después veremos la regresión.
¡Hasta entonces!
♪ (música) ♪
Estás a punto de llegar a dominar la econometría
Asegúrate de aprender este video,
haciendo los ejercicios.
O, si estás listo, haz clic en el siguiente video.
También puedes ir al sitio web de MRU para ver más cursos, recursos
para profesores y más.