[Narrador] En su intento de llegar a dominar la econometría, Saltamonte Kamal ha progresado mucho, poniendo a prueba sus capacidades y burlando a sus enemigos. ¡Ay!, hoy está abatido porque todavía le queda por vencer un desafío. Kamal todavía no puede descifrar las escrituras de investigación académica, revistas como "The American Economic Review" y "Econometrica". A él le parece que están escritas en un oscuro idioma extragero. [Kamal] !Uf!, ¿qué diab...? [Narrador] Estos volúmenes son turbios para el principiante, Kamal, pero pueden ser descifrados con estudio. Leámoslos juntos. Sumerjámonos en el estudio de Westo Point, publicado en el "Economics of Education Review". Este artículo trata sobre una evaluación aleatoria del uso de electrónicos por parte de los estudiantes de Economía 101. Primero, haremos una revisión rápida del diseño de la investigación Okay. [Josh] Los maestros de métricas que enseñan en West Point, la academia militar que entrena a los oficiales de la armada de EUA, diseñaron una prueba aleatoria para responder esta pregunta. Estos maestro asignaron aleatoriamente a los cadetes en la clase de Economía que funcionan bajo reglas distintas. A diferencia de la mayoría de las universidades de EUA, en West Point no se usan los electrónicos. Para propósitos de este experimento, algunos estudiantes permanecieron en las clases tradicionales sin tecnología, sin laptops ni tablets y ¡tampoco teléfonos! [ecos de voz] Este es el grupo de control, o el punto de referencia. Al otro grupo se le permitió el uso de electrónicos. Este es el grupo de tratamiento sujeto al ambiente modificado. El tratamiento, en este caso, es el uso libre de laptops o tablets en la clase. Cada pregunta causal tiene un resultado claro. Las variables que esperamos influenciar se definen antes de empezar el estudio. Los resultados en el estudio de los electrónicos de West Point son las notas del examen final. El estudio busca responder la siguiente pregunta: ¿Cuál es el efecto causal de los electrónicos sobre el aprendizaje en clase, medido a través de las calificaciones de los exámenes? Los artículos de revistas especializadas en economía por lo general comienzan con una tabla de estadística descriptiva que proporciona hechos clave acerca de la muestra en estudio. [Kamal] ¡Por Dios, ya recuerdo esta tabla tan confusa! [Narrador] En las columnas 1 a 3 están las caracteristicas medias, o promedio. Estos nos dan una idea de a quién estamos estudiando. Comencemos con la columna 1, la cual describe las covariabless en el grupo de control. Las covariables son las características de los grupos de control y tratamiento, medidos antes de que comience el experimento. Por ejemplo, vemos que el grupo de control tiene una edad promedio de más de 20. Muchas de estas covariables son variables ficticias. Una variable ficticia solo puede tener dos valores: cero o uno. Por ejemplo, el género se registra como una variable ficticia que para mujer es igual a uno y para hombre es igual a cero. La media de esta varable es la proporción de mujeres. También vemos que en el grupo de control el 13 % son hispanos y el 19 % hizo el servicio militar. Las notas de la tabla son clave. Consulten estas notas a medida que examinan la tabla. Estas notas explican qué muestra cada columna y panel. Lad notas, por ejemplo, nos dicen que la desviaciones estándar están entre paréntesis. Las desviaciones estándar nos dicen qué tan dispersos están los datos. Por ejemplo, una desviación estándar de 0,52 nos dice que la mayor parte de los GPA del grupo de control cae entre 2,35, que está a 0,52 por debajo de la media del GPA de 2,87, y 3,39, que está a 0,52 por encima de 2,87. Una desviación estándar menor significaría que los GPA están más agrupados cerca de la media. [Kamal] Okay, pero estas faltan para la mayor parte de las variables. [Narrador] Es cierto, los maestros omiten las desviaciones estándar de las variables ficticias porque sus medias determinan sus desviaciones estándar. En este estudio se comparan dos grupos de tratamiento con el grupo de control. Al primero se le permitió el uso de laptops y tabletas. Con el segundo grupo de tratamiento su uso fue más limitado, permitiendo que las tabletas solo estuvieran sobre el pupitre. Los grupos de tratamiento son muy parecidos al grupo de control. Esto nos lleva a los siguientes atributos de esta tabla. Las columnas 4 a 6 usan tests estadísticos para comparar las características del grupo de tratamiento con el de control antes del experimento. En la columna 4, los dos grupos de tratamiento están mezclados. Pueden ver que la diferencia en la proporción de mujeres entre el grupo de tratamiento y el de control es solo de 0,03. La diferencia no es estadísticamente significativa, esta es el tipo de diferencia que podemos atribuir a los resultados azarosos en el proceso de selección de la muestra. [Kamal] ¡Mmm!, ¿Cómo sabemos eso? [Narrador] ¿Recuerdas la regla general? Las estimaciones estadísticas que exceden el error estándar en múltiplos de 2 en valores absolutos se dice que son estadísticamente significativas. El error estándar es de 0,03 igual que en la diferencia de la proporción de mujeres. La proporción de la última a la anterior es solamente 1, la cual, por supuesto, es menor que 2. [Kamal] ¡Ajá! Ninguna de las diferencias del grupo de tratamiento y control son mayores al doble de sus errores estándar. [Narrador] Correcto. La división al azar de los estudiantes parece haber tenido éxito en la creación de grupos que son realmente comparables. Podemos confiar, por tanto, que cualquier diferencia posterior de los logros de la clase son el resultado de la intervención experimental más que de un reflejo de diferencias preexistentes. ¡Ceteris paribus conseguido! [Kamal] Buenísimo. Pero ¿qué pasa en la parte de abaj, los número con asteríscos? Esas diferencias son mucho más del doble que el error estándar. [Narrador] ¡Buen ojo, Kamal! La tabla tiene muchos números. Los del panel B son importantes también. Ellos miden el grado en el que los estudiantes usan las computadoras en clase en el grupo de tratamiento y en el de control. El tratamiento aquí fue permitir el uso de la computadora. Los investigadores deben mostrar que a los estudiantes que se les permitió usar computadoras tomaron ventaja de esa circunstancia para hacerlo. Si ellos no lo hicieron, entonces, realmente no hay tratamiento. Afortunadamente, el 81 % de quienes estaban en el grupo de primer tratamiento usaron las computadoras en comparación con los del grupo de control. Y muchos del segundo grupo de tratamiento con tabletas también usaron computadoras. Estas diferencias en el uso de la computadora son grandes y estadísticamente significativas. También pudimos ver el tamaño de la muestra en cada grupo. [Kamal ¿Los asteríscos son como decoraciones? [Narrador] Algunos artículos académicos usan asteriscos para indicar las diferencias que son estadísticamente significativas. Esto los hace saltar a la vista. Aquí, tres asteríscos indican que el resultado es estadísticamente diferente de cero con un valor-p menor que 1 %. En otras palabras, hay una posibilidad menor que 1 en 100 de que este resultado sea puramente un hallazgo por azar. [aplausos] Dos asteríscos son 1 posibilidad en 20, o de un 5 %, de un acierto por azar. Un asterísco denota resultados que pudieramos ver tanto como el 10 % de las veces debido solamente al azar. Hoy en día, los asteríscos son vistos como un poquito anticuado y algunas revistas los omiten. [Kamal] ¿Y qué pasa con los de las dos últimas columnas? [Narrador] A diferencia de la columna 4 que combina ambos grupos de tratamiento en uno, estas dos últimas columnas muestra las diferencias para cada uno de los grupos el de tratamiento y el de control, lo cual facilita un análisis de balance más detallado. Pero, por ahora, pueden ignorar esta fila que muestra otro tes de significancia. Ahora buscaremos la culminación del artículo, la tabla 4. Esta tabla muestra las estimaciones de la regresión de los efectos del uso de electrónicos sobre la medida del aprendizaje. [Kamal] ¿Por qué el estudio muestra las estimaciones de la regresión? Ve, por eso me pierdo. Pensé que la única razón por la cual necistamos los tratamientos al azar es para obtener los efectos causales comparando simplemente los grupos de tratamiento y de control y dado que estos grupos están balanceados, no se necesita usar al regresión. [Narrador] Bien dicho, Kamal. en la práctica se acostumbra a determinar las estimaciones de la regresión por dos razones.