Generalized eta squared for multiple comparisons on between-groups designs

Abstract

Psychological and educational researchers are experiencing many practical difficulties in following the guidelines of the American Psychological Association (APA) for their statistical analyses: one such difficulty is the reporting of an effect-size measure along with each test of statistical significance (APA, 2010). The problem is exacerbated when researchers focus on contrast analysis instead of omnibus tests and when the Type-I error rate per comparison has to be adjusted. Method: Several reasons for this problem are discussed, with emphasis on the facts that researchers may be presented with too many optional effect-size measures with varying degrees of adequacy in several designs, and common statistical packages fail to provide appropriate effect-size measures for contrast analysis. This study proposes specific procedures (also implemented in spreadsheets) to compute generalized eta squared for various kinds of hypotheses, either general or specific, for one-factor and factorial between-group designs, and with manipulated and/or measured factors. Conclusions: Finally, conclusions are drawn concerning the need to take into account the kind of design and the kind of hypothesis in order to calculate comparable effect-size indexes across different types of studies and to prevent an overestimation of effect size.

Antecedentes: los investigadores en Psicología y Educación están teniendo muchas dificultades prácticas para seguir la directriz de la Asociación Americana de Psicología (APA) de aportar una medida de tamaño de efecto junto con cada prueba de significación (APA, 2010). El problema se agrava cuando se realizan contrastes a priori en lugar de pruebas ómnibus y cuando la tasa de error de Tipo I por comparación tiene que ser ajustada. Método: se discuten diversas razones para ello, como la existencia de muchas medidas diferentes de tamaño de efecto y el hecho de que los paquetes estadísticos comunes como SPSS no proporcionan medidas apropiadas para las comparaciones múltiples. Resultados: se proponen procedimientos específicos (también implementados en hojas de cálculo) para calcular el índice eta cuadrado generalizado para diversos tipos de hipótesis, generales o específicas; tipos de diseños, univariables o factoriales; y con factores manipulados y/o medidos. Conclusiones: finalmente se concluye sobre la necesidad de tener en cuenta el tipo de diseño y el tipo de hipótesis para obtener índices de tamaño de efecto comparables entre diferentes tipos de investigaciones y que eviten una sobreestimación del mismo.