Evaluación de programas de formación continua en contextos no estandarizados: complementariedad entre Análisis Factorial y Multinivel para la obtención de evidencias de validez de constructo

Abstract

La evaluación de programas se aplica frecuentemente en ámbitos de intervención no estandarizados. Esto conlleva, entre otras, las carencias de: a) modelo teórico validado previamente; b) instrumentos de medida estándares; c) fiabilidad de las medidas. En este trabajo, se plantea que el Análisis Factorial con correlaciones policóricas y el Análisis Multinivel puede ser un procedimiento adecuado hacia el logro de la validez de constructo en contextos no estandarizados de evaluación donde, además, las variables suelen ser no cuantitativas y estar anidadas. El estudio empírico se realiza sobre una muestra de 2754 trabajadores de la Universidad de Sevilla que han respondido a una encuesta de satisfacción elaborada ad-hoc sobre la formación recibida en distintos cursos encaminados a capacitarlos para el correcto desempeño de sus funciones. Cabe destacar la complementariedad entre ambas técnicas de análisis para examinar la variabilidad diferencial aportada por variables explicativas de distinto nivel jerárquico en la predicción de la satisfacción percibida.

Program evaluation is usually applied to non-standardized intervention contexts. This implies, among others, deficiencies of: a) validated theoretical models; b) non-standard measurement instruments; c) reliable measures. In this work, we show that Factor Analysis with polychoric correlations and Multilevel Analysis could be an adequate procedure to gain construct validity evidence in non-standard evaluative contexts, where the measures are not quantitative and usually are nested. The empirical study is carried out on a sample of 2754 workers of the University of Seville. They have completed a satisfaction questionnaire about training courses aimed to prepare them for the correct performance of their jobs. We highlight the complementarities between both analytical techniques to study the differential variability provided by explained variables nested in different hierarchical level to predict the perceived satisfaction.