La medición de la fiabilidad interjuez en la codificación de preguntas abiertas: una propuesta metodológica

Abstract

En el proceso de codificación de preguntas de respuesta abierta, un aspecto fundamental es la evaluación de la fiabilidad interjuez. En el presente trabajo se establece una propuesta metodológica para este proceso, así como un inventario de medidas de la concordancia o fiabilidad de la codificación. En la parte final, a partir de datos reales, se modeliza el comportamiento de tres coeficientes de fiabilidad entre codificadores, el coeficiente Kappa (Κ) de Cohen, el de Krippendorff y el Ir de Perreault y Leigh, en función del número de jueces implicados. Los resultados obtenidos muestran la importancia de esta variable en las valoraciones de la fiabilidad interjuez, así como la mayor adecuación del de Krippendorff y el Ir de Perreault y Leigh para las investigaciones de marketing.

In the process of coding of open-ended questions, the evaluation of interjudge reliability is a critical issue. In this paper, we found a methodological proposal for this process, and a inventory of measurements of interjudge reliability. In the final part, using real data, the behaviour of three coefficients of reliability among coders, the Cohen's Κ, the Krippendorff’s and the Perreault and Leigh’s Ir coefficients are patterned, in terms of number of judges implicated. The outcome evidence the importance of this variable in the valuations of interjudge reliability, as well as the higher adequacy of Perreault and Leigh's Ir and Krippendorff’s for the marketing research.