Cálculo de la fiabilidad y concordancia entre codificadores de un sistema de categorías para el estudio del foro online en e-learning

Abstract

Presentamos los resultados detallados del cálculo de la fiabilidad de un sistema de categorías para foros de debate online. Este trabajo se encuadra dentro una investigación sobre el estudio de la comunicación asincrónica en la formación a través de Internet. Hemos utilizado el coeficiente Kappa de Fleiss para tres codificadores. Nuestro coeficiente Kappa alcanza un valor k=0.77. Tomando varias tablas de interpretación del índice de diferentes autores, obtenemos un valor alto o bueno respecto a la fuerza de concordancia. La alta fiabilidad del sistema de categorías acredita que dicha herramienta pueda ser empleada por cualquier investigador en el ejercicio de la codificación, y en diferentes momentos, con garantías de que pueda aportar resultados que expliquen y faciliten la comprensión de los procesos de comunicación y enseñanza-aprendizaje en e-Learning.

We offer detailed results measuring inter-rater reliability of a coding scheme of higher education online discussion boards. This is part of a piece of research on asynchronous communication in e-Learning. We have used Fleiss’ Kappa coefficient (k) for three raters. Our Kappa coefficient reaches a value of k=0.77. If we consider various authors’ interpretation tables of this index, this k value can be interpreted as a high or good value regarding the strength of agreement. The high reliability of this coding scheme allows it to be used by any researcher at any time, and guarantees results that explain the roles of communication and teaching-learning processes within e-Learning.