El uso del modelo GPT de OpenAI para el análisis de textos abiertos en investigación educativa

Abstract

La atribución de significado a los segmentos de información propia del análisis de textos abiertos en investigación cualitativa implica una considerable inversión de tiempo. Las herramientas de Procesamiento de Lenguaje Natural pueden convertirse en un recurso para el investigador cualitativo, en cuanto que sus algoritmos permiten interpretar los textos y codificar cualitativamente de forma mucho más rápida. Esta tarea, sin embargo, requiere probar previamente el nivel de comprensión verbal de estas herramientas. La aparición del modelo GPT-3 de OpenAI supusoun salto cualitativo respecto a modelos de Procesamiento de Lenguaje Natural anteriores. El objetivo fue analizar la capacidad de comprensión verbal de esta herramienta. Se aplicaron las pruebas del índice de comprensión verbal de la batería para la medición del cociente intelectual WAIS-IV. Los resultados de las pruebas de fiabilidad fueron satisfactorios. Respecto al nivel de comprensión verbal, las respuestas situaron a GPT-3 en un percentil superior al 99, comparado con los estándares humanos. Estos resultados demuestran que es posible utilizar este modelo como herramienta para el análisis de textos abiertos, abriendo enormes posibilidades para la investigación cualitativa, aunque su uso debe basarse en una utilización precisa y diseñada ad hoc para cada proceso de análisis

Assigning meaning to segments of information through analysis of open texts in qualitative research requires considerable investment of time. Natural Language Processing tools can be a valuable resource for qualitative researchers, as their algorithms allow for faster, qualitative interpretation of texts. However, this requires testing these tools’ levels of verbal comprehension beforehand. The introduction of OpenAI's GPT-3 model has marked a qualitative leap forward compared to previous Natural Language Processing models. The study objective was to analyse this tool’s verbal comprehension ability. The tests from the verbal comprehension index of the WAIS-IV IQ battery were applied. The results of the reliability tests were satisfactory. The responses put GPT-3 higher than the 99th percentile of human standards of verbal comprehension. These results demonstrate that it is possible to use this model as a tool to analyse open texts, opening up enormous possibilities for qualitative research, although its use must be based on precise, specific utilization for each analysis process.