Clasificación zero-shot de contenidos de la Dark Web mediante GPT-3.5: Evaluación de rendimiento y análisis de errores del clasificador

Abstract

La clasificación automática de contenidos de la Dark Web es relevante para la detección e investigación de actividades delictivas. Sin embargo, la escasez de datos etiquetados impone límites al uso de clasificadores supervisados. Los grandes modelos de lenguaje, con capacidad de clasificación en categorías en las que no han sido entrenados, no están sujetos a estas limitaciones. El estudio se centra en evaluar el rendimiento del modelo de lenguaje GPT-3.5 de OpenAI para clasificar contenido de texto de la Dark Web bajo un enfoque de zero-shot prompting. El modelo alcanza un valor F1 ponderado del 80,5%, detectándose grandes diferencias entre categorías y distintas problemáticas que limitan su rendimiento respecto al estado del arte en clasificadores supervisados. El análisis de los errores cometidos permite identificar contextos de aplicación en los que podría resultar competitivo bajo las condiciones de estudio, así como sugerir distintas estrategias para mejorar su rendimiento.