Presentation
Clasificación zero-shot de contenidos de la Dark Web mediante GPT-3.5: Evaluación de rendimiento y análisis de errores del clasificador
Author/s | Prado Sánchez, Víctor Pablo
Domínguez Díaz, Adrián Marcos, Luis Martínez Herráiz, José Javier |
Editor | Varela Vaca, Ángel Jesús
Ceballos Guerrero, Rafael Reina Quintero, Antonia María |
Publication Date | 2024 |
Deposit Date | 2024-06-11 |
Published in |
|
ISBN/ISSN | 978-84-09-62140-8 |
Abstract | La clasificación automática de contenidos de la Dark Web es relevante para la detección e investigación de actividades delictivas. Sin embargo, la escasez de datos etiquetados impone límites al uso de clasificadores ... La clasificación automática de contenidos de la Dark Web es relevante para la detección e investigación de actividades delictivas. Sin embargo, la escasez de datos etiquetados impone límites al uso de clasificadores supervisados. Los grandes modelos de lenguaje, con capacidad de clasificación en categorías en las que no han sido entrenados, no están sujetos a estas limitaciones. El estudio se centra en evaluar el rendimiento del modelo de lenguaje GPT-3.5 de OpenAI para clasificar contenido de texto de la Dark Web bajo un enfoque de zero-shot prompting. El modelo alcanza un valor F1 ponderado del 80,5%, detectándose grandes diferencias entre categorías y distintas problemáticas que limitan su rendimiento respecto al estado del arte en clasificadores supervisados. El análisis de los errores cometidos permite identificar contextos de aplicación en los que podría resultar competitivo bajo las condiciones de estudio, así como sugerir distintas estrategias para mejorar su rendimiento. |
Citation | Prado Sánchez, V.P., Domínguez Díaz, A., Marcos, L. y Martínez Herráiz, J.J. (2024). Clasificación zero-shot de contenidos de la Dark Web mediante GPT-3.5: Evaluación de rendimiento y análisis de errores del clasificador. En Jornadas Nacionales de Investigación en Ciberseguridad (JNIC) (9ª.2024. Sevilla) (286-292), Sevilla: Universidad de Sevilla. Escuela Técnica Superior de Ingeniería Informática. |
Files | Size | Format | View | Description |
---|---|---|---|---|
JNIC24_304.pdf | 600.5Kb | [PDF] | View/ | |