Trabajo Fin de Grado
Uso del aprendizaje máquina para encontrar relaciones semánticas en el lenguaje natural
Autor/es | Quintana Sánchez, Diego |
Director | Simois Tirado, Francisco José |
Departamento | Universidad de Sevilla. Departamento de Teoría de la Señal y Comunicaciones |
Fecha de publicación | 2023 |
Fecha de depósito | 2023-07-14 |
Titulación | Universidad de Sevilla. Grado en Ingeniería de las Tecnologías de Telecomunicación |
Resumen | Desde hace algunos años, se ha podido observar una tendencia en alza de hacer uso de modelos de IA y machine learning para la resolución de numerosas tareas en campos tan complejos y difusos como podría ser el procesamiento ... Desde hace algunos años, se ha podido observar una tendencia en alza de hacer uso de modelos de IA y machine learning para la resolución de numerosas tareas en campos tan complejos y difusos como podría ser el procesamiento de imágenes o lenguaje natural. En el caso del procesamiento del lenguaje natural, el machine learning, y concretamente el uso de las redes neuronales ha provocado una absoluta revolución en el campo, obteniendo resultados tan increíbles que en algunos casos llegan a superar la pericia de un ser humano real. En este trabajo se ha buscado implementar un modelo capaz de detectar, para una premisa y una hipótesis dada, la relación semántica que existe entre ellas (relacionada, neutral o contradictoria). El dataset utilizado para entrenar nuestro modelo es ofrecido por Kaggle en su competición “Contradictoy My Dear Watson” y está formado por numerosos ejemplos de hipótesis y premisas en 15 lenguajes diferentes, aunque nosotros nos centramos en el inglés. Durante el trabajo hemos desarrollado de cero un modelo imitando la arquitectura y el proceso de entrenamiento de BERT. El rendimiento de nuestro modelo solo alcanzo el 46% de exactitud, por ello se hizo uso de un modelo ya pre-entrenado mucho más potente, RoBERTa, para poder terminar de comprender la increíble capacidad que poseen este tipo de redes neuronales, consiguiendo un 84% de exactitud. For several years, it has been observed an increase in the usage of AI and machine learning models to resolve many tasks in fields such as complex and diffuse as image processing or natural language processing. Referring ... For several years, it has been observed an increase in the usage of AI and machine learning models to resolve many tasks in fields such as complex and diffuse as image processing or natural language processing. Referring to natural language processing, machine learning and more specifically neural networks has achieved an absolute revolution in the field, in some cases even surpassing the skills of a human being. The objective of this work is to implement a neural network model able to identify, between one premise and one hypothesis, the semantical relation they have (related, neutral and contradictory). The dataset used in this work is offered by Kaggle competition “Contradictory My Dear Watson” and it is made up of numerous examples of hypothesis and premises in 15 different languages, however we will only consider the English ones. During this work we have developed from scratch our own model imitating the architecture and training process of BERT. Our own model only achieved an accuracy of 46%, is that why a much more powerful already pre-trained model, RoBERTa, has been used to eventually comprehend the incredible capacity of those types on neural networks, reaching an 84% of accuracy. |
Cita | Quintana Sánchez, D. (2023). Uso del aprendizaje máquina para encontrar relaciones semánticas en el lenguaje natural. (Trabajo Fin de Grado Inédito). Universidad de Sevilla, Sevilla. |
Ficheros | Tamaño | Formato | Ver | Descripción |
---|---|---|---|---|
documento_trabajo_G4568.pdf | 2.744Mb | [PDF] | Ver/ | |