Clasificación de imágenes mediante Redes Neuronales Convolucionales y técnicas de Deep Learning avanzadas: Transformers

Abstract

En este documento se profundizará en el campo del Deep Learning, desde los conceptos más básicos como son el modelo Perceptrón, las redes Multilayer Perceptron, etc. Hasta llegar a uno de los modelos más avanzados de la actualidad, como son las arquitecturas Transformer y Visual Transformer (ViT). Por lo cual este documento estará centrado prácticamente en su totalidad en la clasificación de imágenes, imágenes médicas en este caso. Para cada uno de los modelos que se verán durante el desarrollo del mismo se realizará tanto una explicación teórica profunda como un análisis matemático de sus partes más importantes. Además, una vez realizada dicha explicación se realizará una implementación en código Python de los conceptos desarrollados en los apartados anteriores y con una base de datos de imágenes médicas clasificándolas según la patología (normal - neumonía), pudiendo así ser capaces de realizar una comparación experimental de una Red Convolucional con una arquitectura ViT, poseyendo ambas las mismas condiciones de partida. Con la realización de este documento se pretende haber llegado a comprender el funcionamiento característico de esta nueva arquitectura (modelo codificador-decodificador) y ser capaces de mostrar el potencial de estas aun estando en un nivel de desarrollo muy temprano.

In this paper we will go deep into the Deep Learning field, from the most basic concepts such as the Perceptron model, Multilayer Perceptron networks and so on. Until reaching one of the most advanced models of today, such as the Transformer and Visual Transformer (ViT) architectures. Therefore, this document will be focused almost entirely on image classification, in this case medical images. For each of the models that will be seen during the development of this paper, both a deep theoretical explanation and a mathematical analysis of its most important parts will be carried out. In addition, once this explanation is done, an implementation in Python code of the concepts developed in the previous sections and with a database of medical images, classifying them according to the pathology (normal - pneumonia), will be carried out, thus being able to make an experimental comparison of a Convolutional Network with a ViT architecture, both having the same starting conditions. With the realization of this paper, we intend to have come to understand the characteristic performance of this new architecture (encoder-decoder model) and to be able to show the potential of these still at a very early stage of development.