Deep Reinforcement Learning and its application to games

Abstract

The following project aims is to review the main concepts of Reinforcement Learning and combine them with the tools of Deep Learning, studying in depth the application of these methodologies, the Deep Reinforcement Learning algorithms, that are having such an impact today being applied to numerous fields such as autonomous driving, robot control, gaming and many more. In order to do this, first, in chapter 1, we will give a general overview of Deep Reinforcement Learning as a introduction, as well as which is motivation to study this topic. Then, in chapter 2, since it will be fundamental to achieve our goal, we give a brief review of Deep Learning. We get into details with chapter 3, where we define Reinforcement Learning mathematically, formalizing the concepts in order to build the classic solution algorithms in chapter 4. As an application of these techniques, the implementation of the algorithms for the game of Blackjack is presented in chapter 5. Finally, in chapter 6, we reach our initial objective by building the algorithm that hides behind the Deep Q-Networks and we apply it to the Gridworld games in chapter 7. A conclusions and improvements section for the project culminates the text.

El siguiente proyecto tiene como objetivo revisar los principales conceptos del Aprendizaje con Refuerzo y combinarlo con las herramientas del Aprendizaje Profundo, estudiando con detalle la aplicación de estas metodologías, Aprendizaje con Refuerzo Profundo, que están teniendo tanto impacto en la actualidad siendo aplicados a numerosos campos como la conducción autónoma, el control de robots, juegos y muchos más. Para ello, en primer lugar, en el capítulo 1, situaremos al Aprendizaje con Refuerzo Profundo a modo de introducción, motivando el estudio de este campo. Acto seguido, en el capítulo 2, ya que será fundamental para lograr nuestro objetivo, se realiza una breve revisión del Aprendizaje Profundo. Entraremos en detalles con el capítulo 3, donde definiremos matemáticamente que se entiende Aprendizaje con Refuerzo, formalizando los conceptos con el fin de construir los algoritmos de solución clásicos en el capítulo 4. Como aplicación de estas técnicas, en el capítulo 5 se presenta la implementación de los algoritmos para el juego del Blackjack. Finalmente, en el capítulo 5, alcanzaremos nuestro objetivo inicial construyendo el algoritmo detrás de las Deep Q-Networks y lo aplicamos a los juegos Gridworld en capítulo 7. Una sección de conclusiones y mejoras para el proyecto culmina el texto.