Aprendizaje por Refuerzo Profundo Aplicado al Patrullaje Informativo Multiagente en Escenarios Hidrológicos

Abstract

En este proyecto de fin de carrera, se presenta la implementación de un algoritmo de Aprendizaje por Refuerzo Profundo Multiagente para abordar el problema de patrullaje informativo en un escenario hidrológico parcialmente observable. El objetivo es supervisar y monitorear los recursos hídricos utilizando vehículos autónomos equipados con sensores de calidad del agua. El patrullaje se divide en dos fases: exploración y explotación. Para ello, se utilizan redes neuronales con dos "heads" o terminaciones paralelas, donde cada una estima la función Q correspondiente a cada fase. Se introduce una variable para determinar qué función Q utilizar en cada momento para tomar decisiones. El trabajo se centra en el diseño e implementación del algoritmo, evaluando su rendimiento en un escenario hidrológico y analizando los resultados obtenidos. En definitiva, el objetivo final es mejorar la eficiencia y efectividad del patrullaje informativo en entornos hidrológicos mediante el uso de técnicas de aprendizaje por refuerzo profundo multiagente.

In this thesis project, the implementation of a Multiagent Deep Reinforcement Learning algorithm to address the informational patrolling problem in a partially observable hydrological scenario is presented. The objective is to supervise and monitor water resources using autonomous vehicles equipped with water quality sensors. The patrolling is divided into two phases: exploration and intensification. For this purpose, neural networks with two parallel heads, where each one estimates the Q function corresponding to each phase. A variable is introduced to determine which Q function to use at each time to make decisions. The work focuses on the design and implementation of the algorithm, evaluating its performance in a hydrological scenario and analyzing the results obtained. Ultimately, the final objective is to improve the efficiency and effectiveness of informative patrolling in hydrological environments through the use of multi-agent deep reinforcement learning techniques.