Deep Reinforcement Learning para la cobertura y patrullaje informativo en escenarios hidrológicos parcialmente observables

Abstract

En este trabajo se lleva a cabo la supervisión y monitorización de la contaminación del lago Ypacaraí mediante vehículos autónomos de superficies (ASV). Se pretende diseñar un planificador de alto nivel basado en técnicas de Deep Reinforcement Learning capaz de resolver un problema de patrullaje informativo en escenarios parcialmente observables. En primer lugar, se han sintonizado los parámetros de los dos escenarios proporcionados: completamente y parcialmente observable. Este escenario, basado en la geometría espacial del lago, contiene zonas de mayor importancia que representan las zonas más contaminadas del lago. Se ha implementado un algoritmo Double-DQN en estos dos entornos y se ha estudiado como este algoritmo ha resuelto el problema del patrullaje informativo y como ha evolucionado la política del agente durante el entrenamiento. Para mejorar los resultados obtenidos en los experimentos del anterior algoritmo, especialmente en el escenario parcialmente observable, se ha rediseñado la función de recompensa para que el agente se atreva a visitar lugares no descubiertos y desconocidos por completo. Se ha vuelto a entrenar al agente Double- DQN con esta nueva ley de recompensa y se han realizado varios experimentos en donde se estudia como influye ésta en el comportamiento del agente. Por último, se ha comparado nuestro agente con varios algoritmos basados en heurísticas usados habitualmente en casos de planificación de rutas de cobertura no homogénea.

In this work, the supervision and monitoring of the contamination of Lake Ypacaraí using autonomous surface vehicles (ASV) is reallised. The aim is to design a high-level planner based on Deep Reinforcement Learning techniques capable of solving an informative patrolling problem in partially observable scenarios. First, the parameters of the two scenarios provided have been tuned: fully and partially observable. This scenario, based on the spatial geometry of the lake, contains areas of higher importance representing the most polluted areas of the lake. A Double-DQN algorithm has been implemented in these two environments and it has been studied how this algorithm has solved the informative patrolling problem and how the agent’s policy has evolved during training. In order to improve the results obtained in the experiments with the previous algorithm, especially in the partially observable scenario, the reward function has been redesigned so that the agent dares to visit undiscovered and completely unknown places. The Double-DQN agent has been retrained with this new reward law and several experiments have been performed to study how the reward law influences the agent’s behaviour. Finally, our agent has been compared with several heuristic-based algorithms commonly used in non-homogeneous coverage path planning cases.