Aplicación de técnicas de Deep Reinforcement Learning a misiones de exploración para vehículos autónomos en escenarios lacustres

Abstract

Este trabajo se enmarca dentro un proyecto de colaboración entre la Escuela Técnica Superior de Ingeniería de Sevilla (ACE-TI) y la Universidad Nacional de Asunción de Paraguay para la monitorización y supervisión del estado de contaminación del lago Ypacaraí (Paraguay). En este proyecto se ha llevado a cabo un estudio de distintas metodologías de planificación y exploración con vehículos autónomos basadas en las, cada vez más populares, técnicas de Reinforcement Learning y Deep Reinforcement Learning. Se ha diseñado un escenario basado en la geometría espacial del lago y se han parametrizado y aplicado distintos algoritmos como Deep Q-Learning y Double Deep Q-Learning para acometer la tarea de que el agente, un vehículos de superficie autónomo, aprenda a cubrir con eficiencia todas las zonas del lago siguiendo distintos criterios de ponderación. Adicionalmente, se ha realizado un acercamiento a la sintonización de los hiperparámetros de entrenamiento para alcanzar resultados cercanos a los óptimos.

This research takes place within the context of a collaborative project between the Engineering School of Seville (ACE-TI research group) and Asunción University of Paraguay. Its objetive are the supervision and monitoring of the contamination state of Ypacari Lake in Paraguay. In this academic research, a study of several methodologies has been done whith the focus in exploration and path planning in Autonomous Surface Vehicles based on recently trending Reinforcement Learning and Deep Reinforcement Learning technics. An environment based on the spatial geometry of Ypacarai Lake has been designed and some algorithms as Deep Q-Learning and Double Deep Q-Learning have been implemented in order to achieve the main goal: training an autonomous surface vehicle to explore with efficiency the lake following some importance criteria. In addition, a hyperparameter tunning approach has been achieved for obtaining more optimal-near results.