Aplicación de algoritmos Deep Policy Iteration en vehículos acuáticos para el patrullaje autónomo de escenarios medioambientales

Abstract

En este trabajo se ha realizado un estudio de la implantación de la metodología Deep Reinforcement Learning, específicamente algoritmos policy gradient “on policy”, en la resolución de un problema de explotación y toma de muestras en un entorno acuático definido como emplazamiento de experimentación. Se han aplicado algoritmos de esta familia como el REINFORCE y el PPO, donde tras realizar un proceso de sintonización de sus parámetros se ha extraído los modelos obtenidos en cada caso para su posterior simulación. Se han comprobado las planificaciones de ruta desarrolladas por cada algoritmo, así como una comparativa con otras técnicas más usualmente empleadas en navegación automática autónoma. Este estudio trata de continuar una investigación presente de la Escuela Técnica Superior de Ingeniería de Sevilla para la evaluación y monitorización de los parámetros que caracterizan el estado biológico del lago Ypacaraí en la que se plantea el uso de técnicas de aprendizaje por refuerzo “off_policy”. Mediante el uso de un entorno que recrea las características físicas del medio real se aplicarán las técnicas comentadas para garantizar una cobertura, navegación y recogida de datos autónoma optimizadas.

In this work we have carried out a study of the implementation of the Deep Reinforcement Learning methodology, specifically "on-policy" policy gradient algorithms, in the resolution of an exploitation and sampling problem in an aquatic environment defined as an experimental site. Algorithms from this family, such as REINFORCE and PPO, have been applied, where, after a process of tuning their parameters, the models obtained in each case have been extracted for subsequent simulation. The route planning developed by each algorithm has been checked, as well as a comparison with other techniques more commonly used in autonomous automatic navigation. This study is a continuation of a current research project of the Escuela Técnica Superior de Ingeniería de Sevilla for the evaluation and monitoring of the parameters that characterize the biological state of Lake Ypacaraí, in which the use of "off-policy" reinforcement learning techniques is proposed. Using an environment that recreates the physical characteristics of the real environment, the techniques will be applied to guarantee optimized coverage, navigation and autonomous data collection.