Trabajo Fin de Máster
Drone coverage using deep reinforcement learning
Autor/es | Kasiuk, Alina |
Director | Díaz Báñez, José Miguel |
Departamento | Universidad de Sevilla. Departamento de Matemática Aplicada II |
Fecha de publicación | 2020-11-01 |
Fecha de depósito | 2021-07-07 |
Titulación | Universidad de Sevilla. Máster Universitario en Matemáticas |
Resumen | UAVs (Unmanned Aerial Vehicles) or drones have long been used to autonomously operate on a terrain and many strategies have been proposed when the environment is unknown. When the drone is tasked with a path planning problem ... UAVs (Unmanned Aerial Vehicles) or drones have long been used to autonomously operate on a terrain and many strategies have been proposed when the environment is unknown. When the drone is tasked with a path planning problem in a unknown terrain, it must be able to correctly perceive its environment online and plan its path without human supervision. Particularly, covering or patrolling of a specific area has been a challenging optimization problem in robotics. This work addresses a particular covering task in unknown outdoor environments in which the drone has a limited power. The agent has to return to a base station when it is running out of bathery. The problem is then to generate an optimal path that starts and ends at a base station and covers the target area through several tours. A covering planner based on Deep Reinforcement Learning is proposed where a Deep Q-network is trained to learn a control policy to approximate the optimal strategy at each step. Simulation results showed that the algorithm is able to learn and generalizes well to different types of environments. After multiple sequences of the training process, the virtual mobile drone gets information of the whole space with a coverage rate of over 80%. The experiments also demonstrate that the drone finds a trajectory balancing the goals of safe recharging and maximum coverage ratio. Los UAV (Vehículos Aéreo no Tripulados) o drones se vienen utilizando desde hace tiempo para operar de forma autónoma en un terreno y se han propuesto muchas estrategias para cuando el entorno es desconocido. Cuando el ... Los UAV (Vehículos Aéreo no Tripulados) o drones se vienen utilizando desde hace tiempo para operar de forma autónoma en un terreno y se han propuesto muchas estrategias para cuando el entorno es desconocido. Cuando el dron se le encomienda una tarea de planificación en un terreno desconocido, debe ser capaz de percibir correctamente su entorno en tiempo real y planificar su camino sin supervisión humana. En particular, cubrir o patrullar un área específica ha sido todo un desafío en el campo de la optimización en robótica. Este trabajo aborda una tarea de cobertura en entornos exteriores desconocidos en los que el dron tiene un tiempo de vida limitado. Por lo tanto, el agente tiene que regresar a una estación base cuando se está quedando sin batería. El problema es generar un camino óptimo que comience y termine en una estación base y cubra el objetivo usando para ello varios recorridos. En esta tesis se propone un planificador de cobertura basado en el aprendizaje reforzado profundo (Deep Reinforcement Learning) donde se usa un aprendizaje de una política de control para aproximar la estrategia optima en cada paso. Los resultados de la simulación mostraron que el algoritmo es capaz de aprender y generaliza bien a diferentes tipos de ambiente. Después de múltiples secuencias del proceso de entrenamiento, el dron móvil virtual obtiene información de todo el espacio con una tasa de cobertura del 80%. Los experimentos también han demostrado que el dron es capaz de encontrar una trayectoria equilibrando los dos objetivos planteados: recarga segura y ratio de cobertura. |
Cita | Kasiuk, A. (2020). Drone coverage using deep reinforcement learning. (Trabajo Fin de Máster Inédito). Universidad de Sevilla, Sevilla. |
Ficheros | Tamaño | Formato | Ver | Descripción |
---|---|---|---|---|
Kasiuk, Alina.pdf | 1.604Mb | [PDF] | Ver/ | |