Sistema de aterrizaje automatizado de aeronaves basado en técnicas de aprendizaje reforzado

Abstract

El objetivo de este proyecto es estudiar las posibilidades de aplicación de técnicas de aprendizaje supervisado (apprenticeship learning) para diseñar un piloto automático capaz de aterrizar un avión en un aeropuerto específico desde una aproximación final a la altitud del patrón de tráfico establecido, confiando solo en instrumentos instalados en la aeronave. Los procesos de decisión de Markov (Markov Decision Process (MDP)) proporcionan un marco útil para optimizar el comportamiento de sistemas utilizando aprendizaje reforzado. La exploración de posibles políticas de control en sistemas que tienen espacios de estado de gran dimensión puede ser computacionalmente desafiante, especialmente si la dinámica del sistema es desconocida o difícil de modelar, como en el caso de estudio planteado. La técnica conocida como apprenticeship learning es una alternativa en la que un experto humano guía la exploración de políticas de control mediante la ejecución manual de la tarea deseada. Se ha demostrado que esto resulta en rendimientos casi óptimos en relación al rendimiento del ser humano, y es computacionalmente eficiente. El simulador de vuelo X-Plane se utilizará para probar y demostrar el comportamiento del piloto automático diseñado. X-Plane es un simulador de vuelo comercial desarrollado por Laminar Research que utiliza la teoría de los elementos de pala para modelar en tiempo real las fuerzas aerodinámicas que intervienen en las distintas partes de un avión, lo que resulta en un comportamiento realista incluso en situaciones complejas. Como se describe a lo largo del documento, el trabajo propuesto es ambicioso e implica la integración de ideas y conceptos de disciplinas diversas, así como el desarrollo de software específico para su implementación. Desafortunadamente, a fecha de finalización de este trabajo, las diferentes etapas del proyecto han sido cubiertas con una eficacia desigual, no siendo posible obtener una aplicación cerrada en estado final de uso. La memoria describe en detalle el trabajo realizado y su grado de desarrollo.

The objective of this project is to study the possibilities of application of supervised learning techniques (apprenticeship learning) in order to design an automatic pilot which is capable of landing an aircraft at a specific airport from a final approach at the altitude of the established traffic pattern, relying only on instruments installed on the aircraft. Markov Decision Processes (MDP), provide a useful framework to optimize the behaviour of systems using Reinforcement learning. The exploration of possible control policies in systems that have large-scale state spaces may be computationally challenging, especially if the dynamics of the system is unknown or difficult to model, as in the case of the proposed study. The technique known as apprenticeship learning is an alternative in which a human expert guides the exploration of control policies through the manual execution of the desired task. It has been shown that this results in almost optimal performance in relation to human performance, and is computationally efficient. The X-Plane flight simulator will be used to test and demonstrate the behaviour of the designed autopilot. X-Plane is a commercial flight simulator developed by Laminar Research that uses the theory of blade elements to model in real time the aerodynamic forces that intervene in different parts of an airplane, resulting in realistic behaviour even in complex situations. As it is described in the document, the proposed work is ambitious and implies the integration of ideas and concepts of diverse disciplines, as well as the development of specific software for its implementation. Unfortunately, at the deadline of the work, the different stages of the project have been covered with an unequal effectiveness, and it is not possible to obtain a closed application in the final state of use. This document describes in detail the work done and its degree of development.