Event-based Perception for Aerial Robots: From Multirotors to Ornithopters

Abstract

This Ph.D. Thesis aims at contributing to the robot perception community by exploring the advantages of event cameras for aerial robotics, in particular on flapping-wing robots in which event-based vision is almost unexplored. It proposes a set of tools and perception algorithms to leverage the advantages of event-based vision in aerial robot applications. The proposed methods are experimentally validated in two types of aerial robots: multirotors and ornithopters. These platforms describe several challenges for vision-based perception. For instance, the agile motion of multirotors and the flapping strokes caused by ornithopters generate blurred images which may hinder the performance of frame-based approaches. Further, ornithopters and multirotors performing fast maneuvers require quick perception algorithms to update as soon as possible the perception information for robot navigation. Besides, both types of robots have limited payload and power capacity to mount and feed perception hardware. In particular, equipping ornithopter robots with additional sensors is a complex task as they have very constrained payload and strict weight distribution. Event cameras offer relevant advantages for robot perception such as microsecond pixel resolution, robustness to motion blur, high dynamic range, and low power consumption. This Ph.D. Thesis focuses on leveraging these advantages for aerial robot perception and validating the use of event-based vision on board these platforms. First, this Ph.D. Thesis presents a set of event-based low-level processing algorithms. These methods intend to contribute to the event-based vision community by providing a set of low-level algorithms that directly process the event stream instead of using frame-based representations. The proposed methods are integrated into the different high-level perception algorithms described in this Ph.D. Thesis. Second, this Ph.D. Thesis proposes an event-vision guidance method for aerial robots. It includes a set of event-based algorithms to detect and track a reference pattern that defines the goal configuration. An Event-Based Visual Servoing (EBVS) method computes the velocity commands to guide the robot toward the goal. The guidance scheme is initially validated in a multirotor and later in an ornithopter. Third, a dynamic sense-and-avoid method for large-scale flapping-wing robots is described in this Ph.D. Thesis. It exploits the event cameras’ property of triggering pixel information from moving objects to detect dynamic obstacles. The reactive avoidance policy evaluates possible collision risk situations and activates evasive maneuvers if necessary. The system is extensively evaluated in a large-scale ornithopter. Fourth, this Ph.D. Thesis proposes an event-based intrusion monitoring system for multirotors. It includes a specific method to detect moving intrudes by analyzing the spatial-temporal information of events, and an automatic tuning method to adjust the parameters of the detection algorithm. The system is validated in a multirotor platform that performs surveillance missions in scenarios with different background configurations and illumination conditions. Finally, this Ph.D. Thesis presents two perception tools for the development of event-based algorithms for aerial robots, especially ornithopters. The first tool is a simulation architecture that emulates the sensor measurements generated during the execution of bioinspired landing trajectories. The second tool describes a dataset collected on board a large-scale flapping-wing robot. It includes measurements from different perception sensors and ground truth robot position data.

Esta Tesis Doctoral tiene como objetivo explorar las ventajas ofrecidas por las cámaras de eventos en la robótica aérea, en particular, en robots de ala batiente en los que la visión basada en eventos se encuentra prácticamente inexplorada. Esta Tesis Doctoral propone un conjunto de herramientas y algoritmos de percepción para aprovechar las ventajas de la visión basada en eventos en aplicaciones de robótica aérea. Los métodos propuestos se validan experimentalmente en dos tipos de robots aéreos: multirotores y ornitópteros. Estas plataformas suponen varios desafíos para la percepción basada en visión artificial. Por ejemplo, el movimiento ágil de los multirotores y los aleteos causados por los ornitópteros generan imágenes con desenfoque por movimiento (o en ingles motion blur ) que pueden afectar al rendimiento de algoritmos de percepción basados en imágenes. Adicionalmente, los ornitópteros y multirrotores que realizan maniobras rápidas requieren algoritmos de percepción que actualicen rápidamente la información usada para la navegación del robot. Además, ambos tipos de plataformas tienen carga útil y potencia reducidas lo que limita el tipo y la cantidad de hardware de percepción a bordo. Equipar ornitópteros con sensores de percepción es una tarea compleja, ya que estas plataformas tienen una carga útil muy restringida y una distribución estricta de peso. Las cámaras de eventos ofrecen varias ventajas para la percepción en robótica: píxeles con resolución de microsegundos, robustez al desenfoque por movimiento, alto rango dinámico y bajo consumo de energía. Esta Tesis Doctoral se enfoca en aprovechar estas ventajas para el desarrollo de sistemas de percepción para robots aéreos y validar su uso a bordo de estas plataformas. Primero, esta Tesis Doctoral presenta un conjunto de algoritmos de procesamiento de eventos de bajo nivel. Estos métodos tienen como objetivo contribuir a la comunidad de visión basada en eventos proporcionando un conjunto de algoritmos que procesan directamente el flujo de eventos en lugar de utilizar representaciones adicionales basadas en imágenes. Los métodos desarrollados se integran en los diferentes algoritmos de percepción de alto nivel descritos a lo largo de esta Tesis Doctoral. En segundo lugar, esta Tesis Doctoral propone un método de guiado basado en eventos para robots aéreos. El método incluye un conjunto de algoritmos para detectar y seguir un patrón de referencia que define la configuración objetivo. Un método de control por realimentación visual basado en eventos calcula los comandos de velocidad para guiar al robot hacia el objetivo. El esquema de guiado es validado inicialmente en un multirotor y posteriormente en un ornitóptero. Tercero, esta Tesis Doctoral presenta un método de evitación de obstáculos para robots de ala batiente. El método detecta obstáculos dinámicos aprovechando la habilidad de las cámaras de eventos para proporcionar información sobre los objetos en movimiento en la escena. Este algoritmo también utiliza una estrategia de evitación de obstáculos reactiva que evalúa posibles situaciones de riesgo de colisión y activa maniobras evasivas si es necesario. El sistema se valida experimentalmente en un robot ornitóptero. En cuarto lugar, esta Tesis Doctoral propone un sistema de monitorización de intrusos basado en eventos para multirotores. El método incluye un algoritmo de detección de intrusos y un método que permite ajustar de manera autónoma los parámetros de dicho algoritmo. El sistema es validado en un multirotor que realiza misiones de vigilancia en escenarios con diferentes fondos y condiciones de iluminación. Finalmente, esta Tesis Doctoral presenta dos herramientas de percepción para el desarrollo de algoritmos de visión basados en eventos para robots aéreos, especialmente ornitópteros. La primera es una arquitectura de simulación que emula las medidas de los sensores de percepción generadas durante la ejecución de trayectorias bioinspiradas de aterrizaje. La segunda herramienta describe un dataset grabado a bordo de un robot de ala batiente, que incluye medidas de varios sensores de percepción y datos de la posición del robot.