Strengthening robot perception in information-degraded environments for aerial inspection and maintenance

Abstract

Esta Tesis Doctoral aborda el diseño, desarrollo y validación experimental de diferentes métodos para reforzar la percepción de los robots aéreos en escenarios de Inspección y Mantenimiento de infraestructuras industriales y civiles. Los métodos desarrollados permiten la operación totalmente autónoma de los robots aéreos sin depender de ninguna infraestructura externa, asumiendo que todos los sensores, métodos de percepción y dispositivos de procesamiento se encuentran a bordo del robot, y no requieren ninguna alteración del entorno. A lo largo de la Tesis se han seguido tres enfoques principales para el diseño de los diferentes métodos. Primero, el uso de esquemas multisensor que aprovechan las sinergias entre sensores para mitigar las debilidades de cada dispositivo individual. Segundo, la selección del modelo más adecuado para representar y estimar el estado del robot en cada escenario. Tercero, el uso de técnicas de percepción activa que mejoren la calidad de las entradas de percepción. Los enfoques propuestos aportan soluciones complementarias, que han dado lugar al desarrollo de cinco métodos contenidos en esta tesis, diseñados en función de las necesidades de cada aplicación estudiada. En primer lugar, esta Tesis Doctoral presenta un método de localización robusta basado en un enfoque multisensor y multihipótesis, que permite la navegación segura y autónoma de robots aéreos sin GNSS en escenarios complejos de inspección industrial y civil. El método integra características de cámara RGB y LiDAR en el mismo marco estadístico, y adopta un enfoque iterativo multihipótesis eficiente. En segundo lugar, esta Tesis Doctoral introduce el uso de mallas (meshes) probabilísticas para representar superficies localmente planares en misiones de inspección de largo alcance en escenarios pobres en información geométrica. Las mallas permiten representar de forma coherente las superficies planas y usar técnicas de decimación para mejorar la fidelidad del mapa, reduciendo la influencia del ruido de medida. La formulación probabilística está basada en variedades y refleja de forma natural la incertidumbre del mapa, evitando inconsistencias en la estimación del estado. En tercer lugar, esta Tesis Doctoral desarrolla un sistema de inspección de líneas eléctricas reactivo, embarcado y en tiempo real, que realiza una segmentación semántica para identificar los diferentes elementos del escenario, y adapta la velocidad de la plataforma aérea para adquirir más datos de estos elementos hasta alcanzar la calidad requerida. El sistema es capaz de proporcionar datos de alta calidad para la aplicación prevista, y genera un mapa preliminar preciso que puede utilizarse para tareas en las que el tiempo es un factor crítico, sin esperar a resultados de posprocesado. En cuarto lugar, esta Tesis Doctoral presenta un sistema de generación de trayectorias de aproximación al posado en tendidos eléctricos que tiene en cuenta la percepción y produce maniobras versátiles, ágiles, sin colisiones y dinámicamente posibles. Se propone una formulación matemática eficiente para considerar configuraciones genéricas de líneas de alta tensión, que puede usarse para generar trayectorias de posado que consideran la percepción, así como para realizar navegación reactiva en tiempo real. Finalmente, esta Tesis Doctoral presenta el diseño, desarrollo y validación de un sistema robótico aéreo totalmente autónomo adaptado para buscar herramientas perdidas en una planta de fabricación aeronáutica. Se presenta un sistema altamente robusto basado en etiquetas de Ultra Ancho de Banda (UWB), que funciona en las condiciones complejas de una planta de planta de fabricación de Airbus D&S. La investigación llevada a cabo en esta Tesis Doctoral no sólo se ha centrado en el desarrollo de estos métodos, sino también en proporcionar validaciones experimentales intensivas para cada una de las aportaciones, en muchos casos durante demostraciones en vivo de los sistemas propuestos.

This PhD Thesis addresses the design, development, and experimental validation of different methods for strengthening the perception of aerial robots in the Inspection and Maintenance of industrial and civil infrastructures. The developed perception methods enable fully autonomous aerial robot operation without depending on any external infrastructure, assuming that all involved sensors, perception methods, or processing computers are onboard the aerial robot, and require no alteration of the setting. This PhD Thesis follows three main approaches for the design of these methods. First, the use of multisensor systems that take advantage of complementary sensor information to mitigate the weaknesses of each individual device. Second, the selection of the most adequate state representation and estimation scheme for each studied scenario. Third, the adoption of active perception techniques that improve the quality of the perception inputs. The proposed approaches provide complementary solutions, that have been combined along five different methods during this PhD Thesis, designed in function on the needs of each studied application. First, this PhD Thesis presents a robust multi-sensor multi-hypothesis robot localization method, that allows the safe and autonomous navigation of aerial robots in complex, GNSS-denied industrial and civil inspection scenarios. The method integrates RGB camera and LiDAR features are in the same statistical framework, and adopts an efficient multi-hypothesis iterative scheme to cope with the potentially strong symmetries in the scenarios. Second, this PhD Thesis introduces the use of probabilistic meshes to represent locally planar surfaces in LiDAR-based long-range inspection missions in scenarios that are poor in geometrical information. Meshes consistently represent planar surfaces and enable the use of decimation techniques to reduce the influence of the measurement noise in the map and improve its fidelity. They are combined with a probabilistic on-manifold formulation of planar objects, that naturally reflects the measurement uncertainty in the mesh map, avoiding inconsistencies in state estimation. Third, this PhD Thesis develops an onboard and online reactive powerline inspection system, that performs semantic segmentation to identify the different elements in the scenario, and adapts the velocity of the aerial platform to acquire more data of these elements until a required mapping quality can be fulfilled. By integrating reactivity in the aerial robot, the system is able to deliver high-quality data for the envisioned application, and it generates an accurate preliminary map that can be used for time-critical tasks without waiting for post-processing results. Fourth, this PhD Thesis presents a novel perception-aware perching trajectory generation framework for powerlines, which produces highly versatile, agile, collision-free, and dynamically-feasible perching maneuvers. An efficient mathematical formulation is proposed to consider powerlines of any given disposition, providing a set of perception costs and constraints, which can be used for generating perception-aware perching trajectories as well as for performing reactive navigation on real time. Finally, this PhD Thesis presents the design, development, and validation of a fully autonomous aerial robotic system adapted to search for missing tools among other tasks in an aeronautic manufacturing plant. A highly robust system for tool localization based on Ultra-Wide Band (UWB) tags is given, working in the harsh conditions imposed by an Airbus D\&S manufacturing plant. The research conducted in this PhD Thesis has not only focused on the development of these methods, but also in providing strong experimental validations for each of the contributions, in many cases during live demonstrations of the proposed systems.