Cabina de Realidad Virtual en Unity para operar un sistema multi-UAV en ROS en tareas de inspección de turbinas de viento

Abstract

En este proyecto se presenta el desarrollo de una Cabina de Realidad Virtual con el motor gráfico Unity. Esta Cabina se usa para operar sistemas multi-UAV en tareas de inspección de turbinas de viento y se ejecuta en unas gafas de Realidad Virtual. Esta tarea de inspección se ejecuta en ROS, un framework de desarrollo de robots. Esto requerirá desarrollar comunicaciones entre Unity y ROS. Para ello se usará ROS#, que es un conjunto de librerías, software y herramientas para comunicar ROS con Unity. La Cabina Virtual cuenta con unas pantallas que presentan las vistas de las cámaras de los UAV. Además, posee una mesa de status y control donde se puede visualizar información valiosa de la tarea de inspección. También, se crea un mapa en 3D que emula el entorno real dentro del entorno virtual. Esto permite al usuario tener una mejor perspectiva de la misión. Po último, se desarrollan los controles necesarios para poder hacer uso de la Cabina. Estos controles se implementan en unos mandos de Realidad Virtual.

This project presents the development of a Virtual Reality Cockpit with the Unity graphics engine. This Cockpit is used to operate multi-UAV systems in wind turbine inspection tasks and is executed in Virtual Reality glasses. This inspection task runs on ROS, a robot development framework. This will require developing communications between Unity and ROS. ROS# will be used for this, which is a set of libraries, software and tools to communicate ROS with Unity. The Virtual Cockpit has screens that present the camera views of the UAVs. In addition, it has a status and control table where valuable information of the inspection task is displayed. Also, a 3D map is created. This map emulates the real environment within the virtual environment. This allows the user to have a better perspective of the mission. Finally, the necessary controls are developed to be able to use the Cockpit. These controls are implemented in Virtual Reality controllers.