Sistemas de visión y localización aplicados a la seguridad física para una respuesta eficiente

Abstract

En esta tesis se presenta una arquitectura software basada en Inteligencia Artificial (IA) para la detección temprana de amenazas en edificios a través de sistemas de Circuito Cerrado de Televisión (CCTV). Esta arquitectura permite detectar un peligro de forma visual y notificar al personal de seguridad inmediatamente sobre la zona afectada y la localización de las personas cercanas a ella. De este modo, se pueden enviar notificaciones automáticas a ´estas con instrucciones para evacuar el edificio de forma segura y ordenada. Para ello, se ha realizado un estudio exhaustivo sobre la detección de armas de fuego mediante el Aprendizaje Profundo, comprobando que el rendimiento predictivo de los métodos presentes en el estado del arte no es suficiente para un escenario real con cámaras CCTV. Con este fin, se recopiló un nuevo conjunto de datos mediante un simulacro que se realizó en la Escuela Técnica Superior de Ingeniería Informática de la Universidad de Sevilla. Este conjunto de datos se hizo público durante la elaboración de esta tesis y es considerado uno de los conjuntos de datos más complejos en detección de armas de fuego por otros estudios [1]. Esto se debe a las oclusiones, objetos similares y otros factores presentes en un entorno real. De igual modo, se examinó la importancia del tamaño de los objetos mostrados en los conjuntos de datos y se logró mejorar el estado del arte en la detección de armas de fuego. Para lograrlo, se propuso un entrenamiento de dos pasos que utiliza el conjunto de datos mencionado anteriormente y otro nuevo conjunto de datos generado sintéticamente que aumenta la aparición de objetos pequeños y oclusiones. El estudio llevado a cabo en este trabajo fue publicado en la revista Neural networks, en diciembre de 2020, con el título de “Real-time gun detection in CCTV: An open problem” [2], alcanzando más de cuarenta citas en 2023. A continuación, se estudiaron otras técnicas de aprendizaje automático, lo cual ocasionó el diseño y presentación de una nueva metodología de aprendizaje semi-supervisado. Esta nueva metodología se fundamenta en un entrenamiento cooperativo condicionado, con el objetivo de mejorar los sistemas actuales de detección de armas de fuego, a través del aprendizaje semi-supervisado de un gran conjunto de datos no-etiquetados recolectados de Instagram con casi medio millón de imágenes. De este modo, se logró superar aprendizajes tradicionales supervisados y arquitecturas del estado del arte en aprendizaje semi-supervisado y auto-supervisado. Asimismo, se han estudiado diversas técnicas relacionadas con la localización en interiores, un problema ya bien conocido. En este contexto, se han implementado técnicas innovadoras que mejoran la puesta en producción de estos sistemas, evitando que reduzcan significativamente la batería de los dispositivos del usuario y manteniendo una precisión equilibrada. Se investigó y desarrolló una localización basada en huellas WiFi mediante técnicas de inteligencia artificial para ello. Se generó un nuevo conjunto de datos de la Escuela Técnica Superior de Ingeniería Informática de la Universidad de Sevilla, con más de siete mil huellas WiFi obtenidas en diferentes trayectos por el edificio de dicha escuela. El estudio y conjunto de datos obtenido con este trabajo fue publicado en la revista IEEE Access, en noviembre de 2019, con el título “Energy-Efficient Indoor Localization WiFi-Fingerprint System: An Experimental Study” [3], alcanzando más de quince citas en 2023. Se han integrado tanto la detección de armas de fuego como la localización en interiores en un sistema general para identificar un peligro de forma precisa en cámaras de vigilancia y localizar de forma energéticamente eficiente a los usuarios del edificio. De este modo, se presenta un sistema general que procesa en tiempo real las alertas de peligro, generadas por el subsistema de identificación en cámaras de seguridad, y localiza a las posibles víctimas del ataque, mediante el subsistema de localización, para evacuar de manera segura antes de que suceda algún tipo de daño. Se pretende mejorar el tiempo de respuesta por parte del personal de seguridad con este sistema general, ya que permite monitorizar múltiples cámaras de seguridad al mismo tiempo y alertar de forma sonora y visual cuando se muestre un arma en una de estas cámaras. Asimismo, al surgir una fuente de peligro, el personal de seguridad podrá observar en tiempo real la ubicación de las víctimas del ataque y confirmar el envío personalizado de rutas, así como notificar, en un futuro, a efectivos para neutralizar la amenaza.

This thesis presents a software architecture based on Artificial Intelligence (AI) for the early detection of threats in buildings through Closed Circuit Television (CCTV) systems. This architecture allows detecting a danger visually and notifying security personnel immediately about the affected area and the location of people nearby. In this way, automatic notifications can be sent to them with instructions to evacuate the building in a safe and orderly manner. For this purpose, a comprehensive study on the detection of firearms using deep learning has been carried out, proving that the predictive performance of state-of-the-art methods is not sufficient for a real scenario with CCTV cameras. To this end, a new dataset was collected by conducting a mock attack at the Escuela T´ecnica Superior de Ingenier´ıa Inform´atica (School of Computer Engineering) of the University of Seville. This dataset was made public during the elaboration of this thesis and is considered one of the most complex datasets in firearms detection by other studies. This is due to occlusions, similar objects and other factors present in a real environment. Similarly, the importance of object sizes in the datasets was examined and the state of the art in firearms detection was improved. To achieve this, a two-step training was proposed that uses the aforementioned dataset and a new synthetically generated dataset that increases the occurrence of small objects and occlusions. The study carried out in this work was published in the journal Neural Networks in December 2020 under the title “Real-time gun detection in CCTV: An open problem”, reaching more than forty citations in 2023. Other machine learning techniques were then studied, which led to the design and presentation of a new semi-supervised learning methodology. This new methodology is based on conditioned cooperative training, with the aim of improving current firearm detection systems by semi-supervised learning on a large unlabelled dataset collected from Instagram with almost half a million images. In this way, it was possible to overcome traditional supervised learning and state-of-the-art architectures in semi-supervised and self-supervised learning. In addition, various techniques related to indoor localisation, a wellknown problem, have been studied. In this context, innovative techniques have been implemented to improve the production implementation of these systems, avoiding significant battery drain on the user’s devices and maintaining a balanced accuracy. A WiFi fingerprint-based localisation was investigated and developed using artificial intelligence techniques for this purpose. A new dataset was generated from the Escuela T´ecnica Superior de Ingenier´ıa Inform´atica of the University of Seville, with more than seven thousand WiFi footprints obtained in different paths through the school. The study and dataset obtained with this work was published in the journal IEEE Access, in November 2019, with the title “Energy-Efficient Indoor Localization WiFi-Fingerprint System: An Experimental Study” [3], reaching more than fifteen citations in 2023. Both firearm detection and indoor localisation have been integrated into an overall system to accurately identify a hazard on surveillance cameras and energy-efficiently locate users in the building. Thus, an overall system that processes real-time hazard alerts, generated by the security camera identification subsystem, and locates potential attack victims, via the location subsystem, to evacuate safely before any harm is done. This overall system is intended to improve the response time of security personnel by monitoring multiple security cameras at the same time and providing an audible and visual alert when a weapon is displayed on one of these cameras. In addition, when a source of danger arises, security personnel will be able to observe in real time the location of the victims of the attack and confirm the dispatch of personalised routes, as well as notify, in the future, police to neutralise the threat.