Estudio de mecanismos de foveación para un sensor de visión neuromórfico

Abstract

Este trabajo se realizó en el Grupo de Sistemas Neuromórficos del Instituto de Microelectrónica de Sevilla. En el cual se trabaja en la implementación en hardware de sistemas de procesamiento de visión bio-inspirados. A pesar del impresionante desarrollo de los sistemas de computación durante las últimas décadas, el cerebro humano sigue demostrando una capacidad inalcanzable de procesar información sensorial a muy alta velocidad, con muy bajo consumo de potencia y minimizándose cantidad de datos necesarios. Esto se debe a la eficiencia del procesamiento neuronal, masivamente paralelo. En el grupo se diseñan sensores de visión basados en eventos que emulan la retina humana. No se trabaja con fotogramas, sino con flujos continuos de impulsos eléctricos (que llamamos eventos o 'spikes') producidos de forma asíncrona por cada foto-sensor (o píxel) de la retina de forma autónoma cuando detecta un cambio suficiente de luz. Cada píxel almacena un nivel de brillo de referencia y lo compara continuamente con el nivel de brillo actual. Si la diferencia de brillo supera un umbral, ese píxel restablece su nivel de referencia y genera un evento, en el que se codifica el tiempo, la ubicación y el signo del cambio de brillo. Las cámaras de eventos permiten capturar el movimiento con mucha más resolución temporal y menos consumo de energía. Además de aumentar el rango dinámico y disminuir el desenfoque de movimiento. La visión humana usa un mecanismo de foveación para maximizar la resolución espacial en la zona donde se enfoca la vista mientras que mantiene una baja resolución en las zonas de visión periférica. Así se reduce la cantidad de información generada por la retina manteniendo la capacidad de reconocimiento visual. Este proyecto se enmarca en el estudio de la aplicación de un mecanismo de foveación sobre los sistemas de visión artificial basada en eventos. En concreto, se ha modelado a nivel de software distintas estrategias para controlar de forma dinámica la resolución de un sensor de visión, usando la máxima resolución posible en una o varias regiones de interés (identificadas a partir de distintos métodos de detección y seguimiento de objetos) y reduciendo la resolución en la periferia, con el fin de estudiar su comportamiento; hacerse una idea de la resolución que se debe aplicar y de otros parámetros cuando se implemente en hardware. Se parte de una grabación de eventos, se convierte a fotogramas, luego se interpolan las intensidades de esos fotogramas para aumentar la resolución temporal, se seleccionan las zonas de interés, se le aplica la foveación combinando pixeles en la periferia de los objetos, y finalmente se generan eventos con las imágenes modificadas.

This work was carried out in the Neuromorphic Systems Group of the Microelectronics Institute of Seville. It is working on the hardware implementation of bio-inspired vision processing systems. Despite the impressive development of computing systems over the last decades, the human brain still demonstrates an unattainable ability to process sensory information at very high speed, with very low power consumption and minimising the amount of data required. This is due to the efficiency of massively parallel neural processing. The group designs event-driven vision sensors that emulate the human retina. We do not work with frames, but with continuous streams of electrical impulses (which we call events or 'spikes') produced asynchronously by each photo-sensor (or pixel) in the retina autonomously when it detects a sufficient change in light. Each pixel stores a reference brightness level and continuously compares it to the current brightness level. If the difference in brightness exceeds a threshold, that pixel resets its reference level and generates an event, encoding the time, location and sign of the brightness change. Event cameras allow motion to be captured with much higher temporal resolution and lower power consumption. They also increase dynamic range and decrease motion blur. Human vision uses a foveation mechanism to maximise spatial resolution in the area where the view is focused while maintaining low resolution in the peripheral vision areas. This reduces the amount of information generated by the retina while maintaining visual recognition capability. This project is part of the study of the application of a foveation mechanism on event-based artificial vision systems. Specifically, different strategies have been modelled at software level to dynamically control the resolution of a vision sensor, using the maximum possible resolution in one or several regions of interest (identified from different object detection and tracking methods) and reducing the resolution in the periphery, in order to study its behaviour; to get an idea of the resolution to be applied and other parameters when implemented in hardware. We start from a recording of events, convert it to frames, then interpolate the intensities of those frames to increase the temporal resolution,select the areas of interest, apply foveation by combining pixels at the periphery of the objects, and finally generate events with the modified images.