Aceleración del algoritmo de Viola-Jones mediante rejillas de procesamiento masivamente paralelo en el plano focal

Abstract

El algoritmo de Viola-Jones es un método de detección de objetos que se usa ampliamente en la detección de caras en imágenes y video. El algoritmo se basa en la comparación entre las intensidades luminosas de regiones rectangulares de las imágenes denominadas Haar-like features que calcula empleando una imagen integral. En el Instituto de Microelectrónica de Sevilla se ha desarrollado un sensor de imagen con procesamiento en el plano focal que, entre otras operaciones, es capaz de realizar de manera masivamente paralela una pixelación reconfigurable de la imagen. En este trabajo se estudia la posibilidad de emplear esta funcionalidad del sensor para sustituir al cálculo de la imagen integral en la obtención de las Haar-like features y conseguir así una aceleración del proceso de detección. Se ha trabajado con una implementación del algoritmo disponible en la librería de visión artificial OpenCV y se han tratado de adaptar las features de una cascada facilitada en la librería de modo que puedan ser calculadas a partir de la información que proporcione el chip empleando unas pocas rejillas de pixelación. Debido al gran número y variedad de features que componen la cascada, se decidió adaptar únicamente la primera etapa de la misma, que es la más discriminativa, dejando que el procesador ejecute el resto de la cascada sobre las ventanas de búsqueda que pasen la primera etapa. Con la ayuda de caras genéricas se han adaptado algunas features de la primera etapa original y se han diseñado otras nuevas obteniendo dos diseños alternativos de la primera etapa que podrían realizarse empleando información proporcionada por el chip. Uno de los diseños rechaza más del 97% de las ventanas de búsqueda sin caras manteniendo aproximadamente el 95% de las caras. Utilizando esta primera etapa, la detección se realiza en un 6.6% del tiempo que tarda el algoritmo original. Como resultado secundario se expone que utilizando una de las primeras etapas diseñadas con el algoritmo original y por tanto desligada del chip, se consigue un ahorro en el tiempo de cómputo del 38% con respecto al algoritmo original manteniendo la sensibilidad por encima del 98%.

The Viola-Jones object detection framework is one of the world’s most used algorithms for face detection in images or video. It relies on the comparison between the brightness of different rectangular regions called Haar-like featres which can be obtained by using an integral image. An image sensor with focal-plane processing has been developed in the Institute of Microelectronics of Seville which has the capacity to provide programmable pixelation of multiple rectangular image regions in parallel. In this project, we study how to use this functionality as a substitute for the computation of the integral image when it comes to obtaining Haar-like features, thus accelerating the detection process. We have worked with an implementation of the algorithm and a cascade of features provided by the computer vision library OpenCV and we have tried to adapt the set of features so as to be able to calculate them from the information produced by the chip using a few pixelation grids. The set of features is extremely large and varied so we decided to adapt only the features in the first stage of the cascade which is the most discriminative stage. This allows the processor to run the rest of the cascade only on the detection windows that pass the first stage. With the help of generic faces, we have adapted some of the features in the original first stage and designed a few others resulting in two alternative designs for the first stage that can be calculated from the information provided by the chip. With one of the designs, more than 97% of the detection windows are discarded in the first stage while preserving approximately 95% of the faces. Using this first stage, the detection process takes only a 6.6% of the time it takes for the original algorithm and cascade. As a secondary result, we have measured that one of the first stages designed, applied within the original algorithm and therefore independent of the chip, can result in a 38% reduction in computation time while keeping the detection efficiency over 98%.