Implementación de dispositivo de procesado de señal de audio y generación de excitación a LEDs individualmente direccionables

Abstract

Implementación en Python de un sistema sobre una Raspberry Pi capaz de controlar una matriz 8x8 de LED de colores RGB en función de un sonido de entrada, a través de un cable de audio, en tiempo real. Se intenta simular un efecto de sinestesia entre el sonido y la imagen. Se introduce la base teórica del procesado digital de señales, con especial énfasis en su aplicación a las señales de audio. Se explican diferentes conceptos como el de los filtros mel, la frecuencia fundamental (pitch), esenciales en el funcionamiento básico del sistema a implementar. Al ser un trabajo interdisciplinar, también aparecerán conceptos musicales y de teoría del color. La señal de audio de entrada se va enventanando y se procesa como un stream en el dominio de la frecuencia por bandas mediante un filtrado mel, calculándose la potencia por bandas y determinando el nivel de LEDs que se encienden en la matriz. Cada columna correspondería a una banda de frecuencia, correspondiéndose el nivel de potencia con las filas. Respecto a los colores, se dispone de un modo monofónico (modo pitch) basado en la detección de la frecuencia fundamental y un modo polifónico (modo default) basado en la tímbrica espectral, es decir, en las posiciones relativas de los centroides espectrales por banda.

Python implementation of a system on a Raspberry Pi able of controlling an LED RGB colors matrix based on a real-time input sound through a speaker wire. An attempt is made to simulate a synesthesia effect between sound and image. The theoretical basis of digital signal processing is introduced, with special emphasis on its application to audio signals. Different concepts are explained, such as mel filters, fundamental frequency (pitch), essential in the basic operation of the system to be implemented. As it’s an interdisciplinary work, musical and color theory concepts will also appear. The input audio signal is windowed and processed as a stream in the frequency domain by bands through a filter mel, calculating the power by bands and determining the level of LEDs that are lit in the matrix. Each column would correspond to a frequency band, with the power level corresponding to the rows. Regarding colours, there’s a monophonic mode (pitch mode) based on the detection of the fundamental frequency and a polyphonic mode (default mode) based on the spectral timbre, that is, the relative positions of the spectral centroids per band.