Interpretation of Deep Neural Networks as Dynamic Systems

Abstract

During last years the application of deep learning techniques has changed our lives from banking operations to medical diagnosis techniques. Unfortunately the ancient stereotype of neural networks as black boxes remains almost unaltered. We need models able to shed light on the endless list of unanswered questions about deep learning but our society has clearly tipped the balanced in favour of gaining accuracy of models. With everyday passing, the lack of a solid mathematical framework is becoming a greater problem. In this thesis a research line in the opposite direction is presented: the interpretation of Re current Neural Networks as discrete time dynamical systems. This idea offers a completely new point of view for an understanding of neural networks. This ”simple fact” equips us with the huge machinery of this branch of mathematics. Concepts such as state spaces, orbits, limit sets and attractors take on meaning in a new scenario. Instead of a simple enumeration of the implications of this new perspective we have selec ted a dual approach. First, highlighting the connections between recurrent networks and dynamical systems. Secondly, these ideas have been applied to a simple but illustrative toy case. A sequence of type an b n is used as input to a RNN that tries to predict the next symbol of the sequence. First of all, different dimensionality reduction techniques are explored in order to obtain interpretable 2D/3D plots. Using these graphs the state space of the network after training is analysed. The transitions between states are made expli cit and the orbits deformations during network training can be observed. Using different initial seeds the existence of line attractors becomes evident. Hidden layer dimensionality parameter space is studied obtaining that an increment in the distance between attractors is observed as dimension increases. Finally, it is shown the impact of noise on the attractors structure.

Durante los últimos años hemos asistido a cambios en nuestra vida cotidiana asociados al deep learning: desde las operaciones bancarias hasta el diagnóstico médico. Desgraciadamente, el estereotipo de caja negra que desde sus inicios ha acompañado a las redes neuronales apenas se ha visto alterado. Necesitamos modelos que arrojen luz a la lista interminable de preguntas sin respuesta relacionadas con el deep learning pero, como sociedad, hemos preferido centrar los esfuerzos en arañar décimas a la precisión de los modelos. De hecho, cada día que pasa, el no disponer de un marco matemático sólido es un problema mayor. En este trabajo se muestra una de las líneas de investigación en la dirección opuesta: la interpretación de las redes neuronales recurrentes como sistemas dinámicos en tiempo discreto. Este ”simple hecho” nos permite acceder a la potente maquinaria de esta rama de las matemáticas. Conceptos como espacios de estados, ´orbitas, conjuntos límite o atractores cobran sentido en este nuevo escenario. En lugar de una mera exposición de las implicaciones de esta nueva perspectiva, hemos optado por una visión dual. Presentando, en primer lugar, las conexiones entre las redes recurrentes y los sistemas dinámicos. Para posteriormente ilustrar estas ideas mediante un caso de uso muy simple. Para ello, alimentamos una RNN mediante una secuencia de entrada del tipo a n b n y la red debe predecir el siguiente símbolo en la secuencia. En primer lugar, hemos explorado diferentes técnicas de reducción de la dimensionalidad para obtener representaciones en 2D/3D del espacio de estados de la red tras el entrenamiento. Las transiciones entre estados se muestran explícitamente y se pueden observar las deformaciones de las ´orbitas durante el entrenamiento. Mediante la utilización de diferentes semillas podemos ver claramente la existencia de attractores unidimensionales. Asimismo, analizamos el espacio de parámetros de la dimensión de la capa oculta, mostrando como una reducción de la dimensionalidad, reduce la distancia entre los atractores. Finalmente, añadimos ruido a la señal de entrada observando cambios en la estructura de los atractores.