Predicciones intervalares utilizando optimización convexa

Abstract

El fin último de este trabajo consiste en desarrollar una metodología que provea de predicciones intervalares útiles. Es decir, para un regresor Xk7, proveer del intervalo más pequeño posible que contenga a la salida Xk con una probabilidad especificada. Esta meta se apoya en dos pilares muy bien diferenciados. En primer lugar, se propone una familia de funciones de disimilitud con la que, estimando la función de densidad empírica condicionada de una salida Xk7, se obtiene la función de distribución en la que la noción de cuantil está altamente relacionada con la de intervalos de confianza. Estas funciones de disimilitud miden el grado de semejanza entre un vector z y un set de datos D, donde pequeños valores indican un alto grado de similitud y grandes valores implican un alto grado de disimilitud. En concreto, la familia de funciones de disimilitud propuesta consiste en un problema de optimización convexa invariante respecto a transformaciones afines. También se ha previsto la inclusión de información local al algoritmo mejorando, en la mayoría de los casos, considerablemente las predicciones El segundo pilar, (sin el cual el primero no sustentaría el fin último) aborda, con el método FISTA, el problema de optimización que se plantea en la definición de la función de disimilitud. Este algoritmo ha probado tener una ratio de convergencia mucho mayor que los tradicionales gradient descent básicos. No obstante, puede plantear algunos problemas prácticos los cuales se resuelven con el método Restart. En definitiva, estos dos pilares sustentan una serie de funciones en Python que computan los algoritmos necesarios para las predicciones intervalares. Se plantean principalmente dos algoritmos: el primero obtiene una predicción intervalar dependiente de dos parámetros (Y y c). El segundo (basado en el primero) permite, dada Y, encontrar el c óptimo que reduce al máximo el intervalo. Este algoritmo asegura que no se viole la restricción de que la salida Xk pertenezca a dicho intervalo para una probabilidad dada. Se ha buscado en todo momento la eficiencia tanto en los algoritmos como en la implementación en el código Python. En el apéndice se incluyen instrucciones que permiten usar con comodidad la librería de funciones.

The ultimate goal of this work is to develop a methodology that provides useful interval predictions. That is, for a regressor Xk7, to find the smallest possible interval containing the output value Xk with a given probability. This goal rests on two very distinct pillars. Firstly, a family of dissimilarity functions is proposed with which to obtain conditional empirical distribution functions where the notion of quantile is highly related to that of confidence intervals. These dissimilarity functions measure the degree of similarity between a vector z and a data set D where small values indicate a high degree of similarity and large values imply a high degree of dissimilarity. Specifically, the proposed family of dissimilarity functions consists of a convex optimization problem invariant with respect to affine transformations. Provision has also been made for the inclusion of local information to the algorithm improving considerably the predictions. The second pillar, (without which the first one would not support the ultimate goal) addresses with the FISTA method the optimization problem posed in the definition of the dissimilarity function. This algorithm has proven to have a much higher convergence rate than the traditional basic gradient descent. However, it can pose some practical problems which are solved with the Restart method. In short, these two pillars support a series of Python functions that compute the algorithms needed for interval predictions. Two algorithms are mainly posed: the first one obtains an interval prediction dependent on two parameters (γ and c). The second one (based on the first one) allows, given γ, to find the optimal c that minimizes the interval. This algorithm ensures that the constraint that the output y_k belongs to the interval for a given probability is not violated. Efficiency has been sought throughout, both in the algorithms and in the implementation in Python code. Instructions for convenient use of the function library have been included in the appendix.