Sillero Denamiel, María RemediosDíaz-Trechuelo Sánchez-Moliní, Jaime2025-07-282025-07-282025-06-04Díaz-Trechuelo Sánchez-Moliní, J. (2025). Regularization for Linear Regression: The LASSO and variants. (Trabajo Fin de Grado Inédito). Universidad de Sevilla, Sevilla.https://hdl.handle.net/11441/175678The Least Absolute Shrinkage and Selection Operator (Lasso) is a cornerstone of highdimensional regression, combining variable selection with regularization through a convex but non-di erentiable optimization problem. This work rigorously analyzes the Lasso's mathematical structure, deriving its optimality conditions via subdi erential calculus and characterizing the uniqueness of solutions particularly when p ≫ n. We establish how the Lasso's ℓ1-penalty induces sparsity and explore its geometric interpretation through constraint sets and KKT conditions. Building on this foundation, we extend the framework to the Elastic Net (addressing multicollinearity) and the Cost Sensitive Constrained Lasso and propose the novel Cost- Sensitive Constrained Elastic Net, which integrates subgroup-speci c error bounds with sparsity. Theorems on consistency and solution uniqueness are included, as well as an implementation in R which demonstrates trade-o s between interpretability and predictive power. By unifying optimization theory with statistical learning, this work underscores the Lasso's enduring role as a paradigm for regularized methods. vEl Least Absolute Shrinkage and Selection Operator (Lasso) es un método clave en la regresión en alta dimensión, que combina selección de variables y regularización a través de un problema de optimización convexo pero no diferenciable. En este trabajo se analizan sus propiedades, derivando las condiciones de optimalidad mediante cálculo subdiferencial y caracterizando la unicidad de las soluciones, especialmente en el caso en que p ≫ n. Se muestra cómo la penalización ℓ1 promueve la selección de variables (sparsity ) y se estudia su interpretación geométrica a partir de restricciones y condiciones KKT. Sobre esta base, se extiende el enfoque al Elastic Net (para abordar la multicolinealidad) y al Cost-Sensitive Constrained Lasso, y se propone el Cost-Sensitive Constrained Elastic Net, que imponen restricciones sobre los errores de predicción para subgrupos especí cos. Se incluyen teoremas de consistencia y unicidad de solución así como una implementación en R para evaluar empíricamente el compromiso entre interpretabilidad y precisión de los modelos estudiados en diferentes conjuntos de datos. Al integrar técnicas de optimización con aprendizaje estadístico, este trabajo con rma que el Lasso continúa siendo un paradigma central en las técnicas de regularización.application/pdf86 p.enginfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/openAccess