Control predictivo de plantas termosolares mediante la aplicación de técnicas de Deep Reinforcement Learning

Abstract

Las tecnologías de generación renovable han experimentado, durante las últimas décadas, un crecimiento sin precedentes en su popularidad. Este crecimiento, motivado por el abaratamiento de los costes y por una necesidad de reducir el uso de aquellas tecnologías causantes, entre otros ejemplos, del cambio climático, ha incentivado el estudio de la tecnología de concentración solar como una alternativa interesante a los medios de generación tradicionales gracias a su capacidad de almacenamiento energético. El control de este tipo de instalaciones, a menudo, se fundamenta en estrategias de control predictivo basado en modelo (MPC). Sin embargo, debido al excesivo coste computacional derivado de necesitar resolver un problema de optimización a cada instante de muestreo y a la necesidad de un conocimiento tan preciso de las dinámicas del sistema a controlar, esta estrategia de control puede resultar, en ocasiones, ineficiente. Este trabajo pretende, por tanto, presentar una estrategia de control alternativa a estos controladores MPC utilizados para el control de plantas solares térmicas de concentradores cilindro-parabólicos. Para ello, se propone una estrategia de control basada en técnicas de aprendizaje por refuerzo que permita, además de reproducir los buenos resultados proporcionados por un controlador predictivo, solventar aquellos problemas derivados del mismo. Se desarrolla, para tal fin, un agente de control que, mediante un algoritmo DDPG, dé forma a una ley de control óptima que le permita maximizar la potencia térmica producida en la instalación. Este algoritmo se complementa, además, con el desarrollo de un simulador de la antigua planta experimental ACUREX mediante la librería OpenAI Gym, de tal forma que se puedan comprobar los resultados obtenidos.

Renewable generation technologies have experienced an unprecedented growth in popularity over the last few decades. This growth, driven by lower costs and a need to reduce the use of those technologies that cause -among others- climate change, has encouraged the study of concentrating solar power technology as an appealing alternative to traditional generation technologies due to its energy storage capacity. The control of this type of installations is often based on Model Predictive Control (MPC) strategies. However, due to the excessive computational cost of needing to solve an optimization problem at each sampling time and the need for such a precise knowledge of the dynamics of the system to be controlled, this control strategy can sometimes be inefficient. Therefore, this work aims to present an alternative control strategy to these MPC controllers for controlling parabolic trough collector solar plants. To this end, a control strategy based on reinforced learning techniques is proposed in order to not only reproduce the good results provided by a predictive controller, but also to solve the problems arising from it. Thus, it is developed a control agent which, by means of a DDPG learning algorithm, shapes an optimal control law that maximizes the thermal power produced by the plant. This algorithm is further complemented with the development of an ACUREX simulator using the library OpenAI Gym, which allows to check the results achieved.