Contributions au contrôle et au dimensionnement des micro-réseaux par apprentissage par renforcement : application aux systèmes avec production renouvelable et stockage hybride batterie-hydrogène (thèse sous embargo) - IMT Mines Albi-Carmaux Accéder directement au contenu
Thèse Année : 2023

Contributions to the control and sizing of microgrids by reinforcement learning : application to systems with renewable generation and hybrid battery-hydrogen storage (thesis under embargo)

Contributions au contrôle et au dimensionnement des micro-réseaux par apprentissage par renforcement : application aux systèmes avec production renouvelable et stockage hybride batterie-hydrogène (thèse sous embargo)

Résumé

Combining photovoltaic panels with an electrochemical battery reduces the daily phase difference between electricity production and demand in a microgrid. For long-term electricity storage, the combined use of an electrolyzer, hydrogen storage and a fuel cell offers the possibility of conserving electricity produced in summer to meet increased winter demand. Optimal real-time control of microgrid storage units is hampered by random data and the non-linear dynamic behavior of the units over long time horizons. This work presents a methodology for sizing and controlling a microgrid comprising photovoltaic electricity production, a lithium-ion battery and hydrogen storage, based on economic, environmental and technical objectives. The sizing of the units in a microgrid establishes their constraints of use, while the criteria to be optimized for its sizing (such as the cost of energy, the rate of self-consumption, the probability of breakdowns) depend on the management of these units. This interdependence justifies the development of a sizing methodology coupled with long-term energy management algorithm. The management of a microgrid is influenced by random variables such as demand and the energy produced at any given time. Reinforcement learning is a sequential decision-making methodology based on a dynamic model of the system that can adapt its strategy to random data. As a first step, a reinforcement learning control methodology is adopted by integrating non-linearities such as the aging of the storage system. Reinforcement learning enabled the energy management system to maintain an effective unit control policy with respect to the targeted criteria. This effectiveness is maintained despite different data and a longer time horizon than those on which the model was built. The control strategies developed suggest that the advantages of long-term electricity storage depend on the characteristics of the microgrid, and in particular on the amplitude of demand and the capacity of the battery. The study shows that a compromise must be found between the economic profitability of the microgrid and the guarantee of its autonomy. A bi-level optimization method is developed to achieve optimal unit sizing and energy management. The control of the microgrid by reinforcement learning forms the inner loop, while unit sizing is carried out using a simulated-annealing algorithm in the main loop. Particular attention is paid to minimizing computing time, by developing a method for transferring control policy from one iteration of the main loop to another. Offline reinforcement learning has been used to learn unit control strategies without random interaction with the microgrid simulation. The strategies are learned by observing the control decisions made by a model trained on other sizing in previous iterations. The calculation time is reduces by over 50% and the quality of the control policy learned is not affected. The results are analyzed in regard to the objectives considered, the control strategy and the data incorporated into the microgrid simulation.
Le couplage de panneaux photovoltaïques avec une batterie électrochimique permet d'atténuer le déphasage journalier entre production et demande d'électricité dans un micro-réseau. Pour le stockage d'électricité à long-terme, l'utilisation conjointe d'un électrolyseur, d'un stockage hydrogène et d'une pile à combustible offre en principe la possibilité de conserver l'électricité produite en été pour les besoins accrus de l'hiver. Le contrôle optimal en temps réel des unités de stockage des micro-réseaux est entravé par les données aléatoires et le comportement dynamique non-linéaire des unités sur des horizons temporels longs. Ce travail présente une méthodologie de dimensionnement et pilotage d'un micro-réseau comprenant une production d'électricité photovoltaïque, une batterie lithium-ion et un stockage hydrogène selon des objectifs économiques, environnementaux et techniques. Le dimensionnement des unités d'un micro-réseau établit leurs contraintes d'utilisation, tandis que les critères à optimiser pour son dimensionnement (comme le coût de l'énergie, le taux d'autoconsommation, la probabilité de pannes) dépendent de la gestion de ces unités. Cette interdépendance justifie le développement d'une méthodologie de dimensionnement couplée au contrôle à long-terme du micro-réseau. La gestion d'un micro-réseau est influencée par des grandeurs aléatoires telles que la demande et l'énergie produite à chaque instant. L'apprentissage par renforcement est une méthodologie de prise de décision séquentielle s'appuyant sur un modèle dynamique du système et pouvant adapter sa stratégie à des données aléatoires. Dans un premier temps, une méthodologie de contrôle par apprentissage par renforcement est adoptée en intégrant des non-linéarités telles que le vieillissement du système de stockage. L'apprentissage par renforcement a permis de maintenir une politique de contrôle des unités efficace au regard des critères ciblés. Cette efficacité est maintenue malgré des données différentes et un horizon temporel plus long que ceux sur lesquels le modèle a été construit. Les stratégies de contrôle développées suggèrent que l'intérêt du stockage à long-terme de l'électricité dépend des caractéristiques du micro-réseau et en particulier de l'amplitude de la demande et de la capacité de la batterie. L'étude montre qu'un compromis doit être trouvé entre la rentabilité économique du micro-réseau et la garantie de son autonomie. Une méthode d'optimisation bi-niveaux est développée afin de parvenir à un dimensionnement des équipements avec contrôle optimal. La gestion du micro-réseau par apprentissage par renforcement en constitue la boucle interne, tandis que le dimensionnement des unités est réalisé via un algorithme de recuit-simulé dans la boucle principale. Une attention particulière est accordée à la minimisation du temps de calcul, grâce au développement d'une méthode de transfert de politique de contrôle d'une itération de la boucle principale à une autre. L'utilisation de l'apprentissage par renforcement hors ligne a permis d'apprendre des stratégies de contrôle des unités sans interaction aléatoire avec la simulation du micro-réseau. L'apprentissage des stratégies s'effectue selon l'observation des décisions de contrôle prises par un modèle entraîné sur d'autres dimensionnements à des itérations antérieures. Le temps de calcul est plus de deux fois plus court et la qualité de la politique de contrôle apprise n'est pas affectée. Les résultats sont analysés au regard des objectifs considérés, de la stratégie de contrôle et des données intégrées à la simulation du micro-réseau.
Fichier non déposé

Dates et versions

tel-04526966 , version 1 (29-03-2024)

Identifiants

  • HAL Id : tel-04526966 , version 1

Lien texte intégral

Citer

Valentin Père. Contributions au contrôle et au dimensionnement des micro-réseaux par apprentissage par renforcement : application aux systèmes avec production renouvelable et stockage hybride batterie-hydrogène (thèse sous embargo). Sciences de l'ingénieur [physics]. Ecole des Mines d’Albi Carmaux, 2023. Français. ⟨NNT : 2023EMAC0018⟩. ⟨tel-04526966⟩
29 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More