Génération automatique de modèle pour l'optimisation énergétique des systèmes cyber-physiques.
RL-based Energy Management for Autonomous Cyber Physical Systems
Résumé
The energy management of a cyber physical system is a difficult task because of the complexity of hardware architectures and the use of OS. In addition, these systems are deployed in changing environments where their energy harvesting capacity varies. Over time, their energy consumption is modified due to the ageing of the components. Consumption models designed in the laboratory cannot take into account all possible deployment scenarios and system aging. One approach that is developing is the use of reinforcement learning in which we no longer know the system's consumption model; but thanks to this approach, the system is still able to adapt its operation during its deployment according to the evolution of its environment. Several approaches exist in reinforcement learning. The first part of this thesis is devoted to proposing guidelines to help for selecting the most appropriate approach for a given application and target. The second part of this thesis focuses on the design of the reward we give to our system that will influence its behaviour in its environment. Two reward functions able to adjust the system’s performance according to the energy available are presented. The third and last part of this thesis explores the use of several agents to independently control the different modules of our system. This approach allows a more precise control of energy consumption, reducing memory usage compared to a single agent approach.
La gestion d'énergie d'un système cyber physique est une tâche difficile à cause de la complexité des architectures matérielles et l'utilisation d'OS. En outre, ces systèmes sont déployés dans des environnements qui évoluent et où leur capacité de recharge en énergie varie. Avec le temps, leur consommation en énergie est modifiée du fait du vieillissement des composants. Les modèles de consommation conçus en laboratoire ne peuvent pas prendre en compte tous les scénarios de déploiement possible ainsi que le vieillissement du système. Une approche qui se développe est l'utilisation d'apprentissage par renforcement dans lequel nous n'avons plus connaissance du modèle de consommation du système ; mais grâce à cette approche, ce dernier est capable d'adapter son fonctionnement pendant son déploiement en fonction de l'évolution de son environnement. Plusieurs approches existent en apprentissage par renforcement. La première partie de cette thèse est consacrée à la proposition de lignes directrices pour aider à la sélection de l’approche la plus appropriée pour une application et une cible donnée. La deuxième partie se concentre sur la conception de la récompense que l’on donne à notre système et qui va influencer son comportement dans son environnement. Deux fonctions de récompense capables d’ajuster la performance du système en fonction de l’énergie disponible y sont présentées. La troisième et dernière partie explore l’utilisation de plusieurs agents pour contrôler indépendamment les différents modules de notre système. Cette approche permet un contrôle plus précis de la consommation en énergie, réduisant l’utilisation de mémoire par rapport à une approche avec un agent unique.
Origine : Version validée par le jury (STAR)