Direction de recherche : Pierre SENS

Co-encadrement : BOUBENDIR Amina, GUILLEMIN Fabrice

Optimisation du placement des tranches de réseau dans les infrastructures distribuées à grande échelle: des heuristiques à l'apprentissage par renforcement profond contrôlé

Le découpage du réseau est un enjeu majeur des réseaux 5G et au-delà, ce qui est principalement permis par la virtualisation des fonctions réseau (NFV) et les réseaux définis par logiciel (SDN). Ces deux paradigmes permettent aux opérateurs de télécommunications de proposer des réseaux virtuels répondant aux besoins spécifiques des marchés verticaux en utilisant une même infrastructure physique partagée. Un défi important dans la mise en œuvre à l'échelle du découpage du réseau est le placement des tranches de réseau et l'allocation optimale des ressources virtualisées. Ce problème peut être formulé comme un problème d'optimisation multiobjectif via la programmation linéaire en nombres entiers (ILP). Cependant, l'ILP souffre d'une explosion combinatoire lors de la résolution de problèmes NP-difficiles, en particulier pour les scénarios à grande échelle. Les heuristiques et les algorithmes d'apprentissage automatique (ML) sont envisagés comme des moyens efficaces pour résoudre ce type de problème.
Cette thèse examine comment optimiser le placement de tranches (slices) de réseau dans les infrastructures distribuées à grande échelle en se concentrant sur des approches heuristiques en ligne et basées sur l'apprentissage par renforcement profond (DRL). Tout d'abord, nous nous appuyons sur l'ILP pour proposer un modèle de données permettant le placement de tranches de réseau sur le bord et le cœur du réseau. Contrairement à la plupart des études relatives au placement de fonctions réseau virtualisées, le modèle ILP proposé prend en compte les topologies complexes des tranches de réseau et accorde une attention particulière à l'emplacement géographique des utilisateurs des tranches réseau et à son impact sur le calcul de la latence de bout en bout. Des expérimentations numériques nous ont permis de montrer la pertinence de la prise en compte des contraintes de localisation des utilisateurs.
Ensuite, nous nous appuyons sur une approche appelée "Power of Two Choices" pour proposer un algorithme heuristique en ligne qui est adapté à supporter le placement sur des infrastructures distribuées à grande échelle tout en intégrant des contraintes spécifiques au bord du réseau. Les résultats de l'évaluation montrent la bonne performance de l'heuristique qui résout le problème en quelques secondes dans un scénario à grande échelle. L'heuristique améliore également le taux d'acceptation des demandes de placement de tranches de réseau par rapport à une solution déterministe en ligne en utilisant l'ILP.
Enfin, nous étudions l'utilisation de méthodes de ML, et plus particulièrement de DRL, pour améliorer l'extensibilité et l'automatisation du placement de tranches réseau en considérant une version multiobjectif du problème. Nous proposons d'abord un algorithme DRL pour le placement de tranches réseau qui s'appuie sur l'algorithme "Advantage Actor Critic" pour un apprentissage rapide, et sur les réseaux convolutionels de graphes pour l'extraction de propriétés. Ensuite, nous proposons une approche que nous appelons "Heuristically Assisted DRL" (HA-DRL), qui utilise des heuristiques pour contrôler l'apprentissage et l'exécution de l'agent DRL. Nous évaluons cette solution par des simulations dans des conditions de charge de réseau stationnaire, ensuite cyclique et enfin non stationnaire. Les résultats de l'évaluation montrent que le contrôle par heuristique est un moyen efficace d'accélérer le processus d'apprentissage du DRL, et permet d'obtenir un gain substantiel dans l'utilisation des ressources, de réduire la dégradation des performances et d'être plus fiable en cas de changements imprévisibles de la charge du réseau que les algorithmes DRL non contrôlés.

Publications 2020-2022

• 2022
  • J. Alves Esteves, A. Boubendir, F. GUILLEMIN, P. Sens : “On the Robustness of Controlled Deep Reinforcement Learning for Slice Placement”, Journal of Network and Systems Management, vol. 30 (3), pp. 43, (Springer Verlag) (2022)
• 2021
  • J. Alves Esteves : “Optimization of Network Slice Placement in Distributed Large Scale Infrastructures : From Heuristics to Controlled Deep Reinforcement Learning”, thèse, soutenance 13/12/2021, direction de recherche Sens, Pierre, co-encadrement : Boubendir, Amina, Guillemin, Fabrice (2021)
  • J. Alves Esteves, A. Boubendir, F. GUILLEMIN, P. Sens : “A Heuristically Assisted Deep Reinforcement Learning Approach for Network Slice Placement”, IEEE Transactions on Network and Service Management, (IEEE) (2021)
  • J. Alves Esteves, A. Boubendir, F. GUILLEMIN, P. Sens : “DRL-based Slice Placement Under Non-Stationary Conditions”, CNSM 2021 - 17^th International Conference on Network and Service Management, Izmir, Turkey (2021)
  • J. Alves Esteves, A. Boubendir, F. Guillemin, P. Sens : “DRL-based Slice Placement under Realistic Network Load Conditions”, CNSM 2021 - 17^th International Conference on Network and Service Management, Izmir, Turkey (2021)
• 2020
  • J. Alves Esteves, A. Boubendir, F. Guillemin, P. Sens : “Heuristic for Edge-enabled Network Slicing Optimization using the "Power of Two Choices"”, CNSM 2020 - 16^th International Conference on Network and Service Management, Izmir / Virtual, Turkey (2020)
  • J. Alves Esteves, A. Boubendir, F. Guillemin, P. Sens : “Edge-enabled Optimized Network Slicing in Large Scale Networks”, NoF 2020 - 11^th International Conference on Network of the Future, Bordeaux / Virtual, France (2020)
  • J. Alves Esteves, A. Boubendir, F. Guillemin, P. Sens : “Location-based Data Model for Optimized Network Slice Placement”, NetSoft 2020 - 6^th IEEE International Conference on Network Softwarization, Ghent / Virtual, Belgium, pp. 404-412, (IEEE) (2020)
  • J. Alves Esteves, A. Boubendir, F. Guillemin, P. Sens : “Optimized Network Slicing Proof-of-Concept with Interactive Gaming Use Case”, ICIN 2020 - 23^rd Conference on Innovation in Clouds, Internet and Networks and Workshops, Paris, France, pp. 150-152, (IEEE) (2020)