Supervision : Patrice PERNY

Modèles qualitatifs et approches algébriques pour la décision dans l'incertain : fondements axiomatiques et application à la décision séquentielle

Cette thèse s'intéresse aux problèmes de décision dans l'incertain. Dans de tels problèmes, un agent cherche à réaliser un choix en adéquation avec ses préférences et les informations dont il dispose. L'approche classique pour la résolution de ces problèmes repose sur le modèle de l'utilité espérée (EU) qui s'appuie sur une représentation cardinale des préférences par une fonction d'utilité et une représentation probabiliste de l'incertain. On suppose de plus une décomposition additive des utilités dans le cas de la décision séquentielle. Ce modèle connaît cependant quelques limites, notamment opérationnelles du fait du niveau d'information qu'il requiert. De plus, pour certains problèmes en décision séquentielle, la décomposition additive n'est pas toujours pertinente. Dans cette thèse, nous étudions des alternatives à l'approche classique, notamment les modèles qualitatifs pour la prise de décision dans des situations d'information pauvre. Nous étudions ainsi le modèle de l'utilité binaire possibiliste et proposons un raffinement de ce critère pour accroître son pouvoir de discrimination. De plus, en adoptant une démarche algébrique, nous étudions d'une part, les contreparties de EU dans des représentations non probabilistes de l'incertain et d'autre part, l'admissibilité d'un algorithme d'induction arrière pour des structures de préférence non classique en décision séquentielle. Modèles qualitatifs et approches algébriques pour la décision dans l'incertain : fondements axiomatiques et application à la décision séquentielle

Two past PhD students (2015 - 2017) at Sorbonne University

2004-2018 Publications

• 2018
  • E. Hadoux, A. Beynier, N. Maudet, P. Weng : “Mediation of Debates with Dynamic Argumentative Behaviors”, Computational Models of Argument, vol. 305, Frontiers in Artificial Intelligence and Applications, Warsaw, Poland, pp. 249-256 (2018)
• 2017
  • V. Nguyen, P. Weng : “An Efficient Primal-Dual Algorithm for Fair Combinatorial Optimization Problems”, The 11^th Annual International Conference on Combinatorial Optimization and Applications (COCOA'17), Shanghai, China (2017)
  • P. Weng, O. Spanjaard : “Functional Reward Markov Decision Processes: Theory and Applications”, International Journal on Artificial Intelligence Tools, vol. 26 (03), (World Scientific Publishing) (2017)
• 2016
  • O. Spanjaard, P. Weng : “Single-peakedness Based on the Net Preference Matrix: Characterization and Algorithms”, 6^th International Workshop on Computational Social Choice (COMSOC-2016), Toulouse, France (2016)
  • H. Gilbert, B. Zanuttini, P. Viappiani, P. Weng, E. Nicart : “Model-Free Reinforcement Learning with Skew-Symmetric Bilinear Utilities”, Proc. 32^nd Conference on Uncertainty in Artificial Intelligence (UAI~2016), New York City, United States (2016)
• 2015
  • H. Gilbert, O. Spanjaard, P. Viappiani, P. Weng : “Reducing the Number of Queries in Interactive Value Iteration”, 4^th International Conference on Algorithmic Decision Theory (ADT 2015), vol. 9346, Lecture Notes in Computer Science, Lexington, KY, United States, pp. 139-152, (Springer) (2015)
  • E. Hadoux, A. Beynier, N. Maudet, P. Weng, A. Hunter : “Optimization of Probabilistic Argumentation With Markov Decision Models”, International Joint Conference on Artificial Intelligence, Buenos Aires, Argentina (2015)
  • H. Gilbert, O. Spanjaard, P. Viappiani, P. Weng : “Solving MDPs with Skew Symmetric Bilinear Utility Functions”, 24^th International Joint Conference on Artificial Intelligence (IJCAI-15), Buenos Aires, Argentina, pp. 1989-1995 (2015)
  • O. Spanjaard, P. Weng : “Préférences unimodales fondées sur la matrice des préférences nettes : caractérisation et étude expérimentale”, 16^e congrès annuel de la Société française de recherche opérationnelle et d’aide à la décision (ROADEF), Marseille, France (2015)
  • H. Gilbert, O. Spanjaard, P. Viappiani, P. Weng : “Processus décisionnels de Markov avec un tournoi valué sur les politiques”, 16^e congrès annuel de la Société française de recherche opérationnelle et d’aide à la décision (ROADEF), Marseille, France (2015)
• 2014
  • R. Busa‑Fekete, B. Szörényi, P. Weng, W. Cheng, E. Hullermeier : “Preference-based reinforcement learning: evolutionary direct policy search using a preference-based racing algorithm”, Machine Learning, vol. 97 (3), pp. 327-351, (Springer Verlag) (2014)
  • E. Hadoux, A. Beynier, P. Weng : “Sequential Decision-Making under Non-stationary Environments via Sequential Change-point Detection”, Learning over Multiple Contexts (LMCE), Nancy, France (2014)
  • E. Hadoux, A. Beynier, P. Weng : “Solving Hidden-Semi-Markov-Mode Markov Decision Problems”, AAMAS Workshop Adaptative Learning Agents, ALA 2014, Paris, France (2014)
  • M. Zimmer, P. Viappiani, P. Weng : “Teacher-Student Framework: a Reinforcement Learning Approach”, AAMAS Workshop Autonomous Robots and Multirobot Systems, Paris, France (2014)
  • E. Hadoux, A. Beynier, P. Weng : “Prise de décision séquentielle en environnements incertains et non stationnaires”, ROADEF - 15^e congrès annuel de la Société française de recherche opérationnelle et d'aide à la décision, Bordeaux, France (2014)
  • E. Hadoux, A. Beynier, P. Weng : “Solving Hidden-Semi-Markov-Mode Markov Decision Problems”, Scalable Uncertainty Management, vol. 8720, Lecture Notes in Computer Science, Oxford, United Kingdom, pp. 176-189, (Springer International Publishing) (2014)
• 2013
  • P. Weng : “Axiomatic Foundations of Generalized Qualitative Utility”, 7^th Multi-Disciplinary International Workshop on Artificial Intelligence, MIWAI 2013, vol. 8271, Lecture Notes in Artificial Intelligence, Krabi, Thailand, pp. 305-316, (Springer) (2013)
  • O. Spanjaard, P. Weng : “Markov Decision Processes with Functional Rewards”, 7^th Multi-Disciplinary International Workshop on Artificial Intelligence, MIWAI 2013, vol. 8271, Lecture Notes in Computer Science, Krabi, Thailand, pp. 269-280, (Springer) (2013)
  • W. Ogryczak, P. Perny, P. Weng : “A Compromise Programming Approach to Multiobjective Markov Decision Processes”, International Journal of Information Technology and Decision Making, vol. 12 (5), pp. 1021-1053, (World Scientific Publishing) (2013)
  • P. Perny, P. Weng, J. Goldsmith, J. Hanna : “Approximation of Lorenz-Optimal Solutions in Multiobjective Markov Decision Processes”, Conference on Uncertainty in Artificial Intelligence, UAI 2013, Bellevue, Washington, United States, pp. id 208 (2013)
  • V. Nguyen, P. Weng : “A primal-dual approach for optimizing Ordered Weighted Average in perfect matching problems”, International Conference on Multicriteria Decision Making, Malaga, Spain, pp. 88-88 (2013)
  • R. Busa‑Fekete, B. Szörényi, P. Weng, W. Cheng, E. Hullermeier : “Top-k Selection based on Adaptive Sampling of Noisy Preferences”, International Conference on Machine Learning, Atlanta, Georgia, United States, pp. 1094-1102 (2013)
  • R. Busa‑Fekete, B. Szörényi, P. Weng, W. Cheng, E. Hullermeier : “Preference-based Evolutionary Direct Policy Search”, ICRA Autonomous Learning Workshop, Karlsruhe, Germany (2013)
  • E. Hadoux, A. Beynier, P. Weng : “Apprentissage de politique par minimisation de regret”, 14^e Congrès de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF 2013), Troyes, France (2013)
  • V. Nguyen, P. Weng : “Optimisation non linéaire dans les problèmes de couplage”, 14^e Congrès de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF 2013), Troyes, France (2013)
  • P. Weng, B. Zanuttini : “Interactive Value Iteration for Markov Decision Processes with Unknown Rewards”, IJCAI '13 - Twenty-Third international joint conference on Artificial Intelligence, Beijing, China, pp. 2415-2421, (AAAI Press) (2013)
• 2012
  • W. Ogryczak, P. Perny, P. Weng : “On WOWA Rank Reversal”, International Conference on Modelling Decisions for Artificial Intelligence, vol. 7647, Lecture Notes in Computer Science, Girona, Catalonia, Spain, pp. 66-77, (Springer) (2012)
  • P. Weng : “Ordinal Decision Models for Markov Decision Processes”, European Conference on Artificial Intelligence, vol. 242, Frontiers in Artificial Intelligence and Applications, Montpellier, France, pp. 828-833, (IOS Press) (2012)
• 2011
  • Ch. Delort, O. Spanjaard, P. Weng : “Committee Selection with a Weight Constraint Based on a Pairwise Dominance Relation”, 2^nd International Conference on Algorithmic Decision Theory (ADT'11), vol. 6992, Lecture Notes in Artificial Intelligence, Piscataway, NJ, United States, pp. 28-41, (Springer) (2011)
  • W. Ogryczak, P. Perny, P. Weng : “On Minimizing Ordered Weighted Regrets in Multiobjective Markov Decision Processes”, 2^nd International Conference on Algorithmic Decision Theory (ADT'11), vol. 6992, Lecture Notes in Computer Science, Piscataway, NJ, United States, pp. 190-204, (Springer) (2011)
  • W. Ogryczak, P. Perny, P. Weng : “A Compromise Programming Approach to Multiobjective Markov Decision Processes”, International Conference on Multicriteria Decision Making, Jyvaskyla, Finland, pp. 167-167 (2011)
  • Ch. Delort, O. Spanjaard, P. Weng : “Sélection d’un comité fondée sur une classification ordinale des individus”, 12^e Congrès de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF 2011), Saint-Etienne, France (2011)
  • P. Weng : “Markov Decision Processes with Ordinal Rewards: Reference Point-Based Preferences”, International Conference on Automated Planning and Scheduling, vol. 21, Freiburg, Germany, pp. 282-289 (2011)
• 2010
  • P. Perny, P. Weng : “On finding compromise solutions in multiobjective Markov decision processes”, European Conference on Artificial Intelligence Multidisciplinary Workshop on Advances in Preference Handling, Lisbon, Portugal, pp. 969-970, (IOS Press) (2010)
  • P. Weng : “Politiques de meilleur compromis dans les processus décisionnels de Markov multicritères”, 11^e Congrès de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF 2010), Toulouse, France (2010)
  • M. Boussard, M. Bouzid, A.‑I. Mouaddib, R. Sabbadin, P. Weng : “Non-Standard Criteria”, chapter in Markov Decision Processes in Artificial Intelligence, pp. 319-359, (Wiley), (ISBN: 978-1-84821-167-4) (2010)
  • P. Weng : “Processus Décisionnels de Markov : des récompenses ordinales au multicritère”, Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, vol. 24 (4), pp. 505-524, (Lavoisier) (2010)
• 2008
  • M. Boussard, M. Bouzid, A.‑I. Mouaddib, R. Sabbadin, P. Weng : “Critères non classiques”, chapitre de Processus décisionnels de Markov en intelligence artificielle, Informatique et systèmes d'information, pp. 179-218, (Hermès Lavoisier), (ISBN: 978-2-7462-2057-7) (2008)
• 2007
  • P. Weng : “Conditions générales pour l’admissibilité de la programmation dynamique dans la décision séquentielle possibiliste”, Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, vol. 21 (1), pp. 129-143, (Lavoisier) (2007)
• 2006
  • P. Weng : “Modèles qualitatifs et approches algébriques pour la décision dans l’incertain : fondements axiomatiques et application à la décision séquentielle”, thesis, phd defence 12/12/2006, supervision Perny, Patrice (2006)
  • P. Weng : “An Axiomatic Approach to Qualitative Decision Theory with Binary Possibilistic Utility”, 17^th European Conference on Artificial Intelligence, vol. 141, Frontiers in Artificial Intelligence and Applications, Riva del Garda, Italy, pp. 467-471, (IOS Press) (2006)
  • P. Weng : “Axiomatic Foundations for a Class of Generalized Expected Utility: Algebraic Expected Utility”, International Conference on Uncertainty in Artificial Intelligence, vol. 22, Massachusetts Institute of Technology, Cambridge, MA, United States, pp. 520-527, (AUAI Press) (2006)
  • P. Weng : “Fondations axiomatiques d’une classe d’utilité espérée généralisée : l’utilité espérée algébrique”, Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la Conduite de Systèmes, Toulouse, France, pp. 73-80 (2006)
  • P. Weng : “Processus de Décision Markoviens et préférences non classiques”, Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, vol. 20 (2), pp. 411-432, (Lavoisier) (2006)
• 2005
  • P. Perny, O. Spanjaard, P. Weng : “Algebraic Markov Decision Processes”, 19^th International Joint Conference on Artificial Intelligence, Edinburgh, United Kingdom, pp. 1372-1377 (2005)
  • P. Weng : “Qualitative Decision-Making Under Possibilistic Uncertainty: Toward More Discriminating Criteria”, UAI 2005 - 21^st International Conference on Uncertainty in Artificial Intelligence, Edinburgh, United Kingdom, pp. 615-622, (AUAI Press) (2005)
  • P. Weng : “Décision séquentielle dans l’incertain possibiliste”, Journées des Processus de Décision Markoviens et Intelligence Artificielle, Villeneuve d'Ascq, France (2005)
• 2004
  • P. Weng : “Exploiting non-standard preference structures in Markov Decision Processes”, 16^th European Conference on Artificial Intelligence Workshop Multi-Agent Decision Processes: Theories and Models, Valencia, Spain, pp. 34-40 (2004)
  • P. Weng : “Processus de Décision Markoviens en présence de préférences non classiques”, Francoro IV, Fribourg, Switzerland, pp. 111-111 (2004)