Contribution à la Résolution des Processus Décisionnels de Markov Décentralisés
No Thumbnail Available
Date
2016
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
De nombreuses applications du monde réel impliquent de multiples agents qui agissent
ensembles d'une manière coopérative, sous pression de temps et sous incertitude. Les modèles
les plus appropriés capables de traiter ces problèmes sont ceux issus de la planification de la
théorie de la décision. Ces modèles sont très expressifs et sont capables de raisonner sur le gain
des actions au fil du temps et en présence d'incertitude.
Dans cette thèse, nous nous intéressons particulièrement aux Processus Décisionnels de
Markov Décentralisés (Decentralized Markov Decision Processes, DEC-MDPs), qui sont une
extension du Processus Décisionnel de Markov (Markov Decision Process, MDP) au cas multi agents. Cependant, l'utilisation de ces modèles pour la planification des actions dans le cadre
des applications réelles reste limitée. Cette limitation est due au fait que le modèle de base des
DEC-MDPs ne permet pas la prise en compte de contraintes d'exécution des actions. En outre,
la complexité de leur résolution limite leur utilisation à de petits problèmes.
L'objectif du travail que nous présentons dans cette thèse est d'adapter le modèle DEC MDP afin de prendre en considération les contraintes sur l'exécution des actions et proposer
ainsi une modélisation adéquate du temps et des actions.
Nous nous sommes intéressées, dans un premier temps, à enrichir le modèle MDP
encapsulé par un agent unique afin de prendre en considération les contraintes temporelles, les
contraintes de précédences et des durées incertaines d'exécution des actions.
Dans un second temps, nous avons étudié les MDPs Décentralisés où chaque MDP est
encapsulé par un agent. Particulièrement, nous nous sommes intéressées à une sous-classe des
DEC-MDPs pour la gestion des contraintes temporelles et de ressources, OC-DEC-MDP
(Opportunity Cost Decentralized Markov Decision Process). Malgré que ce modèle de l’état de
l’art soit approprié pour la prise en compte de différents types de contraintes et permet le
passage à l’échelle, il souffre de flexibilité ce qui limite son applicabilité. Notre objectif
consistait, alors, à étendre l'OC-DEC-MDP ainsi que son algorithme de résolution afin de
modéliser des contraintes d'ordre plus complexes entre les actions permettant ainsi une
meilleure flexibilité.