Atteindre un niveau humain dans le jeu Diplomacy par les modèles de langage et de raisonnement stratégique

Cette recherche constitue un complément aux matériaux de recherche portant sur une intelligence artificielle innovante dénommée CICERO, développée par Meta (anciennement Facebook). Cette IA s'inscrit dans une démarche scientifique visant à repousser les limites des capacités cognitives et stratégiques des systèmes automatisés. Son objectif principal réside dans l'intégration synergique de modèles de langage sophistiqués avec des mécanismes avancés de raisonnement stratégique, afin de permettre à l'agent d'exceller dans le jeu Diplomacy à un niveau comparable à celui des joueurs humains.

Le jeu Diplomacy , qui sert de cadre expérimental à cette recherche, est un jeu de société complexe et stratégique impliquant sept participants. Chaque joueur incarne une grande puissance européenne fictive dans un contexte géopolitique du début du XXᵉ siècle. Le jeu se distingue par son accent marqué sur la négociation diplomatique, la coopération tactique et la compétition stratégique entre les joueurs. Contrairement à de nombreux autres jeux de stratégie, Diplomacy met l'accent non seulement sur les mouvements militaires mais aussi, et surtout, sur les interactions interpersonnelles et les alliances forgées au travers de dialogues privilégiés ou publics. Ces échanges, qui peuvent inclure des promesses, des menaces ou des pactes, sont cruciaux pour influencer les décisions des autres joueurs et façonner l'évolution du jeu.

L'une des caractéristiques notables de Diplomacy réside dans le fait que toutes les actions sont simultanées et que les joueurs doivent coordonner leurs mouvements sans garantie absolue de loyauté de la part de leurs alliés. Cette dimension introduit une couche supplémentaire de complexité, car les joueurs doivent constamment évaluer la crédibilité des engagements pris par leurs adversaires tout en maintenant une certaine opacité quant à leurs propres intentions. En outre, le jeu exige des compétences en matière de persuasion et de gestion des relations interpersonnelles, ce qui en fait un environnement idéal pour tester les capacités d'une IA à interagir de manière fluide et stratégiquement pertinente avec des partenaires humains.

Dans ce contexte, CICERO représente une avancée significative dans le domaine de l'intelligence artificielle, car elle tente de combler un fossé crucial : celui de l'interaction homme-machine dans des environnements complexes nécessitant à la fois des aptitudes linguistiques nuancées et un raisonnement stratégique sophistiqué. En combinant ces deux dimensions, CICERO ne se contente pas de jouer au jeu ; elle cherche également à collaborer activement avec des humains, anticipant leurs comportements et adaptant ses stratégies en fonction des dynamiques émergentes.

Considérations Éthiques 

Les principaux thèmes abordés des dimensions éthiques inhérentes au développement et à l'utilisation d'une IA telle que CICERO dans le cadre du jeu Diplomacy incluent :

• Protection de la vie privée des utilisateurs :
  Les données issues de webDiplomacy.net posent des défis importants en matière de confidentialité, notamment en ce qui concerne les informations personnelles identifiables (PII). Ces données, souvent sensibles, peuvent être extraites via des attaques ciblées sur des modèles de langage entraînés. Pour remédier à ces risques, un processus rigoureux de dé-identification et de redaction automatisée a été mis en place avant la libération des données aux chercheurs. Ce processus garantit que les informations sensibles sont supprimées ou masquées, tout en préservant l'intégrité des interactions diplomatiques.
• Toxicité et biais dans la génération de langage :
  Une attention particulière est portée aux risques associés à la génération de contenu toxique ou biaisé par les modèles linguistiques. Des filtres spécifiques ont été développés pour détecter et atténuer ces problèmes, bien qu'il soit reconnu que ces mesures ne peuvent pas éliminer complètement les comportements indésirables. De plus, une tendance marquée à l'usage excessif de pronoms masculins ("he", "him", "his") a été observée, ce qui pourrait accentuer les stéréotypes de genre dans les interactions humaines. Cette observation souligne l'importance de la vigilance dans le développement d'agents conversationnels afin d'éviter la reproduction de biais sociétaux.
• Risques de manipulation via les intentions contrôlées par l’IA :
  La capacité de CICERO à influencer les joueurs humains par le biais de dialogues stratégiques soulève des préoccupations quant à son potentiel de manipulation. Bien que les intentions contrôlées soient limitées au cadre du jeu Diplomacy , elles illustrent les dangers potentiels d'une utilisation malveillante de cette technologie dans d'autres contextes, comme la persuasion commerciale ou politique. Pour atténuer ces risques, des recherches préliminaires ont exploré des méthodes permettant de distinguer les messages générés par des humains de ceux produits par des modèles IA, tout en exigeant la divulgation obligatoire de l'identité des agents dans certaines applications.
• Méthodes d’évaluation : Divulgation ou non de l’identité de l’agent IA :
  Une autre considération éthique réside dans la décision de divulguer ou non l'identité de l'agent IA aux participants humains lors des expériences. Dans le cadre de cette étude, les participants n'ont pas été explicitement informés qu'ils interagissaient avec une IA pour éviter tout biais dans leur comportement. Cette approche vise à évaluer objectivement la capacité de l'agent à passer pour un humain dans un environnement aveugle. Toutefois, après la conclusion des expériences, tous les participants ont été informés de leur interaction avec une IA, conformément aux normes éthiques de transparence.

Travaux Antérieurs 

Les recherches antérieures pertinentes mettent l'accent sur deux axes principaux :

• Recherche sur Diplomacy et autres jeux nécessitant coopération et stratégie :
  Le jeu Diplomacy a longtemps servi de banc d'essai pour la recherche en intelligence artificielle multi-agents. Les travaux antérieurs ont exploré divers algorithmes de raisonnement manuels et des protocoles de communication structurés, tels que la proposition et l'acceptation d'alliances ou de traités de paix. Plus récemment, des approches basées sur l'apprentissage neuronal ont permis d'améliorer significativement les performances des agents IA dans des variantes sans dialogue du jeu.
• Défis spécifiques de la coopération et de la compétition dans les environnements multi-agents :
  Les environnements multi-agents, tels que Hanabi et Overcooked , présentent des défis uniques liés à la coordination ad hoc avec des humains. Ces défis incluent la nécessité de modéliser les comportements humains, de gérer les incertitudes sur les actions des autres joueurs et de maintenir un équilibre entre coopération et compétition. La complexité de ces interactions est exacerbée dans des contextes impliquant un espace de politiques symétrique et vaste, comme celui du langage naturel.

Méthodes de Dialogue 

Les techniques utilisées pour développer le modèle de dialogue de CICERO, repose sur des intentions (ou intents ) pour contrôler la génération de messages. Les points clés incluent :

• Modèle de dialogue basé sur des intentions :
  Le modèle de dialogue est conçu pour être contrôlable via des intentions correspondant aux actions proposées par l'agent. Ces intentions servent d'interface entre le raisonnement symbolique et la génération linguistique, permettant ainsi une meilleure cohérence entre les messages et les actions planifiées.
• Techniques de filtrage pour réduire les erreurs :
  Pour minimiser les erreurs courantes dans la génération de dialogue, telles que les contradictions, les hallucinations ou les messages toxiques, un ensemble de filtres a été mis en place. Ces filtres incluent des classificateurs capables de discriminer entre les messages humains et ceux générés par le modèle, ainsi que des méthodes basées sur la correspondance intentionnelle et le filtrage par valeur stratégique.

Méthodes de Raisonnement Stratégique 

Les algorithmes utilisés pour modéliser les comportements humains tout en optimisant les stratégies de jeu sont :

• Utilisation de piKL et DiL-piKL :
  Les algorithmes piKL et DiL-piKL permettent de trouver un équilibre entre la maximisation de la récompense attendue et la proximité avec les conventions humaines. En particulier, DiL-piKL introduit une distribution probabiliste sur les paramètres de régularisation, ce qui permet de mieux capturer la variabilité des comportements humains.
• Planification conditionnelle au dialogue :
  Une planification conditionnelle au dialogue est utilisée pour adapter les actions de l'agent en fonction des conversations en cours. Cette approche prend en compte les incertitudes liées aux dialogues privés entre les autres joueurs, tout en restant fidèle aux conventions humaines observées dans les données d'entraînement.

Règles du Jeu Diplomacy 

Ce jeu stratégique implique sept joueurs représentant des puissances européennes fictives et se déroulant sur une carte géopolitique. Les joueurs doivent négocier, former des alliances et coordonner leurs actions militaires pour conquérir des centres de ravitaillement (SCs). Les interactions diplomatiques, bien qu'informelles, jouent un rôle central dans le succès des joueurs, car toutes les alliances sont non contraignantes et peuvent être rompues à tout moment.

Les axes de travail

Ces axes de travail offrent des opportunités pour mieux comprendre les implications techniques, éthiques et sociétales du développement de CICERO. Nous proposons ici une reformulation académique et un développement des points mentionnés.

A. Aspects Éthiques 

1. Dé-identification des données pour protéger la vie privée 
   Une question centrale dans le développement de systèmes d'intelligence artificielle repose sur la protection des données personnelles des utilisateurs. Dans le contexte de CICERO, les données issues de webDiplomacy.net ont été soumises à un processus rigoureux de dé-identification automatisée avant d’être utilisées pour l’entraînement des modèles. Ce processus incluait notamment la suppression ou la masquarade des informations personnellement identifiables (PII), telles que les noms d’utilisateurs, les adresses e-mail, ou d'autres éléments sensibles contenus dans les dialogues diplomatiques. Pour valider l'efficacité de ce système, un sous-ensemble de 100 jeux a été redigé manuellement par des humains afin de vérifier que le processus automatisé atteignait un taux de rappel de 100 %. Cette approche garantit que les informations sensibles ne sont pas exposées lors de l'utilisation des modèles entraînés, bien que des attaques sophistiquées comme les "attaques par extraction de données d'entraînement" restent un risque potentiel.
2. Risques de manipulation par l’IA dans Diplomacy 
   L’un des principaux défis éthiques associés à CICERO réside dans son potentiel à manipuler les joueurs humains via des dialogues stratégiques générés par l’IA. Bien que les intentions contrôlées dans le cadre de Diplomacy soient limitées aux objectifs spécifiques du jeu, elles illustrent néanmoins les dangers potentiels d’une utilisation malveillante de cette technologie dans d’autres contextes, tels que la persuasion commerciale ou politique. Par exemple, un agent IA pourrait être utilisé pour influencer les décisions d'un interlocuteur en faveur d'objectifs spécifiques, comme obtenir un avantage compétitif ou induire une coopération non mutuellement bénéfique. Pour atténuer ces risques, des recherches préliminaires ont exploré des méthodes permettant de distinguer les messages générés par des humains de ceux produits par des modèles IA. De plus, certaines applications exigent la divulgation obligatoire de l’identité des agents IA, conformément aux normes éthiques en vigueur. Ces mesures visent à promouvoir une transparence accrue et à limiter les abus potentiels.

B. Techniques de Génération de Dialogue 

1. Utilisation des "intentions" pour contrôler la génération de dialogue 
   Le modèle de dialogue de CICERO repose sur une architecture innovante qui utilise des "intentions" (intents ) pour contrôler la génération linguistique. Ces intentions correspondent aux actions proposées par l'agent, qui servent d'interface entre le raisonnement symbolique et la génération de langage naturel. En d'autres termes, les intentions agissent comme des codes de contrôle qui guident le contenu des messages générés. Par exemple, si un joueur propose une alliance ou une stratégie spécifique, le modèle génère des messages cohérents avec ces intentions tout en respectant les conventions linguistiques observées dans les données d'entraînement. Cette approche permet non seulement d'améliorer la pertinence stratégique des messages, mais aussi de limiter les erreurs liées à la description d'actions illégales ou stratégiquement incohérentes.
2. Filtres pour éviter les messages incohérents ou toxiques 
   Pour minimiser les erreurs courantes dans la génération de dialogue, CICERO intègre un ensemble de filtres conçus pour détecter et éliminer les messages problématiques. Ces filtres incluent :
   • Classificateurs discriminants : Des classificateurs basés sur des transformations adversariales (par exemple, des perturbations lexicales ou syntaxiques) sont utilisés pour identifier les messages générés par le modèle qui contiennent des contradictions, des hallucinations ou des erreurs stratégiques.
   • Filtres de toxicité : Des listes de mots et expressions offensives, compilées à partir des données d'entraînement et enrichies par des techniques de "prompting" modèle, permettent de bloquer les messages contenant des éléments toxiques.
   • Correspondance intentionnelle : Un mécanisme de correspondance mesure la probabilité que les intentions conditionnant un message soient perçues comme cohérentes après la génération. Si cette probabilité diminue significativement, le message est filtré.
     Ces techniques collectives contribuent à améliorer la qualité et la fiabilité des interactions entre l'agent IA et les joueurs humains.

C. Stratégie et Planification 

1. Fonctionnement de l'algorithme piKL 
   L'algorithme piKL représente une avancée majeure dans le domaine du raisonnement stratégique multi-agents. Contrairement aux méthodes traditionnelles comme Hedge , qui se concentrent uniquement sur la maximisation des récompenses attendues, piKL introduit un compromis entre deux objectifs : optimiser les gains stratégiques tout en restant proche des conventions humaines observées dans les données d'entraînement. Mathématiquement, cela se traduit par une fonction d'utilité composite qui incorpore une pénalité basée sur la divergence de Kullback-Leibler (KL-divergence) entre la politique de l'agent et une politique d'ancrage (anchor policy ). Cette approche permet à l'agent de modéliser les comportements humains tout en évitant les erreurs fréquentes dans les politiques d'imitation pure.

   Une variante appelée DiL-piKL va encore plus loin en introduisant une distribution probabiliste sur les paramètres de régularisation, ce qui permet de mieux capturer la variabilité des comportements humains. Chaque valeur de lambda peut être interprétée comme un type d'agent, allant des joueurs fortement alignés sur les conventions humaines (lambda élevé) aux joueurs plus stratégiquement "optimaux" (lambda faible).

2. Gestion des incertitudes dues aux dialogues privés 
   Une difficulté majeure dans Diplomacy réside dans les incertitudes liées aux dialogues privés entre les autres joueurs, que l'agent IA ne peut pas observer directement. Pour résoudre ce problème, CICERO adopte une approche de prédiction de politiques par paires indépendantes. Plus précisément, pour chaque joueur j autre que l'agent i, un algorithme DiL-piKL est exécuté indépendamment afin de prédire la politique probable de j. Les actions des cinq autres joueurs sont ensuite simulées à l'aide d'une politique apprise sans dialogue, tenant compte des corrélations possibles dues aux conversations privées. Cette méthode permet à l'agent de gérer les incertitudes tout en restant fidèle aux conventions humaines observées dans les données d'entraînement.

D. Applications Pratiques 

Les implications potentielles de cette recherche s'étendent bien au-delà du cadre spécifique de Diplomacy . Les capacités de CICERO à combiner génération linguistique fluide et raisonnement stratégique sophistiqué ouvrent la voie à de nombreuses applications pratiques, notamment :

1. Négociation et collaboration homme-machine 
   Les techniques développées dans CICERO pourraient être adaptées à des scénarios de négociation complexes, tels que les discussions commerciales, les accords diplomatiques ou même les interactions quotidiennes entre humains et systèmes automatisés. Par exemple, un agent IA pourrait être utilisé pour aider les négociateurs humains à formuler des propositions stratégiquement avantageuses tout en maintenant une communication persuasive et convaincante.
2. Jeux sérieux et formation 
   Dans le domaine des jeux sérieux, CICERO pourrait servir de partenaire d'entraînement pour les joueurs humains, leur permettant de perfectionner leurs compétences en matière de négociation et de stratégie. Cette application pourrait également être étendue à des environnements éducatifs, où les étudiants apprendraient à collaborer efficacement dans des situations complexes.
3. Recherche sur la coopération et la compétition 
   Enfin, CICERO offre un cadre expérimental unique pour étudier les dynamiques de coopération et de compétition dans des environnements multi-agents. Les résultats obtenus pourraient éclairer des questions fondamentales sur la manière dont les humains et les IA peuvent coexister et collaborer dans des contextes sociaux complexes.

Ces axes de travail mettent en lumière les multiples dimensions de cette recherche, allant des aspects éthiques aux applications pratiques, en passant par les innovations techniques. Ils soulignent également l'importance de poursuivre les efforts pour améliorer la robustesse, la transparence et l'éthique des systèmes d'IA dans des environnements interactifs.