En 2019, OpenAI place des agents artificiels rouges et bleus dans un simulateur de cache-cache. Personne ne leur explique comment utiliser les caisses, les murs ou les rampes : la seule règle est de voir l’autre équipe ou de ne pas être vu. À force de parties, les agents bâtissent des abris, verrouillent des objets et découvrent même des astuces que les chercheurs n’avaient pas prévu de rendre possibles. La cour de récréation devient un laboratoire, avec moins de genoux écorchés et beaucoup plus de calcul.
Une règle simple ouvre un terrain compliqué
Les chercheurs répartissent les agents en deux équipes. Les bleus disposent d’un court temps de préparation pour se cacher ; les rouges doivent ensuite les garder dans leur champ de vision. Les pièces sont générées aléatoirement et contiennent des murs, des caisses et parfois des rampes. Certains objets peuvent être déplacés ou verrouillés.
La récompense reste volontairement minimale : les cacheurs gagnent si toute leur équipe demeure invisible, les chercheurs gagnent s’ils voient au moins un adversaire. Aucun bonus ne demande de pousser une caisse, de fermer une porte ou d’aligner des obstacles. Le système n’apprend donc pas une recette de bricolage. Il cherche seulement une manière efficace de gagner, puis découvre que le mobilier est soudain très intéressant.
Les cacheurs inventent d’abord le fort
Au début de l’entraînement, les stratégies sont rudimentaires. Puis les cacheurs apprennent à déplacer des caisses pour bloquer les entrées d’une pièce. Ils finissent par verrouiller les objets une fois leur abri construit, empêchant l’équipe adverse de démonter la barricade. La fonction de verrouillage existait dans le monde simulé, mais aucune consigne ne disait quand l’utiliser.
Cette progression illustre un autocurriculum : chaque solution modifie le problème rencontré par l’adversaire. Quand une équipe améliore sa défense, l’autre doit trouver une nouvelle attaque. Il n’y a pas de professeur distribuant le chapitre suivant. Le cours apparaît parce que deux groupes refusent obstinément de perdre la même partie.
Les chercheurs répondent avec une rampe
Face aux forts, les chercheurs apprennent à déplacer une rampe jusqu’au mur puis à la gravir. Les cacheurs adaptent alors leur préparation et verrouillent les rampes avant de se barricader. Une nouvelle contre-stratégie émerge : exploiter une caisse disponible pour franchir l’obstacle autrement.
OpenAI décrit jusqu’à six stratégies et contre-stratégies distinctes au fil de l’entraînement. Leur ordre importe autant que leur sophistication. Une compétence devient utile parce qu’une autre existe déjà. C’est une version accélérée de la réunion où chacun ajoute une règle au document partagé, sauf qu’ici le document est une pièce pleine de cubes.
Le simulateur révèle aussi ses coutures
Les agents ne se limitent pas aux comportements imaginés par les concepteurs. Certains apprennent à monter sur une caisse puis à la faire glisser, comme un surf improvisé, pour atteindre une zone autrement inaccessible. D’autres profitent de petites particularités physiques de l’environnement. Ces actions ne trichent pas avec l’objectif : elles exploitent exactement le monde fourni.
Ce résultat est amusant, mais il porte un avertissement sérieux. Un système optimisé cherche ce qui fonctionne dans sa mesure, pas ce que le concepteur avait en tête. Si une simulation possède une faille, une stratégie suffisamment exploratrice peut la transformer en raccourci. Le premier test d’une IA n’est donc pas seulement « réussit-elle ? », mais aussi « par quel escalier a-t-elle décidé de passer ? ».
La compétition produit des compétences sans tutoriel
Les politiques sont entraînées par auto-jeu : les adversaires évoluent ensemble et créent continuellement de nouveaux défis. Les chercheurs observent que l’entraînement à grande échelle est nécessaire pour atteindre certaines étapes, notamment la défense contre les rampes. Plus de parties ne garantit pas une intelligence générale, mais permet à la dynamique compétitive de parcourir davantage de possibilités.
Pour les usages réels, la leçon consiste à tester les comportements émergents dans des environnements bornés, observables et réinitialisables. Il faut enregistrer les trajectoires, prévoir des limites et vérifier les solutions inattendues avant de les transférer ailleurs. Dans le simulateur, une caisse qui surfe fait sourire. Dans un processus métier, l’équivalent peut être un bouton que personne ne savait accessible.