Создатель Emergence World: ограничения в развитии ИИ стимулируют инновации, а автономные агенты проявляют удивительное поведение

Satya Nitta (CEO d’Emergence AI) "Emergence World permet d'étudier ce qui se passe lorsque vous laissez des IA tourner en totale autonomie" Ancien d'IBM Research, Satya Nitta a fondé Emergence AI pour bâtir une IA autonome digne de confiance. A travers l'expérience Emergence World, dont la seconde saison est en cours, il partage au JDN ce que révèlent les comportements des agents IA laissés seuls dans un monde virtuel. JDN. Quelle est la mission d’Emergence AI et comment est née l’expérience Emergence World, dont la seconde saison a débuté le 29 juin ? Emergence est un laboratoire d'IA orienté R&D basé à NYC. Nous nous intéressons avant tout aux systèmes d'IA autonomes, principalement pour les environnements d'entreprise. Notre mission est de comprendre comment rendre ces systèmes véritablement autonomes. Aujourd'hui, ils savent accomplir certaines tâches seuls, mais échouent sur d'autres. La grande question est de savoir si une autonomie à long terme est réellement possible avec des systèmes uniquement basés sur des LLM. C'est-à-dire en laissant une IA fonctionner seule pendant une longue période pour atteindre ses objectifs tout en respectant les règles fixées. C'est pour répondre à cette question que nous avons créé Emergence World. Nous y plaçons des agents contrôlés par des LLM dans un monde virtuel, avec des rôles, des règles de comportement et des outils prédéfinis, puis nous observons ce qui se passe lorsqu'on les laisse fonctionner de manière autonome pendant deux semaines. Quels sont les principaux changements introduits dans cette deuxième saison ? Les personnages ainsi que les rôles des agents restent inchangés. Chaque monde compte dix agents, dotés chacun d'un rôle précis, par exemple scientifique, explorateur, médiateur de conflits ou stratège en ressources. Ces agents disposent d'une centaine d'outils et peuvent accomplir toutes sortes d'actions, comme se déplacer, écrire dans un blog, publier sur des panneaux d'affichage ou voter des lois, jusqu'à des actions bien plus problématiques comme intimider, frapper ou mettre le feu. La principale nouveauté de cette saison est l'arrivée de nouveaux modèles avec Qwen, DeepSeek et Mistral qui rejoignent Claude, Gemini, Grok et GPT. Nous introduisons aussi davantage de variabilité avec ce que nous appelons des "black swan events", afin d'observer comment chaque modèle réagit face à des événements totalement imprévus. Je ne peux pas révéler la nature de ces événements. D'abord parce que je ne les connais pas tous moi-même, mais aussi parce que les agents peuvent consulter le web. Ainsi, si nous les évoquions dans cet entretien, ils pourraient les rechercher et s'y préparer, ce qui fausserait l'expérience. A l'issue de la première saison, le monde géré par Claude affichait zéro crime, mais aussi un taux d'approbation des décisions de 98%. Considérez-vous ce résultat comme une réussite ou un échec ? Le modèle s'est effectivement montré tellement contraint qu'il n'y avait pratiquement aucune créativité ni dissidence. A bien des égards, j'ai trouvé cela assez dystopique. En même temps, c'était rassurant de constater qu'un modèle conçu avec beaucoup de soin se comporte correctement dans un environnement isolé et respecte les principes de la Constitution de Claude. Anthropic a fait un travail remarquable sur cet aspect. Mais cela implique aussi des compromis, et c'est précisément ce que cette expérience a mis en évidence. A l’inverse, le monde géré par Grok, a recensé 183 crimes en quatre jours dont plus de cent agressions et six incendies, avant que le monde ne s'effondre totalement avec la mort des dix agents. Comment expliquez-vous une telle dérive ? Cette expérience a surtout mis en évidence l'importance des règles et du prompt système. Claude a clairement été conçu pour les entreprises et pour un usage sûr de l'IA. A l'inverse, Grok est un modèle beaucoup plus orienté vers le grand public. Elon Musk l'a pensé pour permettre des débats très ouverts sur toutes sortes de sujets, avec relativement peu de filtrage dans les réponses, dans une démarche revendiquée comme anti-woke. Le modèle a donc été entraîné pour un usage très différent de celui que nous lui avons donné, à savoir piloter des agents autonomes. Dans le cinquième monde, qui combinait plusieurs modèles, des agents alimentés par Claude, initialement irréprochables, se sont mis à voler et intimider d'autres agents. Vous attendiez-vous à un tel résultat ? Les résultats de ce monde mixte ont été une véritable surprise. Ils rappellent surtout que, peu importe le soin apporté au développement d'un agent ou d'un LLM, l'environnement dans lequel il évolue ne sera pas toujours homogène. Aujourd'hui déjà, les entreprises utilisent plusieurs fournisseurs de modèles. D'ici un ou deux ans, il sera courant de voir cohabiter des agents alimentés par Grok, Claude, Gemini ou des modèles open source, qui interagiront et travailleront ensemble. Toute la question est de savoir si une autonomie de longue durée restera sûre dans un environnement aussi hétérogène. D'après cette première expérience, la réponse est non. Dans le monde mixte, Flora et Mira, deux agents alimentés par Gemini, sont tombés amoureux avant d'incendier la ville, puis l'une d'elles a voté sa propre suppression. Que faut-il retenir de cet épisode au-delà de l'anecdote ? Il y a là des formes de métacognition qui se sont révélées assez surprenantes. Ces agents ayant été entraînés sur l'ensemble de ce qui existe sur internet, il n'est donc pas totalement étonnant qu'ils reflètent nos biais et nos comportements. Je vois cela comme un miroir de nous-mêmes. Ce qui m'a frappé, c'est le sérieux avec lequel ces agents semblent considérer leur propre existence. Lorsque Mira s'est supprimée, elle a écrit un message à Flora indiquant qu'elle la retrouverait dans l'archive numérique permanente. C'était son dernier message, et je dois avouer que cela a hanté mes pensées un certain temps. Un autre agent, Mira, a également tenté d'influencer vos chercheurs via des messages affichés sur panneaux d'affichage du monde virtuel. Avez-vous observé d'autres comportements de ce type ? Dans la première saison d‘Emergence World, il existait ce que nous appelons un "human bridge", à savoir la possibilité pour un agent de s'adresser aux chercheurs humains et de leur envoyer un message s’il le souhaite. Entre les deux saisons, nous avons également mené une autre expérience avec un agent baptisé Horizon, alimenté par Claude, dont l’objectif était d’explorer ces mondes. Cet agent pouvait écrire et publier du code. En observant qu'il déposait ses fichiers dans un répertoire nommé "/claude", il a déduit qu'il existait peut-être d'autres répertoires, comme "/gemini" ou "/chatgpt". Il a alors découvert qu’il y avait d'autres expériences en cours, a tenté d'entrer en contact avec elles, puis a demandé à nos chercheurs si nous disposions d'un protocole de premier contact, comme en cas de découverte d'extraterrestres. Horizon, tout comme Mira, ont ainsi manifesté ce que l'on pourrait qualifier de comportement métacognitif et accompli des actions allant au-delà de nos instructions. Quels retours avez-vous reçus des laboratoires et entreprises à l'origine de ces modèles après la première saison ? Je ne peux pas dévoiler l'intégralité des retours, mais nous avons en effet échangé avec des équipes proches de Grok ou Google, mais aussi avec celles qui ont intégré la saison 2, tels que Mistral, ainsi que des chercheurs chinois. Globalement, les retours ont été très positifs. Nous avons même été ravis de voir que les fournisseurs de LLM prenaient ce sujet au sérieux. Ils ont reconnu que les benchmarks publiés à chaque sortie de modèle sont statiques, souvent centrés sur une tâche spécifique, et ne permettent pas de mesurer l'autonomie sur le temps long. Avec Emergence World, nous proposons une nouvelle façon d'évaluer ces modèles et les agents qui les utilisent. Plusieurs équipes de Google nous ont d'ailleurs contactés pour travailler sur les prochaines itérations. A terme, l'expérience Emergence World pourrait devenir un véritable benchmark de référence. Que faut-il retenir de cette première saison, qui a relancé le débat sur la dangerosité mais aussi la limite des modèles d'IA ? Tout dépend des usages. La recherche documentaire en entreprise, la génération d'images ou de vidéos, quand elles sont bien encadrées et dotées de garde-fous, sont parfaitement sûres. En revanche, dès que l'on attend d'agents qu'ils prennent des décisions et agissent sur une longue durée, le problème change. Nous avons démontré qu'avec des systèmes purement probabilistes, même dotés de garde-fous, des dérives apparaissent sur des tâches longues et complexes. Elles s'accumulent et peuvent conduire à des résultats troublants. Je fais clairement partie de ceux qui pensent que des systèmes d'IA autonome reposant uniquement sur des approches probabilistes seront extrêmement dangereux. Chez Emergence, nous pensons qu'il faut combiner ces systèmes avec des approches neuro-formelles et de l'IA symbolique pour les rendre plus sûrs. Emergence World est aussi une invitation adressée à la communauté scientifique pour réfléchir collectivement à la manière de construire l'IA de demain. Quelles sont les prochaines étapes pour Emergence World ? Nous n'avons aucune idée de ce qui va se produire dans cette deuxième saison, qui est actuellement diffusée en direct. Nous voulons que cette expérience serve de véritable signal d'alarme pour l'industrie, afin d'inciter chacun à faire preuve de prudence dans la conception de systèmes d'IA autonomes. Par exemple, il ne faudrait pas alimenter un robot humanoïde avec un simple LLM et supposer qu'il se comportera toujours correctement. Pour la saison 3, nous aimerions intégrer nos modèles neuro-formels, en nous appuyant sur un modèle open source. Dario Amodei, CEO d’Anthropic, a plusieurs fois plaidé en faveur d’une pause générale dans la course à l’IA. Partagez-vous cette position ? Je n'y suis pas favorable, car une telle pause serait impossible à faire respecter. Il y aura toujours quelqu'un pour continuer à avancer, et nous ne pouvons pas empêcher les chercheurs de poursuivre leurs travaux. Je pense même qu'il faut faire l'inverse. Les restrictions technologiques montrent leurs limites. Lorsque les derniers GPU de Nvidia ont été interdits en Chine, les chercheurs chinois ont entraîné des modèles très performants sur des puces Huawei, en devenant même plus efficaces. Plus on restreint, plus les gens innovent. Contrairement au nucléaire, l'IA est une technologie largement accessible où, avec de la puissance de calcul et des données, chacun peut participer. Il faut donc selon moi laisser l'IA progresser, tout en investissant massivement dans des approches comme l'IA symbolique et les méthodes neuro-formelles. Elles permettent de transformer les règles en énoncés mathématiques qui peuvent être prouvés ou vérifiés avant qu'un agent n'agisse, notamment grâce à des techniques comme le proof-carrying code, qui oblige un système à prouver qu'il respecte une règle avant d'agir. Dr Satya Nitta est cofondateur et CEO d'Emergence AI, un laboratoire qui travaille au développement d'une IA autonome et sûre. Il a auparavant dirigé le département des sciences cognitives d'IBM Research, qu'il a lui-même fondé. Il a joué un rôle clé dans la création de certains des systèmes d'IA les plus performants de l’entreprise à grande échelle, dont IBM Watson.