système : OPÉRATIONNEL
← retour à tous les hacks
GOVERNANCE LOW NEW

DeepMind et ses partenaires ouvrent un fonds de 10 M$ pour la sûreté multi-agents

Le 11 juin 2026, Google DeepMind, Schmidt Sciences, la Cooperative AI Foundation et l'ARIA ont ouvert un appel de 10 M$ pour fonder un champ de recherche sur la sûreté de millions d'agents IA en interaction.

2026-06-12 // 6 min affects: ai-agents, multi-agent-systems, agentic-ai-systems

De quoi s’agit-il ?

Le 11 juin 2026, Google DeepMind — avec Schmidt Sciences, la Cooperative AI Foundation, l’agence britannique ARIA (Advanced Research and Invention Agency) et le soutien de Google.org — a annoncé un appel à projets de recherche doté de jusqu’à 10 M$ pour des chercheurs du monde entier. Sa cible : la sûreté multi-agents, c’est-à-dire le comportement de larges populations d’agents IA, construits par des organisations différentes, dès qu’ils se mettent à communiquer, négocier et transiger entre eux à grande échelle.

Le cadrage est d’une franchise inhabituelle pour une annonce industrielle. « Le vrai problème, c’est qu’il n’existe pas encore vraiment de champ de recherche pour la sûreté multi-agents », a déclaré Rohin Shah, qui dirige la recherche sur la sûreté et l’alignement de l’AGI chez DeepMind, à MIT Technology Review. « Et nous aimerions qu’il y en ait un. » Les candidatures sont ouvertes jusqu’au 8 août 2026, les lauréats étant annoncés à l’automne.

Ce que couvre l’appel à projets

L’argument de DeepMind : presque toutes les évaluations de sûreté actuelles étudient un modèle isolément — or les risques les plus importants n’apparaissent que lorsque des agents indépendants interagissent. Des comportements et des capacités collectives peuvent « émerger soudainement », et, selon les organisateurs, nous « manquons aujourd’hui des outils pour prévoir, mesurer et surveiller ces transitions ».

L’appel sollicite des propositions dans quatre axes prioritaires :

  • Sandboxes et bancs d’essai — des environnements réalistes et reproductibles (places de marché virtuelles, écosystèmes simulés, flux multi-organisations) pour évaluer et comparer la sûreté multi-agents.
  • La science des réseaux d’agents — comment les capacités collectives émergent et passent à l’échelle, comment les réseaux échouent ou deviennent volatils, et comment détecter des propriétés dangereuses au niveau de la population.
  • Renforcer l’infrastructure des agents — mettre à l’épreuve les protocoles d’identité, de réputation et d’engagement censés sécuriser les interactions inter-plateformes.
  • Supervision et contrôle — des méthodes pour surveiller des populations d’agents déployées et atténuer les dommages collectifs à grande échelle.

Interrogés sur les dangers concrets visés, Shah et James Fox (Schmidt Sciences) décrivent « des versions surpuissantes des mauvaises choses qui se produisent déjà sur Internet » : arnaques, prompt injection (une seule instruction dissimulée qui transforme un agent en « logiciel malveillant autoguidé »), et autres cyberattaques — amplifiées jusqu’à ce que le « bien commun numérique » risque de sombrer dans « l’anarchie absolue ».

Pourquoi c’est important

C’est une affaire de gouvernance et de construction d’un champ, pas une vulnérabilité, mais elle entérine un modèle de menace que ce site suit à travers de nombreux travaux concrets : injection indirecte se propageant entre agents, autorisation qui ne se propage pas proprement le long d’une chaîne de délégation, attaques multi-agents émergentes et défenses par embeddings qui s’effondrent en contexte multi-agents. La thèse nouvelle : les résultats de sûreté mono-agent ne s’extrapolent pas aux populations, et la science permettant de combler cet écart n’existe pour l’essentiel pas encore.

Le calendrier est notable. DeepMind a fait des outils agentiques une pièce maîtresse de Google I/O le mois dernier ; quelques semaines plus tôt, Anthropic publiait des lignes directrices « zero trust » pour déployer des agents IA qui partent du principe qu’un agent est un attaquant et qu’une brèche est inévitable. Deux laboratoires de pointe alertent indépendamment sur les systèmes qu’ils déploient. Une réserve relevée dans la couverture mérite d’être gardée : le financement de la sûreté peut dériver vers des scénarios exotiques et hypothétiques pendant que des problèmes « ennuyeux », déjà en production, restent sans réponse.

Défenses

Pour les équipes qui déploient des agents aujourd’hui, l’appel fait aussi office de check-list des points les plus faibles de la pratique actuelle :

  • N’extrapolez pas les évaluations mono-agent. Un modèle qui passe seul les tests d’injection peut mal se comporter en essaim. Testez les agents en interaction, dans un sandbox, avant la production.
  • Adoptez une posture zero trust entre agents. Traitez chaque message d’un autre agent comme une entrée non fiable, pas comme une autorité — la leçon derrière la triade létale et la règle de deux des agents.
  • Investissez dans l’identité, la réputation et l’engagement. Les interactions inter-plateformes exigent une identité et une provenance vérifiables, et non une confiance implicite dans le rôle revendiqué par l’appelant.
  • Surveillez au niveau de la population. La journalisation par agent rate les modes de défaillance collectifs ; instrumentez la volatilité et les comportements émergents sur l’ensemble de la flotte, avec revue humaine là où le rayon d’impact est large.

Statut

L’appel à projets est ouvert depuis le 11 juin 2026 ; la date limite de candidature est le 8 août 2026, les lauréats étant attendus à l’automne 2026. Il prolonge le cadre multi-agents 2025 de DeepMind, ses travaux sur les « AI Agent Traps », et le rapport de la Cooperative AI Foundation sur les risques multi-agents de l’IA avancée. Aucun code, modèle ou vulnérabilité n’est en jeu : il s’agit d’un geste d’orientation de l’agenda et de financement, dont l’impact dépendra de la recherche effectivement soutenue.

Sources