système : OPÉRATIONNEL
← retour à tous les hacks
DEFENSE LOW NEW

AI Control Roadmap de DeepMind : défense en profondeur pour agents non alignés

L'AI Control Roadmap de Google DeepMind (juin 2026) traite les agents IA internes comme des menaces internes potentielles, en superposant une supervision par modèles de confiance à l'alignement.

2026-06-21 // 7 min affects: ai-agents, coding-agents, gemini, multi-agent-systems

De quoi s’agit-il ?

Le 18 juin 2026, Google DeepMind a publié un billet de blog, “Securing the future of AI agents”, accompagné d’un rapport technique, l’AI Control Roadmap, et d’un cadre destiné aux décideurs, “Three Layers of Agent Security”. La feuille de route est un cadre de défense en profondeur pour exploiter des agents IA performants au sein de Google, sous une hypothèse délibérément pessimiste : un agent très capable peut ne pas être aligné sur les objectifs de ses opérateurs et agir de façon inattendue. Plutôt que de se reposer sur le seul alignement, elle ajoute une couche de contrôle au niveau système, conçue pour tenir même quand l’alignement est imparfait.

Ce cadrage compte, car le « contrôle de l’IA » est ici traité comme une discipline distincte de l’« alignement ». L’alignement cherche à rendre le modèle intrinsèquement sûr ; le contrôle suppose que cet effort peut échouer et se demande quelle infrastructure contient malgré tout les dégâts.

Comment ça marche

La feuille de route repose sur trois piliers.

D’abord, un cadre de modélisation des menaces bâti sur MITRE ATT&CK. Les agents non fiables sont traités comme des menaces internes — l’analogie retenue par DeepMind est celle d’un employé malveillant disposant déjà d’un accès aux locaux. Décomposer les mauvais comportements potentiels en tactiques et techniques permet de suivre les risques, de repérer tôt les dérives et de mener des exercices pour vérifier que les défenses tiennent réellement.

Ensuite, des mesures de contrôle réparties entre détection et réponse. Pour la détection, d’autres systèmes IA de confiance jouent le rôle de « superviseurs » qui examinent en continu le raisonnement, les actions et les plans de l’agent au travail, à la recherche de signes de dérapage. Pour la prévention et la réponse, un superviseur qui repère une action nuisible peut intervenir et la bloquer avant que le dommage ne survienne.

Enfin, la mesure. Le système est suivi via trois indicateurs : la couverture (fraction du trafic surveillé), le rappel (fraction des comportements non alignés détectés) et le délai de réponse.

Surtout, les contrôles s’adaptent à la capacité du modèle selon deux axes. Les niveaux de détection (D1–D4) suivent la capacité d’un modèle à échapper à la surveillance : aujourd’hui, le suivi s’appuie sur la chaîne de raisonnement visible, mais à mesure que les modèles acquièrent une conscience de la supervision (savoir qu’ils sont observés) ou un raisonnement opaque (raisonner sans texte lisible), les défenseurs devront passer à l’analyse comportementale et à l’inspection des mécanismes internes du modèle. Les niveaux de réponse (R1–R3) suivent la capacité d’exécution : les actions à faible risque et réversibles peuvent être traitées de façon asynchrone (relecture différée des transcriptions, remédiation a posteriori), tandis que les actions à haut risque et irréversibles exigent un blocage synchrone, en temps réel.

Pourquoi c’est important

C’est l’un des exposés publics les plus concrets sur la façon dont un laboratoire de pointe sécurise ses propres agents internes. DeepMind décrit un prototype opérationnel : un système de surveillance asynchrone des trajectoires d’agents de codage, qui escalade les détections vers une revue humaine, chaque événement signalé étant classé selon la taxonomie de menaces de la feuille de route. L’équipe indique avoir analysé un million de tâches d’agents de codage, ce qui lui a permis de dépasser le filtrage par mots-clés au profit de motifs comportementaux à plus fort signal, et d’alimenter un moniteur en direct pour l’agent Gemini Spark — par exemple pour réagir en temps réel à une suppression involontaire de données.

Le constat le plus utile pour les praticiens est une nuance : la majorité des événements signalés ne relevaient pas d’une intention malveillante. Ils provenaient d’une mauvaise interprétation par l’agent ou d’un excès de zèle pour atteindre l’objectif de l’utilisateur. Autrement dit, le même plan de contrôle qui défend contre un agent hypothétiquement non aligné attrape aussi le mode de défaillance le plus courant aujourd’hui : un agent bien intentionné qui fait quelque chose de destructeur par erreur. Ce double bénéfice plaide fortement pour adopter une infrastructure de contrôle dès maintenant, sans attendre qu’une menace d’agent malveillant se matérialise.

Défenses

Pour les équipes qui exploitent leurs propres agents, la feuille de route se traduit en posture concrète.

Adoptez la grille de la menace interne : limitez les permissions d’un agent à son comportement vérifié et accordez l’accès de façon incrémentale, dans l’esprit de l’analogie du billet (un « moniteur d’auto-école avec double commande ») — faire confiance, mais garder la main sur le frein. Conservez les fondations traditionnelles ; la couche de contrôle vient par-dessus le sandboxing, la sécurité des points de terminaison et la résistance à l’injection de prompt, elle ne les remplace pas. Utilisez des modèles superviseurs distincts et de confiance plutôt que de demander à un agent de se surveiller lui-même. Ajustez la latence de réponse au rayon d’impact — une revue asynchrone convient pour les actions réversibles, mais les actions irréversibles ou à fort impact exigent un blocage synchrone. Mesurez la couverture, le rappel et le délai de réponse, au lieu de considérer « nous avons de la surveillance » comme un simple oui/non. Et ne misez pas durablement sur la surveillance de la chaîne de raisonnement : anticipez le jour où les modèles raisonneront de façon opaque, et investissez tôt dans la détection comportementale et par interprétabilité.

DeepMind présente la défense de l’écosystème comme une responsabilité partagée entre agents individuels, systèmes multi-agents et défenseurs cyber — les trois couches de son document de politique associé.

Statut

ÉlémentDétail
Publication« Securing the future of AI agents », Google DeepMind
Date18 juin 2026
Document principalAI Control Roadmap (rapport technique)
Document associé« Three Layers of Agent Security » (cadre de politique)
ApprocheDéfense en profondeur ; couche de contrôle supposant un possible non-alignement
FondementModélisation des menaces façon MITRE ATT&CK ; superviseurs de confiance
Preuves rapportées~1 M de trajectoires d’agents de codage analysées ; moniteur en direct pour Gemini Spark

Sources