Red teaming Quality-Diversity : pourquoi un seul score de jailbreak masque toute une carte de failles

De quoi s’agit-il ?

La plupart des travaux sur les jailbreaks optimisent un objectif unique : trouver *l’*attaque au taux de succès le plus élevé. Quality-Diversity (QD) Evolution for Discovering Diverse Vulnerabilities in LLM Safety (arXiv:2606.00801, publié en juin 2026) soutient que ce cadrage masque la réalité. Au lieu d’un seul payload optimal, le paper utilise une recherche évolutionnaire Quality-Diversity pour cartographier une archive entière d’attaques distinctes et performantes, chacune occupant une « niche » différente dans l’espace des techniques.

Un paper compagnon de juin 2026, Cross-Generational Transfer of Adversarial Attacks Reveals Non-Monotonic Safety Alignment in LLMs (arXiv:2606.00813), reprend la même idée Quality-Diversity comme sonde de red teaming automatisé et rapporte un résultat inconfortable : la sûreté ne s’améliore pas de façon monotone d’une génération de modèle à la suivante.

Les deux contributions sont défensives et centrées sur la mesure. Elles décrivent une méthodologie d’évaluation et ce qu’elle révèle — pas un exploit prêt à l’emploi.

Comment ça marche

Quality-Diversity désigne une famille d’algorithmes évolutionnaires (le plus connu étant MAP-Elites). Contrairement à un optimiseur classique qui converge vers une seule meilleure solution, une recherche QD maintient une archive de solutions rangées selon des « descripteurs de comportement » — des coordonnées qui décrivent comment une solution fonctionne, et pas seulement sa performance. L’algorithme conserve le meilleur exemplaire de chaque case, si bien que la sortie est une grille de solutions variées et individuellement solides.

Appliquée au red teaming, la recette est la suivante :

• Qualité = avec quelle fiabilité un prompt candidat provoque un comportement non sûr du modèle cible.
• Descripteurs de diversité = le style de la tentative — par exemple le cadrage employé (hypothétique, jeu de rôle, escalade multi-tour) et une éventuelle couche d’encodage (substitutions de caractères, obfuscation de texte).
• Évolution = muter et recombiner les prompts, les scorer contre le modèle, et classer chaque survivant dans sa case de descripteur.

Le gain est la couverture. Une recherche par gradient ou gloutonne tend à s’effondrer sur une seule astuce ; une recherche QD renvoie des dizaines d’attaques différentes réparties dans l’espace des comportements, ce qui constitue un bien meilleur proxy de « ce qui pourrait vraiment mal tourner en conditions réelles ». arXiv:2606.00801 rapporte que des modèles différents présentent des profils de vulnérabilité distincts sous cette recherche : les niches qui réussissent contre un modèle ne sont pas celles qui réussissent contre un autre.

L’étude trans-générationnelle rend la conséquence concrète. En utilisant des attaques découvertes par QD comme sonde de transfert à travers les générations d’une même famille de modèles à poids ouverts, arXiv:2606.00813 rapporte des taux de transfert d’environ 44–46 % vers une génération mais seulement 14–18 % vers une génération ultérieure — et qualifie le constat plus large d’alignement non monotone : une version plus récente n’est pas garantie d’être plus sûre face à la même batterie d’attaques.

Pourquoi c’est important

Cela change la façon de lire un benchmark de sûreté. Un chiffre unique — « taux de succès d’attaque 8 % » — peut paraître rassurant tout en dissimulant que ces 8 % se concentrent dans une seule astuce facile à corriger ou, pire, qu’ils recouvrent plusieurs classes de failles indépendantes qu’une évaluation one-shot n’a jamais explorées. Un red teaming attentif à la diversité expose la forme de la faiblesse, pas seulement sa hauteur.

Le résultat non monotone est le point sur lequel les défenseurs devraient s’arrêter. Les équipes supposent couramment qu’une montée de version vers un modèle plus récent hérite de tous les gains de sûreté antérieurs. Les chiffres de transfert suggèrent que cette hypothèse n’est pas sûre : l’alignement est ré-entraîné, repondéré et réajusté entre les générations, et une classe d’attaques qui était fermée peut discrètement se rouvrir. La sûreté est une propriété d’une version de modèle précise sous une évaluation précise — pas un cliquet monotone.

Défenses

Les leçons pratiques se généralisent bien au-delà de ces deux papers :

• Évaluez la diversité, pas seulement un score global. Suivez combien de classes de vulnérabilités distinctes survivent à votre red teaming, et pas uniquement le taux de succès d’attaque le plus élevé. Un faible chiffre agrégé avec une niche grande ouverte reste une brèche.
• Relancez votre suite de sûreté à chaque montée de version. Ne supposez pas qu’un modèle plus récent hérite de la robustesse de la version précédente. Traitez chaque version comme un sujet neuf et retestez toute la batterie, y compris les attaques que vous pensiez mitigées.
• Classez les résultats par technique, puis défendez la classe. Si la QD fait émerger, par exemple, une niche fondée sur l’encodage et une niche fondée sur le cadrage multi-tour, les mitigations doivent viser la classe (normalisation/décodage des entrées ; surveillance du contexte multi-tour) plutôt que le seul prompt que vous avez attrapé.
• Couplez l’alignement au niveau modèle avec des contrôles au niveau système. Comme l’alignement peut régresser, conservez une défense en profondeur : filtrage des sorties, autorisation de l’usage des outils et conception d’agents à moindre privilège, afin qu’une faille rouverte ait un rayon d’impact plus réduit.
• Automatisez le red teaming en continu. Une recherche de type QD est peu coûteuse à relancer. Intégrez-la dans la CI pour tout déploiement sensible à la sûreté, afin de détecter les régressions au moment de la montée de version, et non après.

Statut

Élément	Détail
Paper principal	« Quality-Diversity Evolution for Discovering Diverse Vulnerabilities in LLM Safety »
Identifiant arXiv	2606.00801
Paper compagnon	« Cross-Generational Transfer of Adversarial Attacks Reveals Non-Monotonic Safety Alignment in LLMs » (arXiv:2606.00813)
Publication	Juin 2026
Type	Méthodologie de red teaming / évaluation — aucun payload exploitable
Idée centrale	Une recherche Quality-Diversity (style MAP-Elites) renvoie une archive d’attaques diverses, pas un optimum unique
Constat clé	Profils de vulnérabilité distincts par modèle ; transfert d’attaques ~44–46 % vs ~14–18 % entre générations → alignement non monotone