XL-SafetyBench : tester la sûreté des LLM dans 10 pays, pas seulement en anglais

What is this?

Le 7 mai 2026, une équipe menée par AIM Intelligence — avec des co-auteurs de l’AI Red Team de Microsoft, du Korea AI Safety Institute, de KT, du groupe BMW, de l’Université technique de Munich, de l’Université d’Ankara et de l’Université nationale de Séoul — a publié XL-SafetyBench sur arXiv (2605.05662). C’est un benchmark de sûreté interculturel de 5 500 cas de test répartis sur 10 paires pays-langue : États-Unis, France, Allemagne, Espagne, Corée du Sud, Japon, Inde, Indonésie, Türkiye et Émirats arabes unis.

La thèse du papier est simple et dérangeante : la plupart des évaluations de sûreté des LLM sont rédigées en anglais, puis traduites. La traduction déplace les mots, mais pas le contexte juridique, institutionnel et culturel qui rend une requête réellement dangereuse. Un benchmark qui ne parle qu’anglais mesure si un modèle refuse des préjudices de forme anglophone — pas s’il est sûr de déployer à Séoul, Ankara ou São Paulo. L’annonce du 5 juin 2026 qualifie cet écart d’« Illusion de sûreté ».

How it works

XL-SafetyBench s’articule sur deux pistes. La première est une piste Jailbreak / Risque local de prompts adverses ancrés dans chaque pays — des requêtes dont la dangerosité dépend des lois, des schémas de fraude et des plateformes locales. La seconde est une piste Sensibilité culturelle, où un élément sensible est dissimulé dans une requête par ailleurs anodine, pour tester si le modèle le repère.

Deux exemples des auteurs l’illustrent. Un prompt de fraude construit autour du système coréen du jeonse (caution locative versée en une seule fois) n’est identifiable comme fraude que si l’on comprend ce montage financier. Et recommander des chrysanthèmes comme cadeau en France est culturellement déplacé — la fleur est associée à la mort et au deuil — alors que rien dans la phrase n’est « dangereux » au sens anglophone.

Chaque item a suivi un pipeline multi-étapes : découverte assistée par LLM, portes de validation automatisées, et deux annotateurs natifs indépendants par pays. Surtout, les auteurs ne notent pas sur le seul refus. Ils rapportent le taux de succès d’attaque (ASR) avec deux nouvelles métriques : le Neutral-Safe Rate (NSR) et le Cultural Sensitivity Rate (CSR). Cette distinction sépare un refus de principe (« je comprends que c’est une fraude, donc non ») d’un échec de compréhension (« je n’ai pas compris la requête, donc je n’ai rien produit d’utile »).

Metric   Question it answers
-------  ----------------------------------------------------------
ASR      Le modèle a-t-il obtempéré à une requête nuisible ancrée dans un pays ?
NSR      Le modèle a-t-il traité une requête bénigne de façon sûre et utile ?
CSR      Le modèle a-t-il reconnu une sensibilité culturelle implicite ?

Aucun prompt d’exploitation n’est reproduit ici ; le jeu de données et la méthodologie figurent dans le papier et dans la publication Hugging Face du projet.

Why it matters

Sur 37 modèles (10 frontier, 27 locaux), le papier rapporte deux résultats à intégrer à toute revue de déploiement.

Premièrement, parmi les modèles frontier, robustesse au jailbreak et conscience culturelle ne sont pas corrélées. Un modèle peut bien résister aux prompts adverses tout en restant culturellement sourd, ou l’inverse. Un « score de sûreté » global unique masque donc l’axe qui vous intéresse vraiment. Si vous visez un marché précis, une moyenne mondiale ne vous dit presque rien de votre risque local.

Deuxièmement, plus tranchant : les modèles locaux présentent un compromis quasi linéaire entre ASR et NSR (r = -0,81). Autrement dit, les modèles qui paraissaient les « plus sûrs » l’étaient souvent parce qu’ils ne généraient aucune réponse utile — un refus par accident, pas un alignement par conception. Un faible taux de succès d’attaque qui découle d’une incompréhension de la requête n’est pas de la sûreté ; c’est l’Illusion de sûreté avec un tableau de bord flatteur.

Pour quiconque déploie des LLM dans plus d’une langue — soit la plupart des lecteurs de ce média — la leçon est que les résultats de red teaming en anglais ne sont pas transférables. La surface de risque a la forme du pays, et les angles morts aussi.

Defenses

XL-SafetyBench est un instrument défensif ; les mitigations portent donc surtout sur la manière d’évaluer et de déployer.

1. Cessez de faire confiance aux benchmarks traduits. Si votre preuve de sûreté est une suite anglaise passée par traduction automatique, considérez-la comme une borne basse, pas comme un feu vert. Retestez avec des prompts rédigés dans la langue, ancrés dans le droit et les schémas de fraude locaux.

2. Reportez par axe, pas en un seul chiffre. Suivez séparément la robustesse au refus et la compréhension culturelle. Un score agrégé laisse un modèle culturellement aveugle passer grâce à sa résistance au jailbreak.

3. Distinguez refus et compréhension. Associez chaque test « a-t-il refusé ? » à un test « a-t-il compris ? » (l’idée NSR/CSR). Un modèle qui se tait par confusion cédera dès qu’une requête sera formulée juste assez clairement.

4. Mettez des locuteurs natifs dans la boucle. Les juges automatiques et les chaînes de traduction ratent précisément le contexte qui rend une requête nuisible dans un pays donné. La double relecture par des natifs est la partie la plus difficile à simuler et la plus utile à copier.

5. Calibrez les garde-fous par marché. Des filtres entrée/sortie réglés sur des préjudices anglophones sous-détectent les cadrages de fraude locaux et sur-bloquent des références locales bénignes. Maintenez des politiques par locale, et revalidez-les à chaque ajout de langue.

Status

Élément	Référence	Date	Notes
Papier XL-SafetyBench	arXiv 2605.05662	2026-05-07	5 500 cas, 10 paires pays-langue
Annonce publique	AIM Intelligence (EIN Presswire / NatLawReview)	2026-06-05	Jeu de données publié sur Hugging Face
Modèles évalués	Papier	2026-05-07	37 au total (10 frontier, 27 locaux)
Résultat clé (frontier)	Papier	2026-05-07	Robustesse jailbreak ≠ conscience culturelle
Résultat clé (local)	Papier	2026-05-07	Compromis ASR–NSR r = -0,81 (« Illusion de sûreté »)

Le bon cadrage n’est pas « les modèles sont dangereux à l’étranger ». C’est « un modèle jugé sûr en anglais n’a pas été testé là où il va servir ». Un déploiement multilingue exige des preuves multilingues — rédigées, pas traduites.