Un désapprentissage qui tient : résister aux attaques de réapprentissage

De quoi s’agit-il ?

Le désapprentissage machine (unlearning) doit faire oublier à un modèle une part précise de ce qu’il a appris — les données d’une personne après une demande de suppression, un texte protégé, ou une connaissance dangereuse — sans le coût d’un réentraînement complet. Un problème bien documenté est que la plupart des désapprentissages sont superficiels : la connaissance est masquée, pas retirée, et elle revient. L’un des moyens les moins coûteux de la faire revenir est une attaque de réapprentissage (relearning) : on fine-tune le modèle « désappris » pendant quelques étapes sur un petit jeu de données, parfois sans rapport, après quoi le contenu prétendument oublié réapparaît. La démonstration canonique en est Jogging the Memory of Unlearned LLMs (arXiv:2406.13356), et les travaux ultérieurs de 2026 confirment que le désapprentissage est réversible (arXiv:2505.16831).

La question plus récente est constructive : peut-on rendre le désapprentissage robuste à cette attaque ? Deux articles de 2026 l’abordent dans la même direction — la géométrie des représentations du modèle — et concluent que oui. RepSelect : Robust LLM Unlearning via Representation Selectivity (arXiv:2606.17168, juin 2026) et Robust LLM Unlearning Against Relearning Attacks: The Minor Components in Representations Matter (arXiv:2605.11685, mai 2026) soutiennent tous deux que l’endroit où l’on modifie l’espace des représentations détermine si la modification survit.

Comment ça marche

Le diagnostic partagé est que les méthodes standard poussent dans les mauvaises directions. Des techniques comme la différence de gradient, NPO ou RMU déplacent surtout les composantes dominantes des représentations concernées — les directions à forte variance qu’utilise aussi l’ensemble à conserver. Cela produit deux effets néfastes à la fois : cela dégrade la capacité générale (car ces directions sont partagées) et c’est facile à inverser, puisqu’un court fine-tune ramène ces mêmes directions dominantes.

Les deux articles agissent sur cette idée sous des angles complémentaires :

Approche                    Cible                                   Effet visé
--------------------------  --------------------------------------  ------------------------------
RepSelect                   Écrase les composantes principales      Isole la représentation propre
(2606.17168)                de tête des gradients de poids          à l'oubli ; limite ce que le
                            avant chaque mise à jour                fine-tuning peut restaurer
Composantes mineures        Modifie les composantes de faible       Retire la connaissance dans un
(2605.11685)                variance (« mineures »), ignorées par   sous-espace qu'une attaque de
                            les méthodes standard                   réapprentissage restaure mal

RepSelect présente le désapprentissage comme une sélectivité de représentation : en retirant les directions de gradient de tête avant chaque mise à jour, il concentre le changement sur les directions propres à l’ensemble à oublier, laissant intactes les directions partagées liées à la capacité générale. Évalué sur quatre familles de modèles (denses et à mélange d’experts : Llama 3, Qwen 3.5, Gemma 4 E4B, DeepSeek V2 Lite) et deux catégories d’oubli, il obtient une réduction 4 à 50× plus grande de l’exactitude après réapprentissage que la meilleure de cinq références (GradDiff, NPO, SimNPO, RMU, UNDIAL), et est présenté comme quasi parfaitement robuste aux attaques par prompting few-shot. Les travaux sur les composantes mineures atteignent un but similaire par le mouvement inverse — modifier délibérément les directions de faible variance que les méthodes centrées sur les composantes dominantes ignorent, au motif que ce sont elles que le réapprentissage ne parvient pas à restaurer.

Pourquoi c’est important

Si le désapprentissage sert de contrôle de conformité ou de sécurité — « nous avons retiré ces données », « nous avons ôté cette capacité dangereuse » — alors la réversibilité est l’enjeu central. Une méthode qui paraît solide sous une évaluation bénigne mono-tour mais cède après dix étapes de fine-tuning offre une garantie qui ne tient plus dès qu’un modèle est diffusé en poids ouverts et que quiconque peut le fine-tuner. La robustesse au réapprentissage est donc la propriété qui compte vraiment, et c’est précisément celle que les benchmarks classiques ne mesuraient pas.

Le cadrage par la géométrie des représentations donne aussi aux défenseurs un modèle testable de pourquoi le désapprentissage échoue, plutôt qu’un empilement d’astuces isolées. Il dit : la durabilité d’une modification dépend du sous-espace touché. C’est une cible d’ingénierie plus utile que la course à une perte plus faible sur l’ensemble à oublier, et cela explique pourquoi deux méthodes agissant sur des composantes différentes améliorent toutes deux la robustesse, là où les méthodes de minimisation ponctuelle échouent.

Défenses

1. Mesurez la robustesse, pas seulement l’oubli. Rapportez le taux de récupération après une attaque de réapprentissage standard (un court fine-tune sur un petit ensemble proche de l’oubli) et après prompting few-shot — pas seulement la perte bénigne sur l’ensemble à oublier. Une revendication de désapprentissage sans évaluation de réapprentissage n’est pas vérifiée.

2. Privilégiez les méthodes conscientes des représentations pour ce qui doit rester supprimé. Les approches qui concentrent la modification sur les directions propres à l’oubli (RepSelect) ou sur les composantes mineures ignorées par les méthodes standard affichent une bien meilleure durabilité après réapprentissage que les références par différence de gradient ou par préférence.

3. Gardez le désapprentissage comme mitigation, pas comme bouton de suppression. Pour une véritable suppression légale, la seule garantie forte reste de ne pas entraîner sur les données, ou de réentraîner sans elles. Un désapprentissage robuste augmente le coût de la récupération ; il ne prouve pas l’effacement.

4. Intégrez vos étapes de déploiement au modèle de menace. La quantification et le fine-tuning en aval sont des canaux de récupération connus. Évaluez le modèle désappris à la précision réellement livrée et après le type de fine-tuning que vos utilisateurs peuvent réaliser.

5. Combinez avec le contrôle d’accès. Là où un contenu dangereux ou privé ne doit pas apparaître, associez le désapprentissage au filtrage des sorties, aux restrictions de récupération et au moindre privilège, plutôt que de compter sur un oubli réellement acquis.

Statut

Travaux	Référence	Date	Contribution rapportée
Attaque de réapprentissage bénin	arXiv:2406.13356	2024-06	Un fine-tune de quelques étapes récupère la connaissance « oubliée »
Étude de réversibilité	arXiv:2505.16831	2025-05	Le désapprentissage n’est pas une suppression ; les modifications sont réversibles
Défense par composantes mineures	arXiv:2605.11685	2026-05	Modifier les composantes de faible variance résiste au réapprentissage
RepSelect	arXiv:2606.17168	2026-06	Exactitude après réapprentissage 4 à 50× plus basse que les références

Le point transférable est que la durabilité du désapprentissage est une propriété de l’endroit où l’on modifie la représentation, et qu’elle doit être évaluée face au réapprentissage, pas seulement à des requêtes bénignes. Les défenses de 2026 font progresser la première moitié ; la seconde — toujours tester face à la récupération — est à la portée de toute équipe qui s’appuie sur le désapprentissage dès aujourd’hui.