Les agents navigateurs trahissent leur modèle par leur façon de cliquer

De quoi s’agit-il ?

Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces (arXiv 2605.14786, publié le 14 mai 2026) montre que l’on peut déterminer quel grand modèle de langage pilote un agent navigateur simplement en observant sa manière d’interagir avec une page web. Les auteurs collectent les actions de l’agent sur la page — navigation, clics, défilements, saisies, ainsi que l’ordre et le rythme des interactions — et entraînent des classifieurs légers sur ces traces. Sur 14 modèles de pointe, ils rapportent des scores d’identification atteignant 96 % de Macro F1.

Le point essentiel : cette empreinte ne dépend d’aucun élément que l’opérateur peut aisément modifier. Ce n’est ni la chaîne User-Agent, ni les en-têtes HTTP, ni l’adresse IP, ni la pile TLS — autant d’éléments falsifiables. C’est le comportement : la dynamique temporelle et structurelle par laquelle un modèle donné décide où regarder, sur quoi cliquer et dans quel ordre. Les actions de l’agent constituent, de fait, une signature du modèle qui les a produites.

Comment ça marche

Les chercheurs instrumentent les pages cibles avec du JavaScript injecté qui enregistre la séquence d’événements d’interface qu’un agent génère pendant une tâche. Chaque modèle produit un motif reconnaissable : ordre d’interaction privilégié, temps de pause et délais entre actions caractéristiques, manière de récupérer après un clic raté, façon de parcourir un formulaire. Ces motifs sont assez stables pour qu’un simple classifieur entraîné sur des traces étiquetées attribue une session inconnue à son modèle source avec une grande précision.

Côté collecte, la méthode est agnostique au modèle. Le papier publie un corpus étiqueté de traces d’interaction sur quatre environnements web ainsi qu’un harnais de navigateur compatible avec des modèles propriétaires comme open source ; l’attaque fonctionne donc que l’agent repose sur une API fermée ou un modèle à poids ouverts auto-hébergé. Aucun accès privilégié à l’agent n’est requis — seulement une page web ordinaire que l’agent visite, plus une télémétrie côté client que tout site collecte déjà pour l’analytique ou la détection de bots.

agent performs task on page
   → injected JS logs UI action trace (clicks, scrolls, timing, order)
      → classifier trained on labelled traces
         → predicts underlying model  (up to ~96% Macro F1, 14 models)

Pourquoi c’est important

L’empreinte comportementale transforme une propriété que la plupart des équipes croient invisible — quel modèle se cache derrière un agent — en information lisible par un site distant. Les conséquences sont multiples. Elle déjoue les tentatives de garder privé le choix du modèle ou d’alterner entre fournisseurs sans être repéré. Elle offre une primitive de reconnaissance aux attaquants : une fois le modèle exact connu, un site peut servir une injection de prompt indirecte ou un jailbreak taillés pour ses faiblesses documentées, augmentant le taux de réussite. Elle alimente aussi la course à la détection de bots et au contrôle d’accès, en permettant de bloquer, brider ou tromper sélectivement certains agents, indépendamment de toute falsification d’en-têtes. Et pour qui exécute des agents sur des flux sensibles, une signature comportementale devient un canal de dé-anonymisation qui survit aux contre-mesures réseau habituelles. Cela rejoint une littérature plus large sur l’inférence de l’usage des LLM via des canaux auxiliaires, comme l’analyse d’empreinte du trafic des interactions d’agents (arXiv 2510.07176).

Défenses

Il n’existe pas de correctif unique, car la fuite est intrinsèque au comportement de chaque modèle. Les mitigations pratiques visent à réduire le signal et à augmenter le coût de l’attribution :

• Considérer l’identité du modèle comme divulguable. Modélisez la menace en partant du principe qu’un site distant peut apprendre votre modèle par le seul comportement, et ne comptez pas sur l’obfuscation d’en-têtes ou d’IP pour l’anonymat.
• Ajouter une randomisation contrôlée. Introduisez du jitter dans les délais entre actions et, lorsque c’est sûr, variez l’ordre des interactions afin de rendre les motifs temporels et structurels moins séparables. On échange un peu d’efficacité contre une moindre distinctivité.
• Normaliser la couche d’action. Faites transiter les décisions de l’agent par un harnais d’exécution déterministe qui standardise la manière dont clics, défilements et saisies sont émis, pour que des modèles différents partagent un profil d’interaction bas niveau commun.
• Isoler les pages à risque. Comme l’empreinte permet une injection adaptée au modèle, tenez le contenu web non fiable à l’écart des agents qui détiennent des identifiants ou des outils, conformément aux principes de la « lethal trifecta » et du moindre privilège.
• Surveiller et limiter la télémétrie de collecte. Sur vos propres sites, reconnaissez qu’une télémétrie d’interface fine est à double usage et peut elle-même profiler les agents visiteurs.

Ces mesures réduisent la fiabilité de l’attaque mais, selon le cadrage du papier, n’éliminent pas l’attribution comportementale : la distinctivité est une caractéristique de la prise de décision des modèles, pas un bogue corrigeable d’un coup.

Statut

Il s’agit d’une divulgation de recherche, non d’une vulnérabilité produit : pas de CVE ni de correctif éditeur. Les auteurs présentent ce travail comme un moyen de rendre reproductible la recherche sur l’attribution comportementale des agents LLM, et publient à cette fin leur jeu de données et leur harnais. Les équipes qui conçoivent ou déploient des agents navigateurs et computer-use devraient intégrer dès maintenant la fuite d’identité du modèle dans leurs modèles de menace, avant que les flottes d’agents ne se généralisent.

Date clé : papier publié le 14 mai 2026 (arXiv 2605.14786).