Mes statistiques comptaient 9 robots pour 1 visiteur : comment je les ai sortis d'Umami

· · 4 min de lecture

Read this article in English

Le 30 octobre, Umami m'annonçait 212 visites sur apprendre.forelse.fr. Une belle journée, en apparence. En regardant de plus près, 203 de ces visites venaient de robots. Il restait 9 personnes.

Pour mesurer l'audience du site, j'utilise Umami, hébergé sur mon serveur : pas de cookie, pas d'adresse IP conservée, rien ne part chez un tiers. Mais des chiffres faux à 95 %, c'est pire que pas de chiffres. Je prenais des décisions dessus : quel article a marché, quel exercice sert, si un post LinkedIn ramène du monde.

Voici comment je m'en suis débarrassé, en trois étapes, et ce que ça coûte.

Ce qu'Umami fait déjà

Umami ignore les visites dont le User-Agent se déclare robot (Googlebot, bingbot, LinkedInBot…), grâce à la bibliothèque isbot. Ça règle le cas des robots polis.

Le problème, ce sont les autres. Ceux qui font tourner un vrai Chrome, exécutent le JavaScript de la page, et envoient donc une page vue comme n'importe quel visiteur. Pour Umami, ils sont indiscernables d'un humain.

Étape 1 : robots.txt

Le traceur du site est servi sous /mesure/, et le robots.txt contient :

Disallow: /mesure/

C'est le minimum, et ça ne sert qu'aux robots qui lisent le robots.txt. Ceux qui me posaient problème ne le lisent pas : l'un d'eux suivait le lien « Se connecter » de chaque page alors que /connexion y est interdit.

Étape 2 : les navigateurs pilotés (navigator.webdriver)

Premier robot repéré : celui qui suit LinkedIn. À chaque post, dans la seconde qui suivait le passage de LinkedInBot, un « Chrome sous Windows » ouvrait la page, puis les liens de la page. Il comptait des visites, et pire, des démarrages ratés du playground PHP : il repartait avant que PHP ait fini de se charger. Je croyais avoir un bug.

Les journaux du serveur ont tranché. Certains User-Agent étaient tout simplement impossibles : Chrome 140 sous Windows 7, alors que Chrome n'est plus distribué pour Windows 7 depuis la version 109.

Un navigateur piloté par Selenium, Playwright ou Puppeteer expose en général navigator.webdriver === true. Le site ne charge donc pas le traceur dans ce cas :

if (navigator.webdriver) return; // pas de traceur pour un navigateur piloté

Le lendemain, plus aucun démarrage raté après un post LinkedIn.

Étape 3 : attendre un geste du visiteur

Restait le plus gros : un robot qui passait chaque nuit, avec toujours la même empreinte. Chrome, Linux, écran 1920x1080, langue en-US, des adresses dans plusieurs pays. 163 visites en cinq jours. Son User-Agent annonçait un « Chrome/155 », une version qui n'existe pas encore. Et il ne déclare pas navigator.webdriver.

J'ai d'abord pensé à filtrer cette empreinte. Mais une empreinte, ça change. Et 1920x1080 sous Linux en anglais, c'est aussi l'écran de beaucoup de développeurs.

En regardant ses visites, un point commun sautait aux yeux : une page, aucun événement, jamais. Il affiche la page et repart. Il ne bouge pas la souris, ne touche pas l'écran, ne fait pas tourner la molette, n'appuie sur aucune touche.

Le site attend donc ce premier geste pour charger le traceur :

const GESTES = ['pointerdown', 'pointermove', 'touchstart', 'wheel', 'keydown'];

const poser = () => {
  GESTES.forEach((geste) => window.removeEventListener(geste, poser, true));
  document.head.append(script); // le traceur d'Umami, et la page vue avec lui
};

GESTES.forEach((geste) =>
  window.addEventListener(geste, poser, { capture: true, passive: true }),
);

Quelques détails comptent :

  • Pas de scroll dans la liste. La page peut défiler toute seule, sans personne : l'éditeur de code, ou le navigateur qui restaure la position. Un robot aurait alors chargé le traceur.
  • Le geste n'est pas envoyé. Il sert uniquement de déclencheur : Umami reçoit exactement les mêmes données qu'avant, rien de plus.
  • Les événements attendent le traceur. Un événement qui part avant le premier geste (« exercice ouvert », « compte créé » juste après l'inscription) est mis en file, puis envoyé dès que le traceur est chargé. Sans ça, ces événements disparaissaient.

Le résultat

Le changement est en production depuis le 3 novembre. Depuis le 4 novembre, je ne trouve plus aucun robot dans Umami. Plus besoin de requêtes SQL qui excluent des empreintes à la main : les chiffres bruts sont les vrais.

Ils sont nettement plus modestes : quelques personnes par jour quand je ne publie rien, davantage les jours d'article. C'est moins flatteur, mais c'est exactement ce que je voulais savoir.

Ce que ça coûte

Rien n'est gratuit :

  • Un visiteur qui arrive, lit sans toucher à rien et repart n'est pas compté. Sur ordinateur, c'est rare : la souris bouge presque toujours. Sur mobile, le premier défilement au doigt déclenche touchstart.
  • Un robot qui simule des mouvements de souris passera. Ce n'est pas une protection, c'est un filtre contre les robots paresseux, c'est-à-dire presque tous ceux qui passaient ici.
  • La page vue part un peu plus tard. Pour Umami, ça ne change rien.

Pour un site qui veut savoir combien de vraies personnes lisent ses articles, l'échange me paraît bon. Pour une boutique qui doit compter chaque visite, je réfléchirais à deux fois.

Le code complet est dans le moteur du site, qui est open source : un fichier de 75 lignes, playground/src/mesure.ts.

Et vous, vous filtrez les robots de vos statistiques, ou vous faites avec ?

← Tous les articles