Comment repérer et bloquer les faux Googlebot et les bots malveillants sur WordPress ?

Pourquoi c’est important

Toutes les journées lentes ne sont pas des succès d’audience. Certains robots parcourent un site bien plus intensément que n’importe quel humain : ils martèlent le champ de recherche avec des mots aléatoires, sondent des centaines de fichiers inexistants, ou se font passer pour Googlebot pour que personne n’ose les bloquer. Chacune de ces requêtes contourne le cache de page et fait travailler pour de bon WordPress et la base de données.

Sur un hébergement mutualisé, cela se traduit par des pages lentes, des limites de CPU atteintes et parfois un compte suspendu. Sur une boutique, ce sont de vrais clients qui attendent pendant qu’un robot lance des recherches.

L’astuce consiste à distinguer les requêtes coûteuses des requêtes bon marché. Compter les « requêtes par minute » met sur le même plan une page vue en cache et une recherche non mise en cache. Les tarifer selon leur coût vous permet d’être généreux avec les vrais visiteurs et strict avec les comportements que seuls les robots produisent.

Erreurs courantes

• Bloquer selon le user agent. N’importe qui peut prétendre être Googlebot, et bloquer le nom bloque aussi le vrai. Vérifiez par IP.
• Une seule limite pour tout. Une règle uniforme de requêtes par minute laisse passer les rafales de recherches ou pénalise les clients qui naviguent vite. Tarifez les requêtes selon leur coût.
• Bloquer la validation de commande. Une limite de débit capable d’arrêter un retour de paiement ou une commande vous coûte de l’argent. Gardez-les gratuits.
• Des bannissements longs. Un bannissement d’une journée sur une IP partagée peut bloquer tout un bureau ou un réseau mobile. De courtes pauses suffisent à casser le rythme d’un robot.
• Attendre d’une extension qu’elle stoppe les attaques réseau. Un trafic assez massif pour saturer la connexion du serveur n’atteint jamais WordPress. C’est le travail de votre CDN.

Sans extension

Vérifiez Googlebot à la main. Pour une IP suspecte relevée dans votre journal d’accès :

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Les deux sens doivent concorder et se terminer par googlebot.com ou google.com. Google publie aussi les plages d’IP de ses robots d’indexation dans un fichier JSON avec lequel vous pouvez comparer.

Limitez le débit au niveau du serveur. Sur Nginx, vous pouvez plafonner les requêtes par IP :

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Les règles serveur sont rapides, mais elles ne connaissent pas WordPress. Elles ne savent pas distinguer une commande d’une recherche, elles nécessitent un accès root que la plupart des offres d’hébergement ne fournissent pas, et maintenir à la main la liste des IP de Google est fastidieux. Un pare-feu de CDN est une autre bonne option si le vôtre vous permet d’écrire des règles.

En cas de problème

• Un vrai visiteur a reçu une erreur 429. Recherchez l’IP dans le journal. S’il s’agit d’un bureau ou d’un outil que vous utilisez, ajoutez-la à la liste d’autorisation. Envisagez d’augmenter le budget par minute.
• La Search Console signale des erreurs d’exploration. Les vrais robots de Google sont exemptés : vérifiez que les erreurs ne proviennent pas d’une règle serveur ou CDN extérieure à Hushfort.
• Le site est toujours submergé. L’afflux est peut-être trop massif pour n’importe quelle extension. Activez le mode attaque de votre CDN. Le mode d’urgence de Hushfort peut activer pour vous le mode « Under Attack » de Cloudflare, avec votre propre clé d’API, puis le désactiver ensuite.

Avec Hushfort

La Protection anti-surcharge fait partie de Hushfort Pro, le module complémentaire qui s’installe par-dessus Hushfort Security, l’extension de sécurité WordPress gratuite.

La couche Protection anti-surcharge de Hushfort attribue à chaque IP un budget de 120 points par minute par défaut. Une page vue coûte 1, admin-ajax GET 1 et POST 2, REST GET 2 et POST 3, l’ajout au panier 3, une recherche 5, les autres POST 5, XML-RPC 10, et une erreur 404 ajoute 4. La validation de commande, les retours de paiement, WP-Cron et les écrans de wp-admin sont gratuits.

• Les IP hors budget reçoivent une brève erreur 429 et une pause de 10 minutes.
• Les faux Googlebots et Bingbots, qui revendiquent ce nom depuis une IP absente de la liste officielle, sont bloqués. Les robots d’indexation vérifiés sont exemptés. La seule requête sortante concerne les listes publiques d’IP des robots d’indexation de Google et de Bing.
• Le mode d’urgence peut activer le mode « Under Attack » de Cloudflare avec votre propre clé d’API.
• Elle démarre en mode Surveillance.

Lors de nos propres tests, une IP hors budget a quand même pu finaliser sa commande pendant que ses autres requêtes recevaient une erreur 429.