Hoe herken en blokkeer ik verkeer van nep-Googlebots in WordPress?

Waarom het ertoe doet

Niet elke trage dag is een verkeerssucces. Sommige bots crawlen een site veel harder dan welk mens ook: ze bestoken het zoekvak met willekeurige woorden, zoeken naar honderden ontbrekende bestanden of doen zich voor als Googlebot zodat niemand ze durft te blokkeren. Elk van die verzoeken slaat de paginacache over en laat WordPress en de database echt werk doen.

Op gedeelde hosting betekent dat trage pagina's, CPU-limieten en soms een opgeschort account. In een webwinkel betekent het dat echte klanten wachten terwijl een bot zoekopdrachten uitvoert.

De truc is om dure verzoeken van goedkope te onderscheiden. Wie "verzoeken per minuut" telt, behandelt een gecachte paginaweergave en een niet-gecachte zoekopdracht als gelijk. Prijs je ze naar wat ze kosten, dan kun je ruimhartig zijn voor echte bezoekers en streng voor de patronen die alleen bots vertonen.

Veelgemaakte fouten

• Blokkeren op user-agent. Iedereen kan beweren Googlebot te zijn, en wie de naam blokkeert, blokkeert ook de echte. Controleer op IP.
• Eén limiet voor alles. Een vaste regel voor verzoeken per minuut laat zoekgolven door of vangt klanten die snel browsen. Prijs verzoeken naar wat ze kosten.
• Het afrekenen blokkeren. Een snelheidslimiet die een betalingscallback of het afrekenen kan stoppen, kost je echt geld. Hou die gratis.
• Lange blokkades. Een blokkade van een dag op een gedeeld IP kan een heel kantoor of mobiel netwerk buitensluiten. Korte pauzes zijn genoeg om het ritme van een bot te breken.
• Verwachten dat een plugin netwerkgolven stopt. Verkeer dat groot genoeg is om de verbinding van de server te vullen, bereikt WordPress nooit. Dat is een taak voor je CDN.

Zonder plugin

Controleer Googlebot met de hand. Voor een verdacht IP uit je toegangslog:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Beide richtingen moeten overeenkomen en eindigen op googlebot.com of google.com. Google publiceert de IP-bereiken van zijn crawlers ook als JSON-bestand waarmee je kunt vergelijken.

Beperk de snelheid op de server. Op Nginx kun je het aantal verzoeken per IP begrenzen:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Serverregels zijn snel, maar ze kennen WordPress niet. Ze kunnen afrekenen niet van een zoekopdracht onderscheiden, ze vereisen roottoegang die de meeste hostingpakketten je niet geven, en de IP-lijst van Google met de hand bijhouden is omslachtig. Een CDN-firewall is ook een goede optie, als je daar eigen regels in kunt schrijven.

Als er iets misgaat

• Een echte bezoeker kreeg een 429. Zoek het IP op in de log. Is het een kantoor of een tool die je gebruikt, voeg het dan toe aan de lijst met toegestane IP's. Overweeg het budget per minuut te verhogen.
• Search Console meldt crawlfouten. Echte Google-crawlers zijn uitgezonderd, dus controleer of de fouten niet van een server- of CDN-regel buiten Hushfort komen.
• De site wordt nog steeds overspoeld. De golf is mogelijk te groot voor welke plugin dan ook. Schakel de aanvalsmodus van je CDN in. De noodmodus van Hushfort kan de "Under Attack"-modus van Cloudflare voor je inschakelen, met je eigen API-sleutel, en hem daarna weer uitschakelen.

Met Hushfort

Belastingbeveiliging is onderdeel van Hushfort Pro, de add-on bovenop Hushfort Security, de gratis WordPress-beveiligingsplugin.

De laag Belastingbeveiliging van Hushfort geeft elk IP standaard een budget van 120 punten per minuut. Paginaweergaven kosten 1, admin-ajax GET 1 en POST 2, REST GET 2 en POST 3, toevoegen aan winkelwagen 3, zoeken 5, andere POST-verzoeken 5, XML-RPC 10, en een 404 telt er 4 bij op. Afrekenen, callbacks van betalingen, WP-Cron en schermen in wp-admin zijn gratis.

• IP's boven het budget krijgen een korte 429 en een pauze van 10 minuten.
• Nep-Googlebots en -Bingbots, die de naam gebruiken vanaf een IP dat niet op de officiële lijst staat, worden geblokkeerd. Geverifieerde zoekbots zijn uitgezonderd. Het enige wat van buiten wordt opgehaald, zijn de openbare IP-lijsten van de crawlers van Google en Bing.
• De noodmodus kan de "Under Attack"-modus van Cloudflare inschakelen met je eigen API-sleutel.
• Hij begint in Monitormodus.

In onze eigen tests rondde een IP boven zijn budget het afrekenen nog steeds af, terwijl zijn andere verzoeken een 429 kregen.