Wie erkenne und blockiere ich einen Fake-Googlebot in WordPress?

Warum das wichtig ist

Nicht jeder langsame Tag ist ein Traffic-Erfolg. Manche Bots durchforsten eine Website viel heftiger als jeder Mensch: Sie bombardieren das Suchfeld mit zufälligen Wörtern, suchen nach Hunderten fehlender Dateien oder geben sich als Googlebot aus, damit niemand sie zu blockieren wagt. Jede dieser Anfragen umgeht den Seiten-Cache und lässt WordPress und die Datenbank echte Arbeit leisten.

Auf Shared Hosting bedeutet das langsame Seiten, CPU-Limits und manchmal ein gesperrtes Konto. In einem Shop bedeutet es, dass echte Kunden warten, während ein Bot Suchen ausführt.

Der Trick besteht darin, teure Anfragen von billigen zu unterscheiden. Wer „Anfragen pro Minute“ zählt, behandelt einen gecachten Seitenaufruf und eine ungecachte Suche gleich. Wer sie nach ihren Kosten bepreist, kann mit echten Besuchern großzügig und mit Mustern, die nur Bots erzeugen, streng sein.

Häufige Fehler

• Blockieren nach User-Agent. Jeder kann behaupten, Googlebot zu sein, und wer den Namen blockiert, blockiert auch den echten. Prüfe per IP.
• Ein Limit für alles. Eine pauschale Regel für Anfragen pro Minute lässt entweder Suchfluten durch oder erwischt Kunden, die schnell stöbern. Bepreise Anfragen nach Kosten.
• Den Checkout blockieren. Ein Rate-Limit, das einen Zahlungs-Callback oder einen Checkout stoppen kann, kostet dich echtes Geld. Halte diese Wege frei.
• Lange Sperren. Eine tagelange Sperre auf einer geteilten IP kann ein ganzes Büro oder Mobilfunknetz aussperren. Kurze Pausen reichen, um den Rhythmus eines Bots zu brechen.
• Zu erwarten, dass ein Plugin Netzwerkfluten stoppt. Traffic, der groß genug ist, um die Anbindung des Servers zu füllen, erreicht WordPress nie. Das ist ein Job für dein CDN.

Ohne Plugin

Googlebot von Hand prüfen. Für eine verdächtige IP aus deinem Access-Log:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Beide Richtungen müssen übereinstimmen und auf googlebot.com oder google.com enden. Google veröffentlicht seine Crawler-IP-Bereiche außerdem als JSON-Datei, mit der du abgleichen kannst.

Rate-Limit auf dem Server. Unter Nginx kannst du die Anfragen pro IP begrenzen:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Serverregeln sind schnell, kennen aber WordPress nicht. Sie können den Checkout nicht von einer Suche unterscheiden, sie brauchen Root-Zugriff, den die meisten Hosting-Tarife nicht bieten, und Googles IP-Liste von Hand zu pflegen ist mühsam. Eine CDN-Firewall ist eine weitere gute Option, wenn deine eigene Regeln zulässt.

Wenn etwas schiefgeht

• Ein echter Besucher hat einen 429 bekommen. Schlag die IP im Protokoll nach. Gehört sie zu einem Büro oder einem Werkzeug, das du nutzt, setze sie auf die Zulassungsliste. Erwäge, das Budget pro Minute zu erhöhen.
• Die Search Console meldet Crawling-Fehler. Echte Google-Crawler sind ausgenommen; prüfe also, ob die Fehler nicht von einer Server- oder CDN-Regel außerhalb von Hushfort stammen.
• Die Website ist trotzdem überlastet. Die Flut ist womöglich zu groß für jedes Plugin. Schalte den Angriffsmodus deines CDN ein. Der Notfallmodus von Hushfort kann den „Under Attack“-Modus von Cloudflare mit deinem eigenen API-Schlüssel für dich einschalten und danach wieder zurückstellen.

Mit Hushfort

Der Lastschutz gehört zu Hushfort Pro, dem kostenpflichtigen Add-on zu Hushfort Security, dem kostenlosen WordPress-Sicherheitsplugin.

Die Ebene Lastschutz von Hushfort gibt jeder IP standardmäßig ein Budget von 120 Punkten pro Minute. Seitenaufrufe kosten 1, admin-ajax GET 1 und POST 2, REST GET 2 und POST 3, In den Warenkorb 3, Suche 5, sonstige POSTs 5, XML-RPC 10, und ein 404 kommt mit 4 obendrauf. Checkout, Zahlungs-Callbacks, WP-Cron und wp-admin-Seiten sind kostenlos.

• IPs über dem Budget erhalten einen kurzen 429 und eine Pause von 10 Minuten.
• Gefälschte Googlebots und Bingbots, die den Namen von einer IP außerhalb der offiziellen Liste beanspruchen, werden blockiert. Verifizierte Suchmaschinen-Bots sind ausgenommen. Die einzige ausgehende Abfrage sind die öffentlichen Crawler-IP-Listen von Google und Bing.
• Der Notfallmodus kann den „Under Attack“-Modus von Cloudflare mit deinem eigenen API-Schlüssel umschalten.
• Er startet im Beobachtungsmodus.

In unseren eigenen Tests hat eine IP über ihrem Budget den Checkout trotzdem abgeschlossen, während ihre übrigen Anfragen einen 429 erhielten.