Jak rozpoznać i zablokować ruch fałszywego Googlebota w WordPressie?

Dlaczego to ważne

Nie każdy wzrost ruchu to sukces. Niektóre boty przeczesują witrynę znacznie intensywniej niż jakikolwiek człowiek: zasypują wyszukiwarkę losowymi słowami, sprawdzają setki nieistniejących plików albo udają Googlebota, żeby nikt nie odważył się ich zablokować. Każde takie żądanie omija pamięć podręczną stron i zmusza WordPressa oraz bazę danych do prawdziwej pracy.

Na hostingu współdzielonym oznacza to wolne strony, limity CPU, a czasem zawieszone konto. W sklepie oznacza to, że prawdziwi klienci czekają, podczas gdy bot wykonuje wyszukiwania.

Sztuka polega na odróżnieniu kosztownych żądań od tanich. Liczenie „żądań na minutę” traktuje wyświetlenie strony z pamięci podręcznej i wyszukiwanie spoza niej tak samo. Wycena według kosztu pozwala być hojnym dla prawdziwych odwiedzających i surowym wobec wzorców, które tworzą tylko boty.

Typowe błędy

• Blokowanie po user agencie. Każdy może podać się za Googlebota, a zablokowanie nazwy blokuje też prawdziwego. Weryfikuj po IP.
• Jeden limit na wszystko. Płaska reguła „żądań na minutę” albo przepuszcza zalewy wyszukiwań, albo łapie klientów, którzy szybko przeglądają sklep. Wyceniaj żądania według kosztu.
• Blokowanie zamówień. Limit, który może zatrzymać wywołanie zwrotne płatności albo składanie zamówienia, kosztuje Cię prawdziwe pieniądze. Zostaw je darmowe.
• Długie bany. Całodniowy ban na współdzielony IP może zablokować całe biuro albo sieć komórkową. Krótkie przerwy wystarczą, by wybić bota z rytmu.
• Oczekiwanie, że wtyczka zatrzyma zalew na poziomie sieci. Ruch na tyle duży, że zapycha łącze serwera, nigdy nie dociera do WordPressa. To zadanie dla Twojego CDN.

Bez wtyczki

Zweryfikuj Googlebota ręcznie. Dla podejrzanego IP z dziennika dostępu:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Oba kierunki muszą się zgadzać i kończyć na googlebot.com lub google.com. Google publikuje też zakresy IP swoich robotów jako plik JSON, z którym możesz porównywać adresy.

Ogranicz żądania na serwerze. W Nginx możesz ustawić limit żądań na IP:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Reguły serwera są szybkie, ale nie znają WordPressa. Nie odróżnią składania zamówienia od wyszukiwania, wymagają dostępu roota, którego większość planów hostingowych nie daje, a ręczne utrzymywanie listy IP Google jest żmudne. Zapora w CDN to kolejna dobra opcja, jeśli Twój CDN pozwala pisać reguły.

Jeśli coś pójdzie nie tak

• Prawdziwy odwiedzający dostał 429. Znajdź jego IP w dzienniku. Jeśli to biuro lub narzędzie, z którego korzystasz, dodaj je do listy dozwolonych. Rozważ zwiększenie budżetu na minutę.
• Search Console zgłasza błędy indeksowania. Prawdziwe roboty Google są wyłączone z limitu, więc sprawdź, czy błędy nie pochodzą z reguły serwera lub CDN poza Hushfort.
• Witryna nadal jest przeciążona. Zalew może być za duży dla jakiejkolwiek wtyczki. Włącz tryb ochrony przed atakiem w swoim CDN. Tryb awaryjny Hushfort może za Ciebie włączyć w Cloudflare tryb „Under Attack” przy użyciu Twojego własnego klucza API, a potem go wyłączyć.

Z Hushfort

Ochrona przed przeciążeniem należy do Hushfort Pro, płatnego dodatku instalowanego obok Hushfort Security, darmowej wtyczki bezpieczeństwa WordPress.

Warstwa Ochrona przed przeciążeniem w Hushfort daje każdemu IP budżet domyślnie 120 punktów na minutę. Wyświetlenie strony kosztuje 1, admin-ajax GET 1 i POST 2, REST GET 2 i POST 3, dodanie do koszyka 3, wyszukiwanie 5, inne żądania POST 5, XML-RPC 10, a błąd 404 dodaje 4. Składanie zamówienia, wywołania zwrotne płatności, WP-Cron i ekrany wp-admin są darmowe.

• Adresy IP ponad budżetem dostają krótki kod 429 i 10 minut przerwy.
• Fałszywe Googleboty i Bingboty, które podają się za nie z IP spoza oficjalnej listy, są blokowane. Zweryfikowane boty wyszukiwarek są wyłączone z limitu. Jedyne pobieranie z zewnątrz to publiczne listy IP robotów Google i Bing.
• Tryb awaryjny może włączyć w Cloudflare tryb „Under Attack” przy użyciu Twojego własnego klucza API.
• Startuje w trybie monitorowania.

W naszych testach IP ponad budżetem nadal sfinalizował zamówienie, podczas gdy jego pozostałe żądania dostawały kod 429.