WordPress'te sahte Googlebot trafiğini nasıl tespit eder ve engellerim?

Neden önemli

Her yavaş gün bir trafik başarısı değildir. Bazı botlar bir siteyi herhangi bir insandan çok daha sert tarar: arama kutusunu rastgele kelimelerle döver, yüzlerce eksik dosyayı yoklar ya da kimse engellemeye cesaret edemesin diye Googlebot kılığına girer. Bu isteklerin her biri sayfa önbelleğini atlar ve WordPress'e ve veritabanına gerçek iş yaptırır.

Paylaşımlı hostingde bu yavaş sayfalar, CPU sınırları ve bazen askıya alınan bir hesap demektir. Bir mağazada ise bir bot arama yaparken bekleyen gerçek müşteriler demektir.

İşin püf noktası pahalı istekleri ucuz olanlardan ayırmaktır. "Dakikadaki istek" saymak, önbellekten dönen bir sayfa görüntülemesiyle önbelleksiz bir aramayı eşit tutar. İstekleri maliyetlerine göre fiyatlamak, gerçek ziyaretçilere cömert, yalnızca botların ürettiği kalıplara karşı katı olmanı sağlar.

Sık yapılan hatalar

• Kullanıcı aracısına göre engellemek. Herkes Googlebot olduğunu iddia edebilir; adı engellemek gerçeğini de engeller. IP ile doğrula.
• Her şey için tek sınır. Düz bir dakikada istek kuralı ya arama sellerini geçirir ya da hızlı gezinen müşterileri yakalar. İstekleri maliyetlerine göre fiyatla.
• Ödemeyi engellemek. Bir ödeme geri çağrısını ya da ödemeyi durdurabilen bir hız sınırı sana gerçek para kaybettirir. Bunları ücretsiz tut.
• Uzun yasaklar. Paylaşılan bir IP'ye bir günlük yasak bütün bir ofisi ya da mobil ağı engelleyebilir. Bir botun ritmini bozmak için kısa molalar yeter.
• Bir eklentinin ağ sellerini durdurmasını beklemek. Sunucunun bağlantısını dolduracak kadar büyük trafik WordPress'e hiç ulaşmaz. Bu, CDN'inin işidir.

Eklentisiz

Googlebot'u elle doğrula. Erişim kaydındaki şüpheli bir IP için:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

İki yön de eşleşmeli ve googlebot.com ya da google.com ile bitmeli. Google ayrıca tarayıcı IP aralıklarını karşılaştırma yapabileceğin bir JSON dosyası olarak yayınlar.

Sunucuda hız sınırı koy. Nginx'te IP başına istekleri sınırlayabilirsin:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Sunucu kuralları hızlıdır ama WordPress'i tanımaz. Ödemeyi aramadan ayırt edemezler, çoğu hosting paketinin vermediği root erişimi gerektirirler ve Google'ın IP listesini elle güncel tutmak zahmetlidir. CDN'in kural yazmana izin veriyorsa bir CDN güvenlik duvarı da iyi bir seçenektir.

Bir şeyler ters giderse

• Gerçek bir ziyaretçi 429 aldı. IP'yi kayıtta bul. Bir ofis ya da kullandığın bir araçsa izin listesine ekle. Dakikalık bütçeyi yükseltmeyi düşün.
• Search Console tarama hataları bildiriyor. Gerçek Google tarayıcıları muaftır; hataların Hushfort dışındaki bir sunucu ya da CDN kuralından gelmediğini kontrol et.
• Site hâlâ boğuluyor. Sel herhangi bir eklenti için fazla büyük olabilir. CDN'inin saldırı modunu aç. Hushfort'un acil durum modu, kendi API anahtarınla Cloudflare'in "Under Attack" modunu senin yerine açabilir ve sonra yeniden kapatabilir.

Hushfort ile

Yük Koruması, ücretsiz WordPress güvenlik eklentisi Hushfort Security'nin üzerine kurulan ücretli eklenti Hushfort Pro'nun parçasıdır.

Hushfort'un Yük Koruması katmanı her IP'ye varsayılan olarak dakikada 120 puanlık bir bütçe verir. Sayfa görüntülemeleri 1, admin-ajax GET 1 ve POST 2, REST GET 2 ve POST 3, sepete ekleme 3, arama 5, diğer POST'lar 5, XML-RPC 10 puan tutar, bir 404 de 4 puan ekler. Ödeme, ödeme geri çağrıları, WP-Cron ve wp-admin ekranları ücretsizdir.

• Bütçeyi aşan IP'ler kısa bir 429 ve 10 dakikalık bir mola alır.
• Adı resmi listede olmayan bir IP'den kullanan sahte Googlebot ve Bingbot'lar engellenir. Doğrulanmış arama botları muaftır. Dışarıya yapılan tek istek, Google'ın ve Bing'in herkese açık tarayıcı IP listelerini indirmektir.
• Acil durum modu, kendi API anahtarınla Cloudflare'in "Under Attack" modunu açabilir.
• Deneme modunda başlar.

Kendi testlerimizde bütçesini aşan bir IP, diğer istekleri 429 alırken ödemeyi yine de tamamladı.