Bagaimana cara memblokir Googlebot palsu dan bot nakal di WordPress?

Untuk memblokir Googlebot palsu di WordPress, cocokkan IP pengunjung dengan rentang IP yang dipublikasikan Google: apa pun yang memakai nama Googlebot dari alamat lain adalah palsu. Bot nakal lainnya diatasi dengan jatah permintaan per IP dan jawaban 429 singkat, tanpa pernah memblokir checkout. Perlindungan Beban ada di Hushfort Pro, add-on berbayar untuk Hushfort Security, plugin keamanan WordPress gratis.

Mengapa ini penting

Tidak setiap hari yang lambat berarti lalu lintas sedang ramai. Sebagian bot menjelajahi situs jauh lebih agresif daripada manusia mana pun: membombardir kotak pencarian dengan kata acak, mencari ratusan file yang tidak ada, atau menyamar sebagai Googlebot agar tidak ada yang berani memblokirnya. Setiap permintaan itu melewati cache halaman dan memaksa WordPress serta database bekerja sungguhan.

Di shared hosting, akibatnya halaman lambat, batas CPU terlampaui, dan kadang akun ditangguhkan. Di toko online, pelanggan sungguhan harus menunggu sementara bot menjalankan pencarian.

Kuncinya adalah membedakan permintaan yang berat dari yang ringan. Menghitung "permintaan per menit" menyamakan tampilan halaman dari cache dengan pencarian tanpa cache. Memberi harga sesuai bebannya memungkinkan Anda tetap longgar kepada pengunjung sungguhan dan tegas terhadap pola yang hanya dihasilkan bot.

Kesalahan yang sering terjadi

• Memblokir berdasarkan user agent. Siapa pun bisa mengaku sebagai Googlebot, dan memblokir namanya berarti ikut memblokir yang asli. Verifikasi lewat IP.
• Satu batas untuk semuanya. Aturan datar permintaan per menit akan meloloskan banjir pencarian atau justru menjaring pelanggan yang menjelajah dengan cepat. Beri harga sesuai beban.
• Memblokir checkout. Pembatasan laju yang bisa menghentikan callback pembayaran atau checkout membuat Anda kehilangan uang sungguhan. Biarkan keduanya gratis.
• Blokir yang terlalu lama. Blokir seharian pada IP bersama bisa menghalangi satu kantor atau satu jaringan seluler. Jeda singkat sudah cukup untuk mematahkan ritme bot.
• Berharap plugin menghentikan banjir di tingkat jaringan. Lalu lintas yang cukup besar untuk memenuhi koneksi server tidak pernah sampai ke WordPress. Itu tugas CDN Anda.

Tanpa plugin

Verifikasi Googlebot secara manual. Untuk IP mencurigakan dari access log Anda:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Kedua arah harus cocok dan berakhir dengan googlebot.com atau google.com. Google juga memublikasikan rentang IP crawler-nya sebagai file JSON yang bisa Anda jadikan pembanding.

Batasi laju di server. Di Nginx, Anda bisa membatasi permintaan per IP:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Aturan server memang cepat, tetapi tidak mengenal WordPress. Aturan itu tidak bisa membedakan checkout dari pencarian, memerlukan akses root yang tidak diberikan sebagian besar paket hosting, dan memelihara daftar IP Google secara manual itu merepotkan. Firewall CDN juga pilihan yang bagus jika CDN Anda mengizinkan Anda menulis aturan.

Jika terjadi masalah

• Pengunjung sungguhan mendapat 429. Cari IP-nya di log. Jika itu kantor atau alat yang Anda pakai, tambahkan ke daftar izin. Pertimbangkan untuk menaikkan jatah per menit.
• Search Console melaporkan kesalahan crawl. Crawler Google yang asli dikecualikan, jadi pastikan kesalahan itu tidak berasal dari aturan server atau CDN di luar Hushfort.
• Situs masih kewalahan. Banjirnya mungkin terlalu besar untuk plugin apa pun. Nyalakan mode serangan di CDN Anda. Mode darurat Hushfort bisa menyalakan mode "Under Attack" Cloudflare untuk Anda, memakai kunci API Anda sendiri, lalu mematikannya kembali setelahnya.

Dengan Hushfort

Perlindungan Beban adalah bagian dari Hushfort Pro, add-on yang dipasang di atas plugin gratis.

Lapisan Perlindungan Beban dari Hushfort memberi setiap IP jatah 120 poin per menit secara bawaan. Tampilan halaman bernilai 1, admin-ajax GET 1 dan POST 2, REST GET 2 dan POST 3, tambah ke keranjang 3, pencarian 5, POST lainnya 5, XML-RPC 10, dan 404 menambah 4. Checkout, callback pembayaran, WP-Cron, dan layar wp-admin gratis.

• IP yang melampaui jatah mendapat 429 singkat dan jeda 10 menit.
• Googlebot dan Bingbot palsu, yang memakai nama itu dari IP yang tidak ada di daftar resmi, diblokir. Bot mesin pencari yang terverifikasi dikecualikan. Satu-satunya pengambilan data ke luar adalah daftar IP crawler publik milik Google dan Bing.
• Mode darurat bisa menyalakan mode "Under Attack" Cloudflare dengan kunci API Anda sendiri.
• Modul ini dimulai dalam mode Pantau.

Dalam pengujian kami sendiri, IP yang melampaui jatahnya tetap berhasil menyelesaikan checkout sementara permintaan lainnya mendapat 429.