¿Cómo detecto y bloqueo los bots maliciosos y el Googlebot falso en WordPress?

Por qué importa

No todos los días lentos son un éxito de tráfico. Algunos bots rastrean un sitio con mucha más intensidad que cualquier persona: machacan el buscador con palabras aleatorias, prueban cientos de archivos que no existen o se hacen pasar por Googlebot para que nadie se atreva a bloquearlos. Cada una de esas peticiones se salta la caché de página y obliga a WordPress y a la base de datos a trabajar de verdad.

En un hosting compartido eso significa páginas lentas, límites de CPU y, a veces, una cuenta suspendida. En una tienda significa clientes reales esperando mientras un bot lanza búsquedas.

El truco está en distinguir las peticiones caras de las baratas. Contar «peticiones por minuto» trata igual una visita a una página en caché que una búsqueda sin caché. Ponerles precio según su coste te permite ser generoso con los visitantes reales y estricto con los patrones que solo producen los bots.

Errores habituales

• Bloquear por user agent. Cualquiera puede decir que es Googlebot, y bloquear el nombre bloquea también al real. Verifica por IP.
• Un único límite para todo. Una regla plana de peticiones por minuto o deja pasar las avalanchas de búsquedas o atrapa a clientes que navegan rápido. Ponles precio a las peticiones según su coste.
• Bloquear el pago. Un límite de frecuencia que puede detener una notificación de pago o un pago te cuesta dinero de verdad. Deja esas peticiones libres.
• Bloqueos largos. Un bloqueo de un día sobre una IP compartida puede dejar fuera a una oficina entera o a una red móvil. Las pausas cortas bastan para romper el ritmo de un bot.
• Esperar que un plugin detenga las avalanchas de red. Un tráfico capaz de llenar la conexión del servidor nunca llega a WordPress. Eso es trabajo de tu CDN.

Sin plugin

Verifica Googlebot a mano. Para una IP sospechosa de tu registro de accesos:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Las dos direcciones tienen que coincidir y terminar en googlebot.com o google.com. Google también publica los rangos de IP de sus rastreadores en un archivo JSON con el que puedes compararlas.

Limita la frecuencia en el servidor. En Nginx puedes poner un tope de peticiones por IP:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Las reglas de servidor son rápidas, pero no conocen WordPress. No distinguen el pago de una búsqueda, necesitan un acceso root que la mayoría de los planes de hosting no dan, y mantener a mano la lista de IP de Google es tedioso. Un firewall de CDN es otra buena opción si el tuyo te permite escribir reglas.

Si algo sale mal

• Un visitante real ha recibido un 429. Busca la IP en el registro. Si es una oficina o una herramienta que usas, añádela a la lista de permitidas. Plantéate subir el presupuesto por minuto.
• Search Console informa de errores de rastreo. Los rastreadores reales de Google están exentos, así que comprueba que los errores no vienen de una regla del servidor o de la CDN ajena a Hushfort.
• El sitio sigue desbordado. Puede que la avalancha sea demasiado grande para cualquier plugin. Activa el modo de ataque de tu CDN. El modo de emergencia de Hushfort puede activar por ti el modo «Under Attack» de Cloudflare, con tu propia clave de API, y desactivarlo después.

Con Hushfort

La Protección de carga forma parte de Hushfort Pro, el complemento de pago que se instala sobre Hushfort Security, el plugin de seguridad gratuito para WordPress.

La capa de Protección de carga de Hushfort da a cada IP un presupuesto de 120 puntos por minuto por defecto. Ver una página cuesta 1; admin-ajax GET, 1 y POST, 2; REST GET, 2 y POST, 3; añadir al carrito, 3; una búsqueda, 5; otros POST, 5; XML-RPC, 10; y un 404 suma 4. El pago, las notificaciones de las pasarelas de pago, WP-Cron y las pantallas de wp-admin son gratis.

• Las IP que superan el presupuesto reciben un 429 breve y una pausa de 10 minutos.
• Se bloquean los Googlebot y Bingbot falsos, es decir, los que usan ese nombre desde una IP que no está en la lista oficial. Los bots de búsqueda verificados quedan exentos. La única descarga externa son las listas públicas de IP de los rastreadores de Google y Bing.
• El modo de emergencia puede activar el modo «Under Attack» de Cloudflare con tu propia clave de API.
• Empieza en modo Supervisión.

En nuestras propias pruebas, una IP que había superado su presupuesto completó igualmente el pago mientras sus otras peticiones recibían un 429.