Como identificar e bloquear o tráfego de Googlebot falso no WordPress?

Por que isso importa

Nem todo dia lento é sucesso de audiência. Alguns bots rastreiam um site com muito mais força do que qualquer pessoa: martelam a caixa de busca com palavras aleatórias, sondam centenas de arquivos inexistentes ou fingem ser o Googlebot para que ninguém ouse bloqueá-los. Cada uma dessas requisições pula o cache de página e faz o WordPress e o banco de dados trabalharem de verdade.

Em hospedagem compartilhada, isso significa páginas lentas, limites de CPU e, às vezes, uma conta suspensa. Em uma loja, significa clientes reais esperando enquanto um bot faz buscas.

O segredo é separar as requisições caras das baratas. Contar "requisições por minuto" trata uma visualização de página em cache e uma busca fora do cache como iguais. Cobrar pelo custo permite ser generoso com os visitantes reais e rígido com os padrões que só os bots produzem.

Erros comuns

• Bloquear pelo user agent. Qualquer um pode dizer que é o Googlebot, e bloquear o nome bloqueia também o verdadeiro. Verifique pelo IP.
• Um limite para tudo. Uma regra fixa de requisições por minuto ou deixa passar enxurradas de buscas ou pega clientes que navegam rápido. Cobre as requisições pelo custo.
• Bloquear o checkout. Um limite de frequência que pode barrar um retorno de pagamento ou um checkout custa dinheiro de verdade. Mantenha esses caminhos livres.
• Banimentos longos. Banir por um dia um IP compartilhado pode bloquear um escritório inteiro ou uma rede móvel. Pausas curtas bastam para quebrar o ritmo de um bot.
• Esperar que um plugin barre enxurradas na camada de rede. Um tráfego grande o bastante para lotar a conexão do servidor nunca chega ao WordPress. Isso é trabalho para a sua CDN.

Sem plugin

Verifique o Googlebot na mão. Para um IP suspeito do seu log de acesso:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

As duas direções precisam bater e terminar em googlebot.com ou google.com. O Google também publica as faixas de IP dos seus robôs em um arquivo JSON que você pode usar para comparar.

Limite a frequência no servidor. No Nginx, você pode limitar as requisições por IP:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

As regras de servidor são rápidas, mas não conhecem o WordPress. Elas não distinguem o checkout de uma busca, exigem acesso root que a maioria dos planos de hospedagem não oferece, e manter a lista de IPs do Google na mão é trabalhoso. Um firewall de CDN é outra boa opção, se a sua permitir escrever regras.

Se algo der errado

• Um visitante real recebeu um 429. Procure o IP no registro. Se for um escritório ou uma ferramenta que você usa, adicione-o à lista de permissões. Considere aumentar o orçamento por minuto.
• O Search Console relata erros de rastreamento. Os robôs reais do Google ficam isentos, então verifique se os erros não vêm de uma regra do servidor ou da CDN fora do Hushfort.
• O site continua sobrecarregado. A enxurrada pode ser grande demais para qualquer plugin. Ligue o modo de ataque da sua CDN. O modo de emergência do Hushfort pode ligar o modo "Under Attack" da Cloudflare para você, usando a sua própria chave de API, e desligá-lo depois.

Com o Hushfort

A Proteção de Carga faz parte do Hushfort Pro, o complemento que funciona sobre o Hushfort Security, o plugin de segurança gratuito para WordPress.

A camada Proteção de Carga do Hushfort dá a cada IP um orçamento de 120 pontos por minuto por padrão. Visualizações de página custam 1, admin-ajax GET 1 e POST 2, REST GET 2 e POST 3, adicionar ao carrinho 3, busca 5, outros POSTs 5, XML-RPC 10, e um 404 acrescenta 4. Checkout, retornos de pagamento, WP-Cron e telas do wp-admin são gratuitos.

• IPs acima do orçamento recebem um 429 curto e uma pausa de 10 minutos.
• Googlebots e Bingbots falsos, que usam o nome a partir de um IP fora da lista oficial, são bloqueados. Os robôs de busca verificados ficam isentos. A única conexão externa é para baixar as listas públicas de IPs dos robôs do Google e do Bing.
• O modo de emergência pode ligar o modo "Under Attack" da Cloudflare com a sua própria chave de API.
• Ele começa no modo Monitorar.

Nos nossos próprios testes, um IP acima do orçamento ainda concluiu o checkout enquanto as outras requisições dele recebiam um 429.