Как распознать и заблокировать поддельный Googlebot в WordPress?

Почему это важно

Поддельный Googlebot легко распознать по IP: настоящий приходит только с адресов из официальных списков Google, поэтому «Googlebot» с любого другого адреса можно блокировать. Остальных плохих ботов сдерживает бюджет запросов в минуту на каждый IP, при котором оформление заказа всегда проходит.

Не каждый всплеск нагрузки — это успех. Некоторые боты обходят сайт гораздо агрессивнее любого человека: забивают поиск случайными словами, проверяют сотни несуществующих файлов или выдают себя за Googlebot, чтобы никто не решился их заблокировать. Каждый такой запрос минует кэш страниц и заставляет WordPress и базу данных выполнять реальную работу.

На виртуальном хостинге это значит медленные страницы, упор в лимиты CPU, а иногда и приостановленный аккаунт. В магазине — реальные покупатели ждут, пока бот гоняет поиск.

Весь фокус в том, чтобы отличать дорогие запросы от дешёвых. Подсчёт «запросов в минуту» уравнивает просмотр кэшированной страницы и некэшируемый поиск. Если оценивать запросы по стоимости, можно быть щедрым к настоящим посетителям и строгим к шаблонам, которые создают только боты.

Частые ошибки

• Блокировка по user agent. Назваться Googlebot может кто угодно, а блокировка по имени блокирует и настоящего. Проверяйте по IP.
• Один лимит на всё. Плоское правило «запросов в минуту» либо пропускает поисковый флуд, либо ловит покупателей, которые быстро листают страницы. Оценивайте запросы по стоимости.
• Блокировка оформления заказа. Лимит, который может остановить обратный вызов платёжной системы или оформление заказа, стоит вам реальных денег. Оставляйте их бесплатными.
• Долгие баны. Бан на сутки для общего IP может отрезать целый офис или мобильную сеть. Коротких пауз достаточно, чтобы сбить ботов с ритма.
• Ожидание, что плагин остановит сетевой флуд. Трафик, способный забить канал сервера, до WordPress не доходит. Это задача для вашего CDN.

Без плагина

Проверьте Googlebot вручную. Для подозрительного IP из журнала доступа:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Оба направления должны совпадать и заканчиваться на googlebot.com или google.com. Google также публикует диапазоны IP своих краулеров в виде JSON-файла, с которым можно сверяться.

Ограничьте частоту запросов на сервере. В Nginx можно ограничить число запросов с одного IP:

# in the http block
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

# in the server block
location / {
    limit_req zone=perip burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
}

Серверные правила работают быстро, но ничего не знают о WordPress. Они не отличают оформление заказа от поиска, требуют root-доступа, которого большинство тарифов хостинга не даёт, а вручную поддерживать список IP Google утомительно. Ещё один хороший вариант — файрвол CDN, если ваш позволяет писать правила.

Если что-то пошло не так

• Реальный посетитель получил 429. Найдите его IP в журнале. Если это офис или инструмент, которым вы пользуетесь, добавьте IP в белый список. Подумайте, не поднять ли бюджет в минуту.
• Search Console сообщает об ошибках сканирования. Настоящие краулеры Google не ограничиваются, поэтому проверьте, не вызваны ли ошибки правилом сервера или CDN вне Hushfort.
• Сайт всё равно не справляется. Возможно, флуд слишком велик для любого плагина. Включите режим защиты от атак в своём CDN. Аварийный режим Hushfort может сам включить в Cloudflare режим «Under Attack» с вашим собственным API-ключом, а потом выключить его.

С Hushfort

«Защита от нагрузки» входит в Hushfort Pro — платное дополнение к Hushfort Security, бесплатному плагину безопасности для WordPress.

Уровень «Защита от нагрузки» в Hushfort по умолчанию даёт каждому IP бюджет 120 баллов в минуту. Просмотр страницы стоит 1, admin-ajax GET — 1, POST — 2, REST GET — 2, POST — 3, добавление в корзину — 3, поиск — 5, прочие POST — 5, XML-RPC — 10, а 404 добавляет 4. Оформление заказа, обратные вызовы платёжных систем, WP-Cron и экраны wp-admin бесплатны.

• IP сверх бюджета получают короткий 429 и паузу на 10 минут.
• Поддельные Googlebot и Bingbot, которые называются этим именем, но приходят с IP не из официального списка, блокируются. Проверенные поисковые боты не ограничиваются. Единственный исходящий запрос — загрузка публичных списков IP краулеров Google и Bing.
• Аварийный режим может включить в Cloudflare режим «Under Attack» с вашим собственным API-ключом.
• Модуль стартует в режиме наблюдения.

В нашем собственном тесте IP сверх бюджета всё равно успешно оформил заказ, а на остальные его запросы приходил 429.