Блокируем нежелательных ботов

Для снятия нагрузки с сервера заблокируем основных ботов, которые нагружают сервер больше чем сами поисковики (ботов Goole и Яндекс естественно не трогаем).

Для этого в файл .htaccess прописываем:

RewriteEngine On
#majestic.com
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
#semrush.com
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
#moz.com
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
#ahrefs.com
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule .*[F]

MJ12bot
Поисковый робот сервиса Majestic, которые собирает данные об исходящих ссылках на сайтах. Робот нормально воспринимает канонические страницы, но на сайтах, где канонические урлы отсутствуют, начинает очень сильно «буксовать» на страницах, в урлах которых содержатся параметры.

AhrefsBot
Этот робот анализирует страницы сайта на наличие внешних ссылок. Сам сайт ahrefs.com предоставляет неплохой профессиональный сервис по оценке и анализу ссылочного.

HubSpot Webcrawler
Это робот поисковой системы сайта amazon.com. На самом «Амазоне» заявлено, что данная платформа создана для компаний, которым нужно привлечь посетителей, т.е. по сути робот является сборщиком контента с интернет-магазинов.

Оцените, пожалуйста, статью, я старался :) (голосов: 2, оценка: 5,00 из 5)

Задайте вопрос в комментариях

14 + два =