Кто посещает наши сайты?
- Хорошие юзеры:
- пользователи ищущие ответ на свой вопрос;
- боты поисковых систем.
- «Редиски»:
- копипастеры вручную копирующие ваш контент;
- парсеры, которые на автомате «тырят» контент;
- КМ ищущие картинки для своих ГС.
Наша задача найти и забанить вторых.
Кроме ботов (агентов) поисковых систем и парсеров есть агенты различных сервисов (типа similarweb), которые просто собирают статистику всего веба. Нам они нейтральны, но в принципе можно забанить и их (чтобы враги не видели статистику вашего сайта).
Вот они голубчики (у них активность одним красным кружочком):
- При просмотре log-файла обращаем внимание на пользователей :
- ищущих что-либо в ваших служебных файлах;
- приходящих на несуществующие файлы (ошибка 404);
- просматривающих только картинки.
Таких пользователей рекомендую тоже забанить.