Боремся с рефспамом
Спам является деянием предусмотренным статьями 272, 273 УК РФ. Оно вам надо?
Немного теории
Когда пользователь переходит по гиперссылке с сайта А на сайт Б, его браузер передает в своих заголовках серверу Б некоторые служебные данные, в числе которых адрес документа — источника ссылки сервера А. Этот заголовок с адресом страницы источника называется Referer и (как правило) записывается в логи сервера Б. (Не пинайте ногами за банальности.)
Логи, как правило, автоматически обрабатываются той или иной программой-анализатором и могут быть публично доступны.
Теперь начинается самое интересное. Так как Referer очень легко подделывается, злоумышленникам остается осуществить достаточно большое количество запросов к сайту жертве (например, вашему), передав при этом в поле Referer адрес своего сайта (дор, говносайт, что угодно). Вуаля — ссылка на дор на вашем сайте. Это и называется рефспам.
Спамер получает бонусы, а вы можете об этом и не знать. И кроме того, что спамер бесплатно рекламируется на вашем сайте, отжирает ваш трафик и процессорное время, вы имеете вполне реальную угрозу попасть под фильтры за ссылки на всякое говно.
Как они это делают?
Прежде всего спамер выбирает жертву — сайт, открыто публикующий свою статистику. Дело это достаточно тривиальное.
Сама атака может осуществляться несколькими способами. Например с помощью программ пауков, настроенных передавать фальшивый Referer. Другой возможностью является использование уязвимостей веб-браузеров (как правило Ineternet Explorer), позволяющих встраивать в них вредоносный код (Лишний раз подумайте какие сайты посещать и стоит ли устанавливать очередной SEO бар).
Кстати. Легальные компании порой тоже не прочь немного попиариццо. Не хочется называть имена и торговые марки, но справедливости ради — по крайней мере одна широко известная компания — производитель антивирусного и антихакерского софта широко пользуется этим «методом». Фаервол этой компании имеет возможность блокировать поле Referer. Примечательно то, что вместо полной очистки этого заголовка, фаервол вставляет туда: «Заголовок блокирован (http://www.***.com)». Ну вы знаете.
И что делать?
ОК. В одно чудесное утро, вы просматриваете ваши статсы и в разделе «Ссылающиеся сайты» натыкаетесь на что-то явно левое. Хорошо если там сотня-другая хитов (в худшем случае вы можете лишиться всей квоты трафика). Хорошо, если ваш сервер — Апач.
Существует простая и эффективная процедура борьбы с рефспамом силами сервера. Добавляем в .htaccess следующие директивы:
Options +FollowSymlinks
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer1.com.*$ [OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer2.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer3.com.*$ [NC,OR]
…
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammerN.com.*$ [NC]
RewriteRule \.*$ http://fuckyou.narod.ru [R,L]
Первое правило не должно содержать флаг [NC] (no case), последнее — условия [OR]. Вместо spammer1.com, spammer2.com пишем засветившихся спамеров.
В результате выполнения этих директив все запросы, имеющие в своих заголовках перечисленные спам-сайты будут перенаправлены в соответствующем направлении (der Folder привет).
[…] автор сайта преподносит интересную информацию на следующие темы […]
Ага. А вот это называется SPing (”spam ping”). В следующем посте что-нибудь на эту тему нацарапаю
На самом деле все не так страшно. Тыща хитов запросом HEAD тонну трафика не съест. Как несколько десятков страниц открыть. А бороться еще проще - статсу или не публикуем или в роботс ее, чтоб поисковики не находили (а кому она еще нужна?). Ну или как недавно (с июля) сделали на exler, когда посмотрели на свой реф топ30 =) ..
Ну, да. Сейчас не 1998 год - трафа в принципе дофига. Это из раздела мелочи, а неприятно.
А как на exler сделали, не понял?
а нафиг так извращаться, когда можно просто запретить папку статистики к индексации и всего делов?