Автор

Страницы

Категории

RSS (FeedBurner)

Боремся с рефспамом

10.8.2008

Спам является деянием предусмотренным статьями 272, 273 УК РФ. Оно вам надо?

Немного теории

Когда пользователь переходит по гиперссылке с сайта А на сайт Б, его браузер передает в своих заголовках серверу Б некоторые служебные данные, в числе которых адрес документа — источника ссылки сервера А. Этот заголовок с адресом страницы источника называется Referer и (как правило) записывается в логи сервера Б. (Не пинайте ногами за банальности.)

Логи, как правило, автоматически обрабатываются той или иной программой-анализатором и могут быть публично доступны.

Теперь начинается самое интересное. Так как Referer очень легко подделывается, злоумышленникам остается осуществить достаточно большое количество запросов к сайту жертве (например, вашему), передав при этом в поле Referer адрес своего сайта (дор, говносайт, что угодно). Вуаля — ссылка на дор на вашем сайте. Это и называется рефспам.

Спамер получает бонусы, а вы можете об этом и не знать. И кроме того, что спамер бесплатно рекламируется на вашем сайте, отжирает ваш трафик и процессорное время, вы имеете вполне реальную угрозу попасть под фильтры за ссылки на всякое говно.

Как они это делают?

Прежде всего спамер выбирает жертву — сайт, открыто публикующий свою статистику. Дело это достаточно тривиальное.

Сама атака может осуществляться несколькими способами. Например с помощью программ пауков, настроенных передавать фальшивый Referer. Другой возможностью является использование уязвимостей веб-браузеров (как правило Ineternet Explorer), позволяющих встраивать в них вредоносный код (Лишний раз подумайте какие сайты посещать и стоит ли устанавливать очередной SEO бар).

Кстати. Легальные компании порой тоже не прочь немного попиариццо. Не хочется называть имена и торговые марки, но справедливости ради — по крайней мере одна широко известная компания — производитель антивирусного и антихакерского софта широко пользуется этим «методом». Фаервол этой компании имеет возможность блокировать поле Referer. Примечательно то, что вместо полной очистки этого заголовка, фаервол вставляет туда: «Заголовок блокирован (http://www.***.com)». Ну вы знаете.

И что делать?

ОК. В одно чудесное утро, вы просматриваете ваши статсы и в разделе «Ссылающиеся сайты» натыкаетесь на что-то явно левое. Хорошо если там сотня-другая хитов (в худшем случае вы можете лишиться всей квоты трафика). Хорошо, если ваш сервер — Апач.

Существует простая и эффективная процедура борьбы с рефспамом силами сервера. Добавляем в .htaccess следующие директивы:


Options +FollowSymlinks
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer1.com.*$ [OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer2.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer3.com.*$ [NC,OR]
...
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammerN.com.*$ [NC]
RewriteRule \.*$ http://fuckyou.narod.ru [R,L]

Первое правило не должно содержать флаг [NC] (no case), последнее — условия [OR]. Вместо spammer1.com, spammer2.com пишем засветившихся спамеров.

В результате выполнения этих директив все запросы, имеющие в своих заголовках перечисленные спам-сайты будут перенаправлены в соответствующем направлении (der Folder привет).

Еще по теме

Post tags:

5 Комментариев »

  1. […] автор сайта преподносит интересную информацию на следующие темы […]

    Комментарий от Виктория (100dnei.ru) — 13.8.2008 @ 10:37

  2. Ага. А вот это называется SPing (”spam ping”). В следующем посте что-нибудь на эту тему нацарапаю

    Комментарий от organic — 13.8.2008 @ 11:48

  3. На самом деле все не так страшно. Тыща хитов запросом HEAD тонну трафика не съест. Как несколько десятков страниц открыть. А бороться еще проще - статсу или не публикуем или в роботс ее, чтоб поисковики не находили (а кому она еще нужна?). Ну или как недавно (с июля) сделали на exler, когда посмотрели на свой реф топ30 =) ..

    Комментарий от Begun — 14.8.2008 @ 00:20

  4. Ну, да. Сейчас не 1998 год - трафа в принципе дофига. Это из раздела мелочи, а неприятно.

    А как на exler сделали, не понял?

    Комментарий от organic — 14.8.2008 @ 01:48

  5. […] блогу із приводу .htaccess продовжив шукати далі і виявив цікавий матеріал, правда описується боротьба із спамерами, що […]

    Уведомление от Накипіло або трохи про спам | StopIE.org.ua — 17.10.2008 @ 22:19

RSS комментариев к этой записи. URL обратной ссылки

Оставить комментарий