Отрицательные факторы ранжирования

21.8.2008

Очередной короткий пост «для себя». Буквально одна ссылка — оживленные прения на Серчах по поводу отрицательных факторов ранжирования. (Если попадется еще что-то замечательное будет upd поста.)

Боремся с рефспамом

10.8.2008

Спам является деянием предусмотренным статьями 272, 273 УК РФ. Оно вам надо?

Немного теории

Когда пользователь переходит по гиперссылке с сайта А на сайт Б, его браузер передает в своих заголовках серверу Б некоторые служебные данные, в числе которых адрес документа — источника ссылки сервера А. Этот заголовок с адресом страницы источника называется Referer и (как правило) записывается в логи сервера Б. (Не пинайте ногами за банальности.)

Логи, как правило, автоматически обрабатываются той или иной программой-анализатором и могут быть публично доступны.

Теперь начинается самое интересное. Так как Referer очень легко подделывается, злоумышленникам остается осуществить достаточно большое количество запросов к сайту жертве (например, вашему), передав при этом в поле Referer адрес своего сайта (дор, говносайт, что угодно). Вуаля — ссылка на дор на вашем сайте. Это и называется рефспам.

Спамер получает бонусы, а вы можете об этом и не знать. И кроме того, что спамер бесплатно рекламируется на вашем сайте, отжирает ваш трафик и процессорное время, вы имеете вполне реальную угрозу попасть под фильтры за ссылки на всякое говно.

Как они это делают?

Прежде всего спамер выбирает жертву — сайт, открыто публикующий свою статистику. Дело это достаточно тривиальное.

Сама атака может осуществляться несколькими способами. Например с помощью программ пауков, настроенных передавать фальшивый Referer. Другой возможностью является использование уязвимостей веб-браузеров (как правило Ineternet Explorer), позволяющих встраивать в них вредоносный код (Лишний раз подумайте какие сайты посещать и стоит ли устанавливать очередной SEO бар).

Кстати. Легальные компании порой тоже не прочь немного попиариццо. Не хочется называть имена и торговые марки, но справедливости ради — по крайней мере одна широко известная компания — производитель антивирусного и антихакерского софта широко пользуется этим «методом». Фаервол этой компании имеет возможность блокировать поле Referer. Примечательно то, что вместо полной очистки этого заголовка, фаервол вставляет туда: «Заголовок блокирован (http://www.***.com)». Ну вы знаете.

И что делать?

ОК. В одно чудесное утро, вы просматриваете ваши статсы и в разделе «Ссылающиеся сайты» натыкаетесь на что-то явно левое. Хорошо если там сотня-другая хитов (в худшем случае вы можете лишиться всей квоты трафика). Хорошо, если ваш сервер — Апач.

Существует простая и эффективная процедура борьбы с рефспамом силами сервера. Добавляем в .htaccess следующие директивы:


Options +FollowSymlinks
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer1.com.*$ [OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer2.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammer3.com.*$ [NC,OR]
...
RewriteCond %{HTTP_REFERER} ^http://(www\.)?spammerN.com.*$ [NC]
RewriteRule \.*$ http://fuckyou.narod.ru [R,L]


Первое правило не должно содержать флаг [NC] (no case), последнее — условия [OR]. Вместо spammer1.com, spammer2.com пишем засветившихся спамеров.

В результате выполнения этих директив все запросы, имеющие в своих заголовках перечисленные спам-сайты будут перенаправлены в соответствующем направлении (der Folder привет).

Еще по теме

• Alexf:Про рефспам

Таки спам Полубомжа?

23.7.2008

Несколько дней назад обратил внимание на комментарий широко известного в узких кругах московского Полубомжа:

Я завтра собрался подводить очередные промежуточные итоги конкурса на 5000 у.е. Поэтому если что - велком на блог. Хотя по большому счету - лентяи все такие что ппц… Походу все что осилили - только зарегаться смогли

Совершенно не сомневаясь в аутентичности поста (хм… хм…) одобрил его и оставил короткий коммент на блоге автора. Почитывая сегодня подписки наткнулся на пост dimka, который во-первых ведя с десяток блогов получил этот опус сразу несколько раз, и во-вторых не поленился погуглить его.
Полубомж позже пояснил ситуацию:

За неимением свободного времени попросил кинуть одного товарща сей каммент в определенные блоги, которых порядка 80 штук (блоги участников конкурса, у которых они есть).

Но в итоге как говорится “заставь дурака богу молиться - он и лоб расшибет”

Каммент был тупо прогнан видимо на автомате по спарсенным из поиска блогам.

Самому если честно - неприятно. Но что сделано, как говорится, то сделано. Посему, за предоставленные школьнегами неудобства, извиняюсь.

Такие дела.

Не-умный шлак в камментах

21.7.2008

Настала моя очередь смеяться над тупорылыми спамерами, оставляющими «умный» шлак в камментах. С неозвученного позволения уважаемых господ спаммеров приведу несколько опусов:

А в Испании взрывы звучат… террористы и до европы добрались… :(

А Вы слышали что в Москве вчера сильным ветром повалило бронзовый памятник Ленину? Ужас а не погодка…

Подскажите, где купить новый iPhone? Никак не могу найти в Москве. Прочитала в сети что в Москве он вообще продаваться не будет. Как быть?

В Москве жара такая, а у Вас еще как-то хватает сил писать…

Причем пишут буквально с нескольких IP, натурально, под разными именами, и, похоже, в полуавтоматическом режиме. Назвать такие комментарии «умным спамом» совершенно невозможно. Кстати Дмитрий Dimox Лялин недавно предложил простой метод разоблачения подобных комментаторов. Менее известный блоггер Александр Tod Тодосийчук опубликовал небольшой, но весьма занимательный обзор по теме спама в комментариях.

Еще по теме: http://www.google.com.ua/search?q=умный+спам

Небольшое спам-исследование на toleg.ru

18.4.2008

Набрел на небольшое исследование проведенное автором блога toleg.ru. Синоптически протокол выглядит так. Взята выборка из 250 наиболее читаемых блогов, каждый из них проспамлен одним из четырех вариантов спам-комментария — от ярко выраженного тупого до хитромудро замаскированного.

Если отвлечься от выводов автора и некоторых методологических ошибок исследования, виден один важный результат. «Комментарий классически спамный (отличный блог! очень интересно!) — такие везде прошли модерацию». Думаю, Анатолий несколько лукавит относительно везде, но даже если 9 из 10 блоггеров пропускают подобное в комментарии, за русскую блогосферу становится грустно.

Любопытно было бы узнать, что за «полуавтоматический спам-постер с функцией обучения» имелся в виду.

Следующие записи »