вчера, 2 июня 2008 года, понедельник
Файлы Sitemap вчера, 17:13
Обычно робот Яндекса узнаёт о страницах сайта, переходя по ссылкам. В большинстве случаев этого достаточно для полной индексации сайта. Однако, если ваш сайт содержит много динамически создаваемых страниц или же страницы, для попадания на которые требуется много переходов по ссылкам, робот Яндекса может не сразу найти некоторые страницы сайта или неверно определить их важность. Файлы Sitemap помогают решить эти проблемы.
Файл Sitemap -- это файл с дополнительной информацией о страницах сайта, подлежащих индексации. С его помощью вы можете сообщить Яндексу, какие страницы вашего сайта нужно индексировать, какие из них наиболее важны, а также как часто обновляется информация на страницах.
Яндекс поддерживает два формата файлов Sitemap:XML и текстовый.Описание форматов дано на сайте sitemaps.org/ru.
Вы можете сообщить Яндексу о наличии файла Sitemap для сайта двумя способами:
добавив URL файла Sitemap в раздел "Файлы Sitemap" сервиса Яндекс.Вебмастер;
добавив директиву Sitemap в файл robots.txt вашего сайта.
Робот ждёт ваших подсказок!
Михаил Сенин и разработчики сервиса Я.Вебмастер
23 ответа
прокомментироватьилипрокомментироватьилиответить фоткойсменить настроениесменить портретподружитьсяподелиться с друзьями
27 мая, вторник
Вирус подмены страниц 27 мая, 20:33
В последнее время в Рунете появилось вредоносное программное обеспечение нового типа – программы, созданные для искажения страниц в браузере пользователя. Поскольку нас интересует поиск, мы рассмотрим деятельность этих программ в контексте поисковых систем.
В строгом понимании термина «вирус» эти программы вирусами не являются, однако механизм их работы очень похож на деятельность вирусов, поэтому условимся называть такое ПО «вирусом подмены страниц». При обращении пользователя, компьютер которого заражен таким вирусом, к поисковой системе вирус изменяет один из результатов поиска. Таким образом, пользователь переходит не на сайт, найденный поисковой системой, а на какой-то другой.
Эта проблема существует для всех популярных в Рунете поисковиков – для Яндекса, Google, Рамблера, MSN (Live). Кроме того, вирус может подменять не только страницы с результатами поиска, а вообще любые сайты.
Вирус подмены страниц может попасть на компьютер вместе с какой-нибудь программой, загруженной из интернета. Например, вместе с бесплатным ускорителем закачки файлов BitAccelerator, который предоставляется файлообменным сервисом Letitbit.net. Вместе с этой программой пользователь скачивает скрытую библиотеку. Эта библиотека остается на компьютере пользователя и при удалении BitAccelerator.
Чаще всего на зараженном компьютере вирус ведет себя одним из двух способов:
Вирус подменяет html-код страницы с результатами поиска, подставляя вместо одного из результатов ссылку и описание другого сайта. Дизайн и общий вид подмененной позиции похожи на обычные результаты поиска, но сам сайт к заданному запросу отношения не имеет. Например, по запросу [самолет] выводится порносайт, или по запросу [Яндекс] – сайт другой компании. Если задать тот же самый запрос еще раз, нерелевантный сайт исчезнет из результатов поиска.
Другой вариант появился позднее, возможно, вследствие того, что пользователи меньше кликали по нерелевантным ответам. По запросу пользователя страница выдачи не изменяется, но при переходе по одному из первых результатов поиска вирус переадресовывает пользователя на другой сайт.
Вирус подмены страниц используется для воровства и продажи трафика – с его помощью можно получить, по самым скромным оценкам, несколько сот тысяч переходов в день. Переходы пользователей продаются рекламодателям как контекстная реклама.
Схема работы мошенников выглядит следующим образом:
Рекламодатель заказывает рекламу сайта по определенным ключевым словам. Эти слова передаются в программу, работающую на удаленном сервере злоумышленников.
Когда пользователь заходит с зараженного компьютера на сайт какой-нибудь поисковой системы и вводит запрос в строке поиска, вирус активизируется и передает запрос на сервер мошенников. Если этот запрос содержится в программе, в ответ приходит адрес сайта, который подставляется в выдачу поисковика.
Пользователь переходит по ложной ссылке и уходит, решив, что поисковая система дала ему нерелевантный ответ. При этом вирус модифицирует HTTP-запрос таким образом, что в логи посещенного сайта записывается переход с рекламной сети мошенников – поэтому рекламодатель заплатит за этот переход.
В результате проигрывают все – кроме авторов вируса, конечно. Пользователь не находит нужную информацию. Рекламодатель платит за нецелевой трафик. Поисковая система теряет репутацию – обнаружив последствия работы вируса подмены, некоторые пользователи обвиняют поисковики в продаже мест на первых страницах выдачи.
До недавнего времени антивирусные компании классифицировали вирусы подмены страниц просто как рекламный софт – не особо полезный, но вроде бы и не вредный. В результате совместных с нами обсуждений и исследований большинство антивирусных компаний пришло к выводу, что такие программы представляют несомненную угрозу. Сейчас большинство производителей антивирусов перевели вирусы подмены страниц в класс вредоносного и опасного ПО. Антивирусы компаний Dr.Web, «Лаборатория Касперского», ESET (NOD32), Panda Security обнаруживают и автоматически удаляют все известные версии вируса подмены страниц.
Кроме того, можно избавиться от вируса при помощи бесплатного приложения Я.Онлайн с антивирусом Касперского или утилиты CureIt от "Доктора Веба". Скачать Я.Онлайн можно по адресу online.yandex.ru, а утилиту CureIt – с сайта компании "Доктор Веб": freedrweb.com.
Мы рассчитываем на то, что вместе с антивирусными компаниями нам удастся остановить распространение вируса и появление его новых образцов.
Если вы подозреваете, что ваш компьютер заражен вирусом подмены страниц, пишите по адресу –
safesearch@yandex-team.ru. Мы обязательно поможем.
