Установка ловушки для поисковых роботов на страницах вашего сайта

Данная задача не может решаться установкой в код вашей страницы традиционного счетчика, основанного на картинках и яваскрипте, так как роботы скачивают картинки по своим алгоритмам, не вместе со страничками. А уж яваскрипт тем более они не выполняют.

Единственный способ "поймать робота" - вставить в код каждой страницы SSI вставку с простейшим скриптом. Так как SSI выполняется на стороне сервера, робот его запустит и это можно будет отследить.

Данная врезка не повредит вашему сайту, так как реально что то считаться и передаваться на сервер обработки будет только в том случае, когда действительно на сайте появился тот или иной поисковый робот, что бывает не так уж и часто.

Технология установки счетчика - надо вставить SSI вставку в коды ваших страниц. Для этого надо в код, расположенный ниже, подставить значение site_id=, равным идентификатору вашего сайта. Узнать свой идентификатор можно, посмотрев на URL страниц статистики на нашем сайте. Например для www.3dnews.ru УРЛ статистики http://www.liveinternet.ru/stat/3dnews.ru/, а значит надо подставить site_id=3dnews.ru.

Далее - надо выложить на ваш сервер код PHP скрипта. В качестве языка выбран PHP для того, чтобы у вас не возникло трудностей с компилированием, адаптированием, а главное - не возникло вопросов безопасности - мало ли какой скрипт просят выложить. Тут же вы можете посмотреть на его код и увидеть, что все что он делает - определяет поисковый робот ли его вызвал. И если да - пересылает запрос на сервер подсчета.

Данный код надо сохранить в файл li_spider_check.php и выложить в корневую веб - директорию на вашем сервере. В случае, если вы назовете файл по другому или выложите его в другую директорию (главное, чтобы она была видна из Веба), то этот адрес надо изменить в верхней врезке.

Необходимость вам выкладывать на свой сервер скрипт связана с тем, что SSI может вызывать только скрипты, находящиеся на том же сервере, что и страницы, на которых этот код стоит.