Часто мы сталкиваемся с противоречием: обязательно хотим, чтобы наш сайт был проиндексирован для поиска, и не хотим, чтобы некоторые страницы его попадались на глаза кому попало.

И вот тут на выручку приходит стандарт WWW - robots.txt.

Это - не блюдо. Это - приправа к любому блюду, выложенному на вашем сайте.

Как его использовать? А просто: как горчицу или хрен, или сливовое повидло.

Стандарт для robots.txt никому не принадлежит, а начало его использования приходится на 1994 год. Сейчас robots.txt используется всеми популярными поисковыми системами. Файл robots.txt – это The Robots Exclusion Protocol, то есть файл исключений для поисковых роботов. Robots.txt противоположен по смыслу файлу sitemap.xml: robots.txt ограничивает поисковым роботам обход сайта, а sitemap.xml наоборот – указывает файлы для индексирования. При этом robots.txt первичен – прежде, чем поисковый робот начинает загружать какие-либо страницы сайта, он обращается именно к файлу robots.txt, поэтому основной директивой файла robots.txt является директива запрета индексирования – Disallow.

Основные базы знаний по использованию robots.txt – это сайт www.robotstxt.org (на английском языке) и robotstxt.org.ru.

ГЛАВНОЕ:    Наличие файла robots.txt в структуре сайта не обязательно. Отсутствие явно заданного через robots.txt запрета воспринимается поисковым роботом как разрешение загружать любое доступное содержимое сайта. Если сайт ведёт работу с конфиденциальными данными, доступ к которым возможен без авторизации (так делать нельзя ни при каких обстоятельствах), SEO-специалистам и вебмастерам следует заранее позаботиться об ограничении попадания этой информации в открытый доступ: нужно составить список страниц сайта, которые ни в коем случае не должны попасть в индекс поисковых систем, и запретить индексирование этих страниц в файле robots.txt.
 

Синтаксис в robots.txt

Обратимся теперь к оформлению файла robots.txt. В отличие от HTML-документов или XML-карт, в robots.txt содержатся непосредственно директивы для поисковых систем без каких-либо дополнительных блоков информации, описывающих назначение файла – оно вытекает просто из названия.

Как мы говорили выше, основная используемая в robots.txt директива – Disallow. Поскольку в интернете существует далеко не одна поисковая система, то в общем случае вебмастер может задать запреты для всех поисковых роботов согласно принятом синтаксису, указав в строке после User-agent: символ ‘*’. Таким образом, самый простой запрет – это запрет индексирования всего сайта любыми поисковыми роботами. Выглядит он так:

User-agent: * Disallow: /
(Начиная со слеша можно указывать отдельные папки или файлы или маски для запрета индексирования),

при этом часть файлов из этих папок можно открыть, выглядеть это будет так:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

– запрещает скачивать всё, кроме страниц, начинающихся с ‘/cgi-bin’.

Обратите внимание, что если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Например, такая запись –

User-agent: Yandex
Disallow: /
Allow: /cgi-bin

– запрещает скачивать весь сайт

 

Продолжение следует: тут не всё так просто.

Как сделать так, чтобы блог выделялся

Во-первых, придумайте интересное название для блога.

Если вы пишите о заработке в интернете не стоит называть его «Как заработать в сети». Таких сайтов множество, ещё один вряд ли привлечёт внимание посетителей. Лучше придумать что-то «Успех для всех» или Успешная работа для новичков". Вариантов много, включите фантазию

Все публикуемые статьи должны быть полезными. Даже если они будут короткими на 2000—3000 знаков, посетитель уделит им внимание и точно прочитает. Он будет знать, что вся информация пригодится ему для будущей работы. Конечно, не нужно писать все посты в виде поэтапных инструкций, но и пускаться в философские рассуждения не стоит.

Во-вторых, продумайте заголовки своих заметок.

Заголовок — это 70% поста. В сети содержится множество похожих статей, сориентироваться среди всего этого огромного количества информации очень тяжело. Заголовки необходимы именно для этого.

В-третьих, выработайте свой стиль написания текстов.

Первоначально это будет достаточно трудно, но стараться всё-таки нужно. Можете почитать, как пишут другие авторы, определиться с их стилем. Иногда достаточно изменить или добавить каких-то 2-3 характерных черты и особый неповторимый стиль создан.

В-четвертых, уделите внимание дизайну.
 

Читатель запоминает не только статьи, заголовки, но и сам сайт. Только не переусердствуйте. Чересчур яркий дизайн будет отвлекать внимание читателя от основного — от постов. Конечно, лучше всё-таки не прибегать к шаблонам, но если всё-таки нет возможности обойтись без них, то переработайте их так, чтобы они не были узнаны.

Обязательно вставляйте картинки в свои посты. Это улучшает восприятие информации и делает статью более яркой и запоминающийся. Только все иллюстрации должны быть по теме. Не перегружайте текст картинками. На 2000 знаков печатного текста достаточно 1-2 небольших иллюстрации.

В-пятых, по возможности, приглашайте читателей вступать в дискуссии по поводу тех или иных заметок.

Это помогает вам понять, что интересно посетителям. Сами же читатели будут с большим интересом читать те посты, в которых учтены все их пожелания.

Автор Антон Лихачев

Удачи вам!