Robots да ещё и txt! (продолжение) |
Спецсимволы в robots.txt
При указании путей директив Allow-Disallow можно использовать спецсимволы ‘*’ и ‘$’, задавая, определенные регулярные выражения. Символ ‘#’ отделяет комментарии к коду в файле robots.txt.
Спецсимвол ‘*’ означает любую (в том числе пустую) последовательность символов. Примеры:
User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает ‘/cgi-bin/example.aspx’ и ‘/cgi-bin/private/test.aspx’
Disallow: /*private # запрещает не только ‘/private’, но и ‘/cgi-bin/private’
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается ‘*’, например:
User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с ‘/cgi-bin’ Disallow: /cgi-bin # то же самое
Чтобы отменить ‘*’ на конце правила, можно использовать спецсимвол ‘$’, например:
User-agent: Yandex
Disallow: /example$ # запрещает ‘/example’, но не запрещает ‘/example.html’
User-agent: Yandex
Disallow: /example # запрещает и ‘/example’, и ‘/example.html’
User-agent: Yandex
Disallow: /example$ # запрещает только ‘/example’
Disallow: /example*$ # так же, как ‘Disallow: /example’ запрещает и /example.html и /example
Как видно из примеров, директивы можно сочетать друг с другом. Как правило, этого небольшого функционала достаточно для решения большинства вопросов с индексированием сайта, остальные директивы нуждаются в уточнении в рамках работы конкретной поисковой системы. Популярные поисковики предоставляют вебмастерам cправочную информацию по особенностям работы своих поисковых роботов – например, «Яндекс» и «Google».
Комментировать | « Пред. запись — К дневнику — След. запись » | Страницы: [1] [Новые] |
Но так, в скобках я должен сказать тебе, что сейчас в Интернете уже никто ничего не взламывает кроме банковских счетов или кодов к очень дорогим программам.
А бесплатные хостинги блогов гарантируются во времени репутацией корпораций Yandex и Google - им куда проще вечно хранить внесенную кем-то информацию, чем потерять существующих и будущих клиентов: ведь их количество превращается в стабильную рекламную базу.
Комментировать | « Пред. запись — К дневнику — След. запись » | Страницы: [1] [Новые] |