-Рубрики

 -ТоррНАДО - торрент-трекер для блогов

Делюсь моими файлами
    Жду окончания закачки

      Показать все (1)

       -Я - фотограф

      musie cat princess

      moody blue
      1 фотографий

       -Поиск по дневнику

      Поиск сообщений в goldmetel

       -Подписка по e-mail

       

       -Статистика

      Статистика LiveInternet.ru: показано количество хитов и посетителей
      Создан: 20.03.2010
      Записей: 1940
      Комментариев: 16328
      Написано: 25923


      Robots да ещё и txt! (продолжение)

      Пятница, 02 Декабря 2011 г. 15:10 + в цитатник

      Спецсимволы в robots.txt

      При указании путей директив Allow-Disallow можно использовать спецсимволы ‘*’ и ‘$’, задавая, определенные регулярные выражения. Символ ‘#’ отделяет комментарии к коду в файле robots.txt.

      Спецсимвол ‘*’ означает любую (в том числе пустую) последовательность символов. Примеры:

      User-agent: Yandex
      Disallow: /cgi-bin/*.aspx # запрещает ‘/cgi-bin/example.aspx’ и ‘/cgi-bin/private/test.aspx’
      Disallow: /*private # запрещает не только ‘/private’, но и ‘/cgi-bin/private’

      По умолчанию к концу каждого правила, описанного в robots.txt, приписывается ‘*’, например:

      User-agent: Yandex
      Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с ‘/cgi-bin’ Disallow: /cgi-bin # то же самое
      Чтобы отменить ‘*’ на конце правила, можно использовать спецсимвол ‘$’, например:

      User-agent: Yandex
      Disallow: /example$ # запрещает ‘/example’, но не запрещает ‘/example.html’

      User-agent: Yandex
      Disallow: /example # запрещает и ‘/example’, и ‘/example.html’

      User-agent: Yandex
      Disallow: /example$ # запрещает только ‘/example’
      Disallow: /example*$ # так же, как ‘Disallow: /example’ запрещает и /example.html и /example


      Как видно из примеров, директивы можно сочетать друг с другом. Как правило, этого небольшого функционала достаточно для решения большинства вопросов с индексированием сайта, остальные директивы нуждаются в уточнении в рамках работы конкретной поисковой системы. Популярные поисковики предоставляют вебмастерам cправочную информацию по особенностям работы своих поисковых роботов – например, «Яндекс» и «Google».

      Метки:  

      Процитировано 1 раз

      Лариса_Воронина   обратиться по имени Пятница, 02 Декабря 2011 г. 22:16 (ссылка)
      Игорь, наверное, это что-то важное и интересное, на уровне Бауманского института или Университета, напиши хотя бы два слова, о чем твой необыкновенно сложный пост.
      Ответить С цитатой В цитатник
      Перейти к дневнику

      Суббота, 03 Декабря 2011 г. 05:45ссылка
      Ларочка, от информации (а точнее, от директив), содержащейся всего трех строках этого текстового файла зависит видимость сайта в Интернете, невидимость отдельных его страниц.
      Если ты хочешь вести дневник только для себя, то можно убрать видимость вообще всех страниц и индексацию дневника поисковыми машинами, то есть, превратить его в приведение, которое видишь и с которым общаешься лишь ты одна.
      Это замечательный способ хранения личной или семейной хроники.
      Перейти к дневнику

      Суббота, 03 Декабря 2011 г. 08:14ссылка
      Игорь, доброе утро! Теперь поняла. Но личный дневник "только для себя" лучше писать в толстой тетради. Компьютер может сломаться, а потом техника настолько быстро идет вперед, что придумают механизмы разблокирования и все тайное станет явным. А еще лучше - не иметь секретов, о которых было бы неудобно говорить.Но все равно ты молодец!
      images996 (96x96, 3Kb)
      Перейти к дневнику

      Суббота, 03 Декабря 2011 г. 09:36ссылка
      Ларочка, спасибо!

      Но так, в скобках я должен сказать тебе, что сейчас в Интернете уже никто ничего не взламывает кроме банковских счетов или кодов к очень дорогим программам.
      А бесплатные хостинги блогов гарантируются во времени репутацией корпораций Yandex и Google - им куда проще вечно хранить внесенную кем-то информацию, чем потерять существующих и будущих клиентов: ведь их количество превращается в стабильную рекламную базу.

      Перейти к дневнику

      Суббота, 03 Декабря 2011 г. 09:56ссылка
      Понятно. Репутация -клиенты - деньги. Как и у всех. Если бы я была частным доктором, то эта формула была бы и мне просто необходима. Игорь, иди в мой дневник и почитай о вреде курения. Только прочитай все очень внимательно!!!!
      Перейти к дневнику

      Суббота, 03 Декабря 2011 г. 11:01ссылка
      Ларочка, я, конечно, прочитаю. Но я глубоко убежден в том, не курить вреднее, чем курить. Привычные действия курильщика оберегают от стресса.
      Перейти к дневнику

      Суббота, 03 Декабря 2011 г. 11:06ссылка
      Проще пойти и прочитать, чем со мной поссориться. Как у нас дела с почтой?
      Nadin-YA   обратиться по имени Среда, 07 Декабря 2011 г. 20:13 (ссылка)
      Пригодится. Попробую применить... есть одна проблемная ситуация...
      0_6ee0f_30a872b6_L (500x500, 375Kb)
      Ответить С цитатой В цитатник
       

      Добавить комментарий:
      Текст комментария: смайлики

      Проверка орфографии: (найти ошибки)

      Прикрепить картинку:

       Переводить URL в ссылку
       Подписаться на комментарии
       Подписать картинку