Файл robots.txt - этофайл ограничения доступа к содержимому поисковыми роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путьотносительно имени сайта /robots.txt). Данный файл не является обязательной составляющей сайта. Его может вообще и не быть. Но если Ваш сайт имеет какие-то скрытые страницы или файлы, которые Вы хотите закрыть ихот индексации поисковыми системами, тогда файл robots.txt Вам просто необходим. Именно этот файл поисковики ищут первым делом перед индексацией Вашего сайта для того, чтобы узнать, что нужно индексировать, а что нет. Делается это припомощи специальных команд. А именно: User-agent: - после двоеточия Вы указываете название поискового робота определенной поисковой системы, для которой будут прописываться все последующие команды. Обычно после двоеточия прописывается просто звездочка: User-agent:*. Это обозначает, что последующие команды будут касаться всех поисковых систем. Например: 1 User-agent: googlebot Ниже приведен список роботов самых популярных поисковиков: Google http://www.google.comGooglebot Yahoo! http://www.yahoo.comSlurp (или Yahoo! Slurp) AOL http://www.aol.comSlurp MSN http://www.msn.comMSNBot Live http://www.live.comMSNBot Ask http://www.ask.comTeoma AltaVista http://www.altavista.comScooter Alexa http://www.alexa.comia_archiver Lycos http://www.lycos.comLycos Яндекс http://www.ya.ruYandex Рамблер http://www.rambler.ruStackRambler Мэйл.ру http://mail.ruMail.Ru Aport http://www.aport.ruAport Вебальта http://www.webalta.ruWebAlta (WebAlta Crawler/2.0)