samichenko.com/contact/arti...robots-txt

Как только робот поисковой системы посещает сайт, в первую очередь он проверяет наличие файла robots.txt корневом каталоге сайта. Если он есть, то бот будет следовать написанным в нем инструкциям. Часто веб-мастера, не зная что это за файл и зачем он нужен, пренебрегают созданием данного файла.