Почему необходим файл robots. txt?  Он создается для запрета индексирования материала, частично или полностью  основной контент.

А если разобраться , куда еще не обязательно заходить поисковым ботам, то найдется много папок со служебным и личным материалом, которые также нужно запретить индексировать с помощью файла robots. txt.

Читать полностью: - Зачем нужен файл robots.txt?