seoecco.ru/kak-pravilno-nas...obots-txt/

Для надлежащего выполнения файлом robots.txt возложенных на него задач необходимо осуществить грамотную настройку с использованием таких директив, как User-Agent, Allow, Disallow, Host, Sitemap и пр. Каждая из перечисленных директив имеет свои особенности применения и требует неукоснительного соблюдения правил её прописывания.