от индексации необходимо закрывать логи сервера - это сугубо служебная информация;
закрыть нужно результаты внутреннего поиска по сайту - типичный источник дублей страниц;
с
помощью правила Clean-param можно запретить поисковой системе
индексировать страницы c различными модификаторами URL, идентификаторами
сессий и так далее, которые генерируются системой управления контентом
(CMS) - так можно предупредить попадание в индекс огромного количества
дублей. Можно запретить также индексацию страниц гостевых книг, форумов и
прочих подобных. Кстати, мы уделяем столько внимания «борьбе с дублями»
потому, что их наличие сильно затрудняет продвижение;
следует закрывать страницы, возникающие при некорректной обработке запросов к базе данных сайта;
от индексации нужно закрыть дубли главной страницы - даже если на них поставлен редирект с помощью .htaccess.
Общее правило таково: запретить все страницы без значимого контента и предотвратить индексацию дублей.
