Находясь в постоянном серфинге сферы SEO, я наткнулся на очень интересную статью. Предлагаю ее вашему вниманию. (Но не оригинал, а адаптированную к непрофессиональным сайтостроителям версию).

Большинство веб-ресурсов имеют практически одинаковые проблемы и недочеты в техническом плане. Эти пробелы могут могут очень сильно усложнять жизнь сегодняшним оптимизаторам: первые тормозят индексацию веб-ресурса, вторые оставляют какие-либо технические уязвимости, которыми не побрезгуют воспользоваться ваши конкуренты, а третьи могут помешать продвижению и выходу сайта на нужные позиции.

1. Доступность вашего домена по нескольким адресам.

Если один веб-ресурс можно найти, вбив в строку поиска как минимум две разные комбинации (например, с www и без  www), то обязательно возникает вопрос копирования контента. Роботы поисковой системы расценивают один из сайтов как копию с неуникальным наполнением и незамедлительно отправляют его в дополнительные результаты поиска. И далеко не всегда адрес дубля вас устроит, поэтому пользуйтесь склейкой основного домена с зеркалами.

Как выявить эту ошибку?

В строку вашего браузера нужно ввести оба варианта. С www. и без www. Если сайт открывается в обеих случаях и в файле  robots.txt не определена директива  Host, тогда продвигаемый домен не выбран.

Что делать?

Менять в  robots.txt директиву   Host, то есть указать посковым машинам, какой домен является основным.

User-Agent: Yandex
Host: www.maindomain.ru

Где вместо www.maindomain.ru (без http) пишем адрес своего основного домена. Вдобавок нужно поставить редирект 301 с зеркала на основной домен. В таком случае посетители, как бы они не ввели имя вашего сайта, все равно попадут на основной домен.

2. Дубли главной страницы сайта по разным адресам

Главная страница веб-сайта может быть только по одному основному адресу. В противном случае мы опять сталкиваемся с проблемой копирования контента, которая в свою очередь в сочетании с другими факторами может привести к проседанию позиций вашего сайта.

Как выявить эту ошибку?

Заходим в браузер и вводим в строку адреса главную страницу с index.php, index.html и т.д.

Если страница открывается и не происходит редиректа на основной домен, то ошибка есть. Второй способ поиска дублей — ввести в кавычках тайтл главной страницы в Яндексе или Гугле и проверить выдачу.

Что делать?

И с этой ошибкой нам пригодится 301 редирект на основной домен(альтернатива 404-ошибка). Перед этим нужно заняться удалением копий через панель вебмастера Гугл. А сам редирект можно прописать так(при наличии apachi и mod_rewrite)

RewriteEngine On
RewriteCond %{REQUEST_URI} ^/index\.(.+)$
RewriteRule ^.*$ http://%{HTTP_HOST}/ [R=301,L]

3. Большая отдаленность страниц от главной(уровень вложенности)

Не всегда технический момент, но часто проявляется эта ошибка из-за сбоев CMS, недостатка необходимых модулей. Если поисковый робот, путешествуя по вашему веб-ресурсу по своему распорядку, то странички с высоким уровнем вложенности (более 3-4 клика от главной страницы сайта) получают наименьший приоритет. И в результате  переиндексации можно ждать очень долго и не дождаться. Действия посковой машины здесь вполне оправданы, поскольку большой уровень вложенности страницы имеют малый шанс быть просмотренными живыми посетителями и минимальный статический вес.

Как обнаружить такие страницы?

Чтобы найти подобные веб-страницы вам пригодится бесплатная програмка Xenu Link Sleuth, которая укажет и на другие ошибки.

Что делать?

Не допускать появления на сайте таких страниц и разделов. Если же без этого никак, то стандартные инструменты перелинковки вам в помощь. Карта сайта, облако «ключевиков», древовидное меню сайта и другие.

4. Появление несуществующих страниц

Популярная ошибка, когда вместо несуществующей страницы веб-сайта вам  открывается главная либо какая-нибудь другая страница сайта плюс 200 ошибка, а не 404. Здесь вам опять грозит проблема с дублями контента.

Как определить ошибку?

Придумываем любую несуществующую страницу вашего веб-ресурса и вписываем в браузер. Например:

http://yandex.ru/not/exists

Если мы видим  HTTP/1.1 404 Not Found, то проблемы нет. Когда высвечиваертся 200 или 304 ошибка, то нужно исправлять.

Что делать?

Для всех несуществующих страниц нужен соответствующий код, чтобы запретить поисковому роботу их индексировать.Чаще всего это настраивается с помощью CMS. Либо нужно лезть в файл .htaccess (не советую!!!) или обращаться к разработчикам вашей CMS системы.

Я перечислил лишь наиболее часто встречаемые и повторяемые ошибки. Конечно же, ошибок столько сколько проектировщиков вэб-сайтов - дизайнеров и сео-оптимизаторов.