. . , , , . , , , .
, 5- , , , . , , - , , .
, , , - , . , , , . - . , , . , , , , . , . , , .
. , , robots.txt, , , , , , . , robots.txt, , HOST, WWW, , . . , robots.txt. .
, , , . . -17, , , , . , , -30
, 250, 10- ,
( .)
, -30, .
1. , . , , . , ..
2. , . , PR, .
3. , .
4. , . , , . , . .
5. , , . . , Advego Plagiatus. , .
6. , -, , .
. - . ( ). , , , , , - , . , .
: , -30. , , . , , , .
.
,
1. , . ? , 0 0. , .
2. , . , , . , , .
1. .
-
- , ,
- . .
- , . 5-7 . .
- -.
2. .
- .
- , . , . - .
- 50. 10 .
3. .
- , . robots.txt Disallow: , , , . :
Disallow: /search/*
Disallow: /2011/*
Disallow: /author/*
Disallow: /tag/*
Disallow: /category/*
- noindex , , ,
, , .
- ,
.
- , .
4. .
-
- , . .
- .
. 2 . .
-30
. , . .
1. . , , , , - , . .
2. , ( ) . robots.txt :
User-agent: Yandex
Disallow: *
.
3. .
4.
5. .
6. .
7. .
8. .
9. .
10. GoGetLinks. Sape.
, , - -30. , - . , 100% . , .
, . , , . . .
http://webmasters.ru/forum/f85/ags-i-fil%60try-yan...-sait-iz-pod-fil%60trov-25427/