-Поиск по дневнику

Поиск сообщений в search_engines

 -Подписка по e-mail

 

 -Постоянные читатели

 -Статистика

Статистика LiveInternet.ru: показано количество хитов и посетителей
Создан: 19.02.2005
Записей: 12
Комментариев: 15
Написано: 6




Сообщество тех, кто пытается понять - а как работают поисковые системы вообще, некоторые из них в частности и как нам всем с этим жить.

Добавлять сообщения могут все, кто интересуются данной тематикой - зарегистрировавшись на сайте и добавившись в список постоянных читателей этого сообщества.

Просьба не флудить, не спамить, не задавать коротких вопросов той или иной степени умности или глупости. Будем рады интересным наблюдениям, статьям и исследованиям.

Краткий словарь начинающего лирушника


поиск .....

Четверг, 22 Декабря 2005 г. 17:01 + в цитатник
veselkin (search_engines) все записи автора Поисковый сервис Alexa, принадлежащий корпорации Amazon, открыл полный доступ к своему индексу.
http://www.webplanet.ru/news/internet/2005/12/13/alexindex.html

На DomainBlog.ru опубликована любопытная информация:

Пятница, 25 Ноября 2005 г. 10:02 + в цитатник
4Eki (search_engines) все записи автора

На DomainBlog.ru опубликована любопытная информация:
Домены, зарегистрированные больше чем на год имеют более высокий уровень доверия у поисковой системы Google, чем годовые. Связывается это с тем, что спаммеры не регистрируют домены больше чем на год. Звучит довольно логично. Похоже, есть смысл проплачивать регистрацию на больший срок?

(Интересно, что подобная информация всплыла в контексте маркетинга GoDaddy. Т.е. если бы они не публиковали призывов регистрироваться на более долгий срок, то простые владельцы сайтов о таких гуглохитростях и не узнали бы?)


сегодня-завтра запускаем статистику по Рамблер, Мейл и Гугл.

Среда, 16 Ноября 2005 г. 22:43 + в цитатник
ValeZ (search_engines) все записи автора

Главный вопрос - списки слов, по которым проводить опрос поисковиков. Для яндекса, напомню, взяли 50 тысяч запросов, которые привели больше всего переходов на сайты в статистике LiveInternet за месяц. Отсеяли все, что явно развлекушечного толка, чтобы дать приоритет коммерции. И взяли 8 тысяч (чтобы 8*2*30 примерно уложиться в 500 тысяч в месяц).

Аналогичную операцию провел для Гугл, Мейл и Рамблер. Гугл остался столь же "нерусским", по нормальным запросам, типа "пластиковые окна", Мейл, как оказалось, дает больше, чем его заморский собрат. Поэтому есть смысл следить за позицией именно в Мейле.

Но 4 разных списка слов вносит некую сумятицу. Наверное будет правильно взять единый список, например суммируя списки Яндекса, Рамблера и Мейла. И опрашивать все поисковики по этому списку. И чтобы он не менялся день ото дня - менялась только цифра популярности этого запроса.

Для примера происходящего - таблица запросов для сайта о недвижимости. Как обычно, 0 - сайта нет в выдаче, пусто - данный запрос не попал в список для данного поисковика за этот день (за сегодня).

 

поисковый запрос Яндекс - по дням Mail - по дням Google - по дням Рамблер - по дням
       
снять квартиру в москве 30 0 0
аренда квартир москва 10 27
фото потолков 15
снять квартиру 14 0 17 29
новостройки в москве 0 0 34 0
квартира 15 0 0
аренда 19 0 0
нотариусы г.москвы 4
пбоюл 7 0
аренда квартиры 14 9
аренда квартир в москве 31 0 0 14
аренда квартир 14 0 15
криминал 0 0 0 37
аренда офисов в москве 18 32
аренда склада 0 17 0
лосино-петровский аренда 8
бти москва 31
нотариусы москвы 0 6
квартиры в лыткарино 8
сдам квартиру 5 0 0
сниму квартиру в москве 29
дома под снос 27
сниму квартиру 15 16 0
аренда офиса 30 0
квартиры 15 0
аренда квартиры в москве 31
сдать снять квартиру 7 30
сдаю голицыно квартира 5
аренда комнат 4 0 0
сдаю квартиру 5 0 0 0
сдать снять 7
аренда офисов 30 0
сходненская комната на двоих 12
транскредитбанк 0 23
аренда квартир в подмосковье 0 16
схема 0 0 42
регистрация пбоюл 6
фото потолков подвесных 14
сдам квартиру в киеве 6
продажа квартир в москве 0 0 0 49
сдать квартиру 5 13 0
атн 3 8 37
аренда офиса в москве 18
квартиры в москве 0 0 34

самые популярные запросы в поисковиках

Пятница, 11 Ноября 2005 г. 20:46 + в цитатник
ValeZ (search_engines) все записи автора

Проделана следующая работа - проанализированы переходы за день на сайты статистики LiveInternet. Отсечены сайты категорий - Эротика, Развлечения, Халява, MP3, Фото. Дополнительно удалены запросы содержащие наборы символов

порно|голый|голая|голые|скачать|\.ru|\.com|www|коды|читы|прохождени|игры|бесплат|
секс|приколы|обои|гороскоп|сонник|чат|стих|знакомств|картинк|дом.2

В итоге получилась такая занимательная табличка (показываю Топ100, остальное, понятно, конфиденциально)

Отсюда видно, что гугловый трафик, по большому счету, в основном мусорный. В рамблере почему-то не ищут работу (можно делать предположения о возрасте пользователей, их социальной активности). Ну и то, что погода - лучший повод завязать разговор.

 

Яндекс Рамблер Google Mail
11359 работа
8740 рефераты
5264 из рук в руки
5106 погода
5082 реферат
5047 анекдоты
3690 поздравления
3423 не родись красивой
2781 шины
2756 гадания
2719 банк рефератов
2672 комсомольская правда
2519 поздравления с днем рождения
2238 сотовые телефоны
2017 кремлевская диета
1644 тексты песен
1536 нелли уварова
1483 спорт-экспресс
1391 аватары
1386 зимние шины
1385 сериал не родись красивой
1371 nokia
1355 вакансии
1335 курсовые
1334 сочинения
1309 прогноз погоды
1284 открытки
1278 вязание
1165 фото
1157 анекдот
1142 гадание
1138 карта метро
1130 аэрофлот
1085 спорт экспресс
1078 мобильные телефоны
1047 курсовые работы
1039 сотовик
1037 имена
1012 клипы
1006 дом2
999 gta san andreas
995 беременность
978 кроватка
973 поиск работы
939 желтые страницы
917 комус
902 тесты
898 техносила
888 шторы
880 кулинарные рецепты
865 работа в москве
861 день народного единства
838 караоке
830 кухни
827 афоризмы
827 лунный календарь
825 свадебные платья
821 пуховики
815 салаты
814 новый год в подмосковье
809 мегафон
790 мятежный дух
787 курсовая
784 аккорды
782 crack
779 форум
773 winrar
771 прикольные смс
769 фобос
761 резюме
757 рецепты
752 авиабилеты
733 зимняя резина
733 новости
724 мебель
723 рассказы
718 новый год
715 спорт
713 mp3
712 аренда квартир
711 совместимость имен
710 драйвера
710 погода в москве
706 гдз
705 известия
702 москва
696 стс
688 смс
687 отдых в подмосковье
680 экспресс газета
677 эротические рассказы
676 гостиницы москвы
668 психологические тесты
667 комнатные растения
666 авторевю
661 flashget
659 sms
655 мода
642 магия
638 снять квартиру
4535 рефераты
1860 реферат
1727 погода
1681 поздравления
1588 сотовые телефоны
1170 поздравления с днем рождения
1075 гадания
1050 комсомольская правда
1018 кремлевская диета
986 банк рефератов
863 анекдоты
822 нелли уварова
783 тесты
770 не родись красивой
723 сэндвич панели
722 шины
677 мегафон
672 гадание
628 открытки
608 вязание
597 работа
559 из рук в руки
551 сочинения
549 фото
532 лунный календарь
514 сотовик
511 виртуальные гадания
504 мобильные телефоны
503 тексты песен
501 эротика
497 nokia
497 мятежный дух
486 психологические тесты
475 кроватка
438 фобос
418 прикольные смс
408 день бухгалтера
396 погода в москве
391 электронная библиотека
389 кулинарные рецепты
387 авиабилеты
384 спорт-экспресс
382 караоке
378 курсовые
377 ходорковский
377 прогноз погоды
375 отдых в подмосковье
362 салаты
359 имена
350 программы
343 гостиницы москвы
342 sms
339 аэрофлот
339 новый год в подмосковье
338 женские журналы
338 диета
337 елена беркова
332 москва
330 мебель
328 новый год
328 совместимость имен
326 беременность
326 сериал не родись красивой
325 психология
325 flash
324 московский комсомолец
323 поиск работы
321 день народного единства
320 комнатные растения
320 телефоны
319 курсовые работы
317 рецепты
310 календарь беременности
309 мода
309 gta san andreas
308 камасутра
302 анекдот
302 желтые страницы
290 crack
290 работа в москве
289 аккорды
289 резюме
282 египет
282 аватары
280 бокс
279 комус
278 спорт
277 толкование снов
274 подарки
266 ноутбук
266 поздравление с днем рождения
265 гдз
263 софт
261 зимние шины
259 полифонические мелодии
256 фишки
256 киноафиша
256 спорт экспресс
248 ноутбуки
246 свадебные платья
2637 sex
2205 pasion de gavilanes
1741 rebelde way
1429 shakira
1396 tatu
1040 погода
1003 cd key
982 fishki
947 nokia 6101
943 paz achaval urien
879 gta san andreas
831 nokia 8800
825 анекдоты
793 anna nicole smith
792 antiblaxx
776 motorola v3
769 поздравления
727 nokia
706 работа
695 black eyed peas
659 fishki.net
651 jade jagger
650 quake 4 cd key
648 вязание
646 anna kournikova
646 newsru
640 новости
640 ramones
620 pravda
603 нелли уварова
602 гадания
600 amor en custodia
596 nokia n90
591 immortal
560 civilization 4 crack
553 мобильные телефоны
549 rammstein
548 рефераты
539 samsung e530
539 cum
535 proxy
533 кремлевская диета
529 emma watson
528 гадание
528 el cuerpo del deseo
526 не родись красивой
522 carmen electra
521 nokia 6680
516 battlefront 2 crack
516 porno
500 cora schumacher
499 50 cent
495 mi gorda bella
494 proxy list
486 комсомольская правда
473 no cd
466 nokia 6230i
464 реферат
460 музыка
453 verliebt in berlin
450 nokia 6020
445 need for speed underground 2
443 la mujer en el espejo
439 gta vice city
430 civilization iv no cd
428 aeroflot
424 moscow times
424 artmoney
423 maybach
422 nokia 6230
414 fifa 2005
412 елена беркова
412 имена
404 la madrastra
399 keygen
398 лунный календарь
393 t.a.t.u
390 samsung e730
389 malu costa
385 san andreas
380 gta
379 shareprovider
378 fear cd key
372 gorillaz
371 civilization 4 nocd
367 nokia n91
364 motorola c650
363 nokia 3230
362 crazy frog
362 k750i
361 free proxy
359 russian brides
352 no cd crack
350 contra viento y marea
347 nirvana
346 открытки
344 samsung d500
343 nokia 6260
340 muneca brava
339 anonymizer
1608 работа
997 не родись красивой
885 поздравления
883 гадания
725 сотовые телефоны
663 погода
597 нелли уварова
546 мобильные телефоны
530 ксения собчак
506 гадание
478 тексты песен
474 nokia
469 кремлевская диета
455 тесты
434 поздравления с днем рождения
385 музыка
351 имена
338 комсомольская правда
334 дом2
312 мегафон
297 музыка mp3
260 открытки
255 сочинения
254 вязание
251 сериал не родись красивой
239 из рук в руки
230 прически
229 телефоны
227 спорт экспресс
223 новый год
221 поздравления с днем милиции
218 шины
216 утро
212 смс
208 сотовик
208 тосты
203 кроватка
200 спорт-экспресс
193 психологические тесты
193 фото
193 день милиции
189 совместимость имен
188 работа в москве
184 спорт
180 рецепты салатов
179 лунный календарь
175 комус
175 порнуха
174 flash games
171 icq
163 аэрофлот
160 любовь
154 диеты
153 sms
150 стс
149 поиск работы
147 бизнес план
144 бокс
140 авиабилеты
139 поздравления с юбилеем
135 рецепты
133 мятежный дух
131 работа в санкт-петербурге
131 клипы
130 ксения бородина
123 курсовые
123 гдз
123 gta san andreas
123 рисунки на ногтях
123 беременность
122 тайна имени
122 афоризмы
122 караоке
119 карта метро
119 психология
117 свадебные платья
117 дизайн ногтей
117 кино
115 ногти
110 значение имени
109 новый год в подмосковье
108 техносила
107 должностные инструкции
106 диеты для быстрого похудения
106 job
105 фото нелли уваровой
105 наращивание ногтей
105 прикольные sms
104 кулинарные рецепты
103 виртуальные гадания
102 gta
101 подарки
99 шторы
99 samsung
98 зачарованные
98 мебель
97 сценарий нового года
97 книга судеб
96 беркова
96 ноутбук



SEO Manual

Среда, 09 Ноября 2005 г. 12:41 + в цитатник
4Eki (search_engines) все записи автора Некита Мелькин, автор популярной программы SEMonitor, написал учебник по SEO: http://tutorial.semonitor.ru/

японская поэзия для оптимизаторов

Вторник, 08 Ноября 2005 г. 13:14 + в цитатник
ValeZ (search_engines) все записи автора

Понравилось :) Ссылка на источник.

Тексты и тайтлы,
Ссылки и заголовки -
Будь релевантен

***
Люди и робот
Видят разные тексты?
Это - клоакинг.

Читать далее...

как измерить степень апдейта Яндекса

Понедельник, 07 Ноября 2005 г. 04:08 + в цитатник
ValeZ (search_engines) все записи автора

Итак, вроде как вчера, то есть во время от утра субботы до ночи воскресенья, Яндекс "станцевал" и мы этот танец поймали. У тех сайтов, которых я назвал "стабильными" в предыдущем сообщении, существенно поменялись позиции по их ключевым запросам. Между тем моя гипотеза о том, что яндекс хранит у себя в базе только фиксированное количество последних обновленных страниц для каждого сайта - показывает свою продуктивность. Может она и неверна, но ситуацию объясняет идеально - у многообновляемых сайтов, таких как регнум.ру - ключевые слова скачут. У сайта менее обновляемого, но той же тематики, например газета.ру - ситуация более стабильна.

Итак, представитель стабильной группы Динамика мест в выдаче

 

поисковый запрос популярность место в выдаче
02-11-2005 03-11-2005 04-11-2005 05-11-2005
аренда квартир 1133 0 0 0 5
снять квартиру 578 15 15 15 14
сниму квартиру 288 15 15 15 14
снять квартиру в москве 239 30 30 30 38
аренда квартир в москве 237 29 29 29 39
аренда офиса 221 23 23 23 26
аренда 213 3 3 3 5
коммерческая недвижимость 181 12 12 12 11
аренда офисов 146 23   23 27
аренда квартиры 110 0   0 5
квартира 106 5   5 10
сдам квартиру 100 6 6 6 3
сдать снять 96   7 7 5
квартиры 88 5 5 5 10
сдаю квартиру 74 6 6 6 3
сдать квартиру 72 6 6 6 3
аренда комнат 67 4 4 4 4
продажа офисов 52   24 24 35
аренда офисов в москве 52 15 15 15 18
аренда квартир москва 51   10 10 10
сдать снять квартиру 40   10 10 7
аренда квартиры в москве 33   28 28 40
аренда комнаты 31   4 4 4
сниму квартиру в москве 31 0 30 30 38
сдать-снять 23   10 10 8
общежитие 23   11 11 12
квартиры в аренду 22   22 22 32
аренда квартир подмосковье 21   0 0 3
cниму квартиру 21   15 15 14
аренда квартира 21   0 0 5
сдам сниму 21   7 7 5

Видим и появление новых запросов и изменение позиции в выдачах по тем запросам, по котором ранее позиция была стабильна. Напомню, что 0 означает, что сайта в первых 40 позициях нет, пустая клетка - что в этот день такой запрос не проверялся.

Вопрос - каким образом точнее всего считать "степень изменения выдач". Причем чтобы он достаточно несложно считался. Первое, что приходит на ум - среднее по всем запросам число отличий в выдачах. Завтра напишу нужный скрипт и выложу график апдейтов яндекса по дням.


сервис яндекс-мониторинг

Пятница, 04 Ноября 2005 г. 22:22 + в цитатник
ValeZ (search_engines) все записи автора

Не по прямому назначению, конечно, используем мы сервис Яндекс.XML, но доступ к нему  позволили бы сделать такой вот интересный сервис.

Берем некоторый набор из интересных запросов. Тут есть несколько подходов. 100 самых популярных по числу кликов. 200 самых часто изменяемых (такую статистику мы уже можем получить) - по которым чаще всего происходят ротации сайтов. Случайные 100 запросов. Выбираются они раз в некоторый длительный период времени, например неделю.

В течение недели каждый час делаем эти 100 запросов. И отображаем некоторую табличку - по вертикали сами запросы, по горизонтали время - 24 ячейки в день, 168 ячеек в неделю. После каждого запроса закрашиваем соответствующий ему ряд ячеек. Ячейка красится в белый, если выдача не изменилось, в желтый если изменилась немного, в зеленый если много, в красный если вообще все с ног на голову. Критерий "много - немного" подбирается путем тыка.

В итоге получаем график жизни яндекса. И узнаем всю правду - локализовано ли время апдейтов или они идут постоянно. Меняется все сразу или постепенно. Как часто в день и в неделю. Вообщем, такой вот мониторинг.

Думаю, реализую в ближайшие пару дней.


описание системы "автоматический оптимизатор"

Пятница, 04 Ноября 2005 г. 21:58 + в цитатник
ValeZ (search_engines) все записи автора

В беседе с другом получил вчера описание одной интересной системы - автоматического оптимизатора сайта. Делался он на заказ для западных заказчиков, утверждается что работает. Но описание выглядит примерно как описание мобильного телефона десять лет назад - все понятно, но не верится, что работает.

Итак, как я понял. Владелец сайта задает список ключевых слов (не фраз - а именно слов) по которым он хочет, чтобы находился его сайт. Понятным образом создается большой список из  конкурентных сайтов. Задача системы - автоматически "научиться" у конкурентов как подняться по тем или иным запросам.

Для этого пишется несколько составных систем:

  1. Анализатор сайта конкурента. Анализируется сайт с некоторой глубиной. Получаются все особенности оптимизации  - ключевые фразы, содержащие заданные изначально слова, их сочетания, положение на странице, процент относительно общего текста.
  2. Анализатор текущего положения оптимизируемого сайта. Раз в час, например, идет запрос ко всем интересующим поисковым системам по текущему списку ключевых слов и фраз, под который сайт оптимизируется. Получаем позиции, PR, Иц и прочее. На основе этих данных имеем тенденцию - по каким словам растем, по каким не меняемся, по каким падаем.
  3. Как я понимаю - полуавтоматическая система, которая оптимизирует непосредственно код страниц сайта под заданный набор ключевых фраз, используя накопленные данные об оптимизации по этим фразам сайтов-конкурентов. Вполне можно автоматически менять заголовки, списки кейвордс, слова в H1, добавлять на страницу нужное количество ссылок с нужными словами и прочее.

Цикл работы системы - некоторым образом выбираются некоторый набор ключевых фраз, которые создаются, неким образом комбинируя ключевые слова. Анализируем позицию сайта по этим фразам. Запускаем анализ более успешных конкурентов, оптимизируем под запросы сайт, ждем значимых изменений по этим позициям, смотрим улучшилось ли наше положение, если да - делаем следующий шаг, нет - откатываемся назад.

Такая система. Наверное, в некотором смысле, и люди - оптимизаторы работают по такой схеме. Принимаются возражения -дополнения.

 


пытаемся следить и разобраться в том, как работает яндекс

Пятница, 04 Ноября 2005 г. 21:05 + в цитатник
ValeZ (search_engines) все записи автора

Изначально мы думали, что Яндекс обновляет выдачу два раза в неделю - в среду и пятницу. Сейчас начали накапливать статистику, следить за изменениями. Оказывается, выдача меняется несколько раз в день, причем очень сильно и почти по всем запросам.

Методика исследования - каждый день запрашивалось 15 тысяч популярных запросов к Яндекс.XML с глубиной 40. И собственно в табличной форме доступны результаты по каждому сайту.

Есть стабильные позиции - сайт стоит на одном и том же месте несколько дней. И есть плавающие - когда он может на пару часов появиться в верхней части, потом пропасть. Попробую проиллюстрировать ситуацию примерами. В данных таблицах показаны поисковые запросы сайтов с динамикой по трем дням, указана популярность запроса (по числу переходов).

Читать далее...

простейший алгоритм релевантности

Воскресенье, 20 Февраля 2005 г. 00:07 + в цитатник
ValeZ (search_engines) все записи автора Итак, пусть имеется некоторый набор документов, в которых содержатся слова
"телефон" и "Nokia".
Для каждого известны параметры
1. сколько раз встречается каждое из слов в данном документе
2. дата этого документа
3. есть ли эти слова в заголовке документа

Это простейший случай.
Как зная это отсортировать данные по релевантности ?

На данный момент методы совершенно примитивные использую, что на
http://search.liveinternet.ru, что на http://market.liveinternet.ru

Буквально, каждому документу сопоставляю число
rang=time*(count_title)
где count_title - количество слов запроса, встретившиеся в заголовке документа, time - время создания документа.

Пример работы - http://search.3dnews.ru/cgi-bin/search.pl?search_query=%F2%E5%EB%E5%F4%EE%ED%20nokia

Есть какие то идеи ?
ValeZ

Дневник search_engines

Суббота, 19 Февраля 2005 г. 23:56 + в цитатник
Эх, все равно читать никто эту скуку не будет, общаться буду со стенами и пустыми списками ПЧ, но - чем черт не шутит, вдруг я не один тут такой.


Поиск сообщений в search_engines
Страницы: [1] Календарь