Мало кто сейчас может представить Интернет без поиска, поисковой выдачи и организующих всё это информационных поисковых систем (ИПС). А ведь еще недавно, вся информация Интернет умещалась в несколько каталогов, название которые еще на слуху. Узнайте из этой статьи все поисковые системы.

Сегодня, объем информации в сети Интернет настолько огромный, что уместить её ни в какие каталоги не возможно. Для обработки,  хранения информации, организации поиска созданы и продолжают создаваться, мощные программные продукты которые мы называем поисковые системы (ПС). У каждой поисковой системы (поисковика) свои базы данных, свои алгоритмы обработки, поиска, ранжирования и выдачи информации.

Поисковые системы Интернет

Можно дать следующее академическое определение поисковым системам. Поисковая система это набор программ и технических средств для организации в сети Интернет пользовательского поиска, при котором на текстовой запрос, пользователь получает список релевантных (соответствующих запросу) результатов.

Выдача производится в виде списка ссылок на источник информации с кратким описанием (превью) иногда с фото.

Для первого примера, вспомним мирового лидера поиска «Google» и лидера Рунета поисковик «Яндекс». Кроме этих поисковиков можно назвать еще десяток существующих поисковых систем, о коих поговорим чуть ниже.

Мнение: Поисковые системы Google, Яндекс и другие, не являются генераторами (производителями) контента, а являются агрегаторами (аккумуляторами) контента и в основной массе, чужого контента. Стоит вспомнить, что использование чужого контента для создания собственного трафика и его монетизации, можно характеризовать, как «пиратство», что на деле, конечно же, не происходит.

Рейтинг

Не обойти рейтинг поисковые системы Интернет. Предлагаем свой рейтинг, основанный на анализе посещений сайта за год в Яндекс.Метрике. Картина не выбивается из публикуемой статистики.

• Яндекс и Google делят первые два места лидеров: около 49% и 45%.


• Третье место: Поиск Mail.ru около 3%;


• Остальные поисковики плавают ниже 1%.

Статистика по Google Analytics:

• yandex / organic 40,26 %


• google / organic 38,93 %


• mail.ru / organic 0,60 %


• rambler / organic 0,52 %


• bing / organic 0,12 %

Статистика неумолима: к поискам Яндекс и Google в России обращаются больше всего, и если посчитать, что 3% это хороший результат по сравнению с 45%, то третьим по популярности можно назвать поиск Mail.ru.

В этой связи рассуждения о популярности поисковиков кроме Яндекс и Google, можно отнести к суемудрию, а специальное продвижение сайтов в других поисковиках (не Яндекс и Google), не заслуживающих внимание.

Как работают поисковики

Вопрос, как работают поисковики, такой же общий, как вопрос «какого цвета небо». Если небо синее, то поисковики собирают информацию в интернет, обрабатывают её, ранжируют и отдают по поисковому запросу пользователю.

Теория поиска Интернет гораздо объемнее и в статье её не изложить. Однако основные моменты нам пригодятся:

Поисковые системы Интернет не осуществляют хранение документов, то есть не производят скачивание и выгрузку документов полностью в свои хранилища;

ИПС используют Интернет в качестве децентрализованного хранилища документов. Поисковики периодически обходят Интернет, выбираю нужную, по их алгоритмам, информацию и частично помещая её (информацию) в свою базу данных (Database). Отсюда несколько проблем:

• ИПС используют для выдаче не всю информацию Интернет, а только часть;


• Информация интернет часто меняется. Добавляется около 1500 тыс. страниц в день, отсюда возможная «пустая выдача»;


• Имеется большое количество дублей (дубли контента). К сожалению, у меня нет точных данных по дублям, а встречающаяся цифра в 25% дублей, кажется завышенной;


• Много рекламы, которую тоже обходят поисковики;


• «Блуждание» поисковых роботов в сети многократно увеличивает нагрузку не ресурсы (не относится к поисковикам);


• Большинства сайтов коммерческие (порядка 83%), и имеют малое информативное значение.

По этим и некоторым другим причинам, подавляющее большинство ИПС Интернет используют схему поиска по ключевым словам (search engines), а не классическую схему поиска по классификации информации.

Особенности поиска по ключевым словам

Несмотря на меняющиеся алгоритмы поисковых систем, реклама которых пытается нас убедить, что машины становятся умнее и понятливее, в основу работы поисковых систем лежит поиск по ключевым словам.

Многим нравится такая схема поиска по ключевым словам.

Как видим, работа поисковые системы Интернет основана на поиске новых документов (поисковой робот Spider + Crawler), индексирование обнаруженных документов (Indexer) и выполнение пользовательского запроса (Search Engine Results Engine). В скобках перечислены названия используемых для этих целей поисковых роботов.

Как уже говорилось, большинство поисковых систем не копируют полные тексты документов в свою базу данных. Для поиска при индексировании документа создается его поисковый образ. Для организации поиска по ключевым словам, робот индексирования создает образ документа по, так называемому, выводящему методу (derived). То есть в образе документа указывается заголовок и набор ключевых слов.

Метод, по которым ИПС решает, включать ссылку на документ в индекс и результаты поиска, называют алгоритмом поисковых систем. У каждой системы алгоритм уникальный и держится в секрете.

Однако достаточно точно можно утверждать, что все ИПС обращают внимание на следующее:

• Присутствие ключевого слова в <title> документа;


• Наличие ключа в URL или домене;


• Присутствие ключа в подзаголовке;


• Общее количество ключей на странице (плотность %);


• Присутствие ключей в описании (description);


• Какие ссылки web ведут на эту страницу;


• Какие внутренние ссылки есть на этой странице.

Ранжирование страниц

В завершении теории стоит упомянуть о ранжировании страниц. Чаще ранжирование страниц выдаче упоминается в контексте релевантности. То есть, поисковики, должны, выстраивать поисковую выдачу по максимально точному соответствию поисковому запросу. Как пишет Яндекс, ничего не должно быть потеряно (полнота выдачи) и ни чего не должно быть найдено лишнего (точность выдачи). Как это получается на практике, вы видите каждый день.

В западном сегменте интернета список поисковиков выглядит следующим образом:

• * Google— 86,30 %


• * Yahoo— 5,30 %


• * Bing— 3,13 %


• * Baidu— 3,45 %


• * Ask— 0,67 %


• * AOL— 0,44 %


• * MSN— 0,08 %


• * AltaVista—0,07 %


• * Excite— 0,03 %


• * Lycos — 0,02 %


• * All the Web — 0,01 %

Видно, что Google занимает лидирующую позицию, причем с большим отрывом от своих конкурентов — других поисковых систем мира. История возникновения поисковой системы Google довольно интересна.

Ее создали два студента Стэнфордского университета в 1998 году. Их имена Ларри Пейдж и Сергей Брин. Причем последний и дал название новому поисковику, сделав ошибку в слове Googol (число 10 в 100 степени). Сегодня Google это крупнейшая поисковая система мира, работающая с сайтами на 191 языках.

Крупнейшая же из Российских поисковых систем Вам конечно знакома — это Яндекс. В 2010 году она превысила 60% в общем количестве поисковых запросов в рунете. Также в 2010 году компания запустила поисковую систему yandex.com и тем самым вышла на международный рынок.

А общий список поисковых систем России выглядит примерно так:

• * Яндекс(46,3 % Рунета)


• * Mail.ru(8,9 % Рунета)


• * Rambler(3,3 % Рунета)


• * Nigma(0,5 % Рунета)


• * Генон(0,1 % Рунета)


• * Gogo.ru (<0,1 % Рунета)


• * Aport(<0,1 % Рунета)

Какие бывают поисковые системы: короли танцпола

Удивительно, но есть те, кто спорят, как поисковая система лучше. Этого делать не стоит, просто по той причине, что они разные и вообще все зависит от цели и от того, какой вы пользователь.

Яндекс

Начнём, пожалуй, с характеристики самой ПС, которая в России занимает первое место среди поисковиков (после Google), и является несомненным лидером среди российских браузеров. Сегодня это не только эффективная ПС, но и масса удобных для пользователя сервисов.

Поисковая система Яндекс официально была анонсирована 23 сентября 1997 года. В её создании и развитии приняли участие всего три человека – по крайней мере, так гласит история, – совместно работавших на тот период времени в компании «Аркадия».

Это Аркадий Берковский – специалист по компьютерной лингвистике, Аркадий Волож – программист и предприниматель, с 2000 года до настоящего времени занимает пост гендиректора компании Яндекс, и Илья Сегалович – школьный друг Воложа и талантливый программист (к сожалению, умер 27 июля 2013 г., занимая должность – директор по технологиям компании).

Кстати, именно Сегаловичу пришла в голову идея назвать новый поисковый сервис звонким и запоминающимся словом Яндекс, которое представляет собой сокращение фразы «yetanotherindexer» (ещё один поисковик).

Морфологический поиск

На первых порах поисковый движок мог находить заданные слова в больших документах, однако присутствовала строгая привязка к словарю. Разработка морфологического поиска – поиска с учетом рода, падежей, склонений и т. д. – открыла совершенно иные перспективы: система могла теперь найти практически любые слова и словоформы, причем скорость обработки запросов (1000 слов в секунду) на тот момент была более чем приличной.

Дальнейшее развитие сервиса происходило довольно быстрыми темпами. Уже спустя год Яндекс смог занять свою нишу в русскоязычном сегменте Интернета и составить конкуренцию существовавшим в то время зарубежным поисковым системам – Yahoo, AltaVista и даже Google.

Больше, чем поисковая система

То, что Яндекс представляет собой больше, чем просто поисковик, стало очевидно с появлением самых разных бесплатных сервисов и инструментов, которых год от года становится все больше. Условно их можно разделить на две категории: для пользователей и для вебмастеров.

Алгоритмы и индексация

Алгоритмы Яндекса, которые постоянно меняются и совершенствуются, работают таким образом, что дать на запросы пользователей наиболее полную, точную, релевантную информацию. Для выполнения этой задачи поисковый робот Яндекса – точнее, целая когорта роботов, ориентированных на свои цели, – регулярно обходит существующие сайты и добавляет обнаруженные страницы в тематический индекс.

После индексирования страница веб-сайта попадает в основной индекс и может быть показана в выдаче в ответ на запрос пользователя. Если содержимое страницы изменилось, старая версия ещё некоторое время ещё будет храниться в кэше Яндекса – отметим, что кэш страниц нередко позволяет восстановить утраченную информацию.

Для облегчения работы тех, кто занимается созданием и продвижением интернет-ресурсов, был разработан сервис Яндекс.Вебмастер, который позволяет отслеживать позиции сайта и решать множество различных задач, в том числе вести диалог со службой поддержки Яндекса.

Немного статистики и занимательные факты

• Поисковая система Яндекс занимает первое место в русскоязычной части Интернета и в среднем обрабатывает 60% пользовательских запросов;


• В рейтинге самых крупных мировых поисковых машин Яндекс занимает 9 место (по версии журнала Forbes);


• Порталы Яндекса есть не только в России, но также на Украине, в Беларуси, Казахстане, Турции.

Google

Можно сказать, что Google.com – это Шерлок Холмс со своей картотекой, в которой по именам и фамилиям разложены данные обо всех деятелях преступного мира, и он с легкостью знает, где и как найти любую информацию. Кроме того, сыщик сыграет для вас на скрипке или развлечет интересным разговором. Естественно, поисковик находит не только информацию о преступниках. Ему доступно исключительно все и обо всем.

Когда появился Google и кто его основал

История Гугл начинается с 1998 года, когда поисковик начал использоваться в Стэнфордском университете, где учились его основатели – Ларри Пейдж (США) и Сергей Брин (эмигрант, родился в СССР).

Оба студента занимались решением проблемы поиска в больших хранилищах данных. В то время уже работали поисковые системы, но результаты их работы были неудовлетворительными. Поиск осуществлялся по ключевым словам, и в выдачу попадал спам. Новая система учитывала обратные ссылки. Если на ресурсе их было много, это означало, что портал релевантен запросу и авторитетен.

В качестве примера разработчики взяли ссылки в научных кругах. Чем больше ученых ссылаются на искомого человека, чем выше их статус – тем авторитетнее становится сам человек. Так появился PR (PageRank) – один из показателей ранжирования и веса страницы и сайта в целом, который поднял качество поиска и вообще совершил принципиальный поворот в его алгоритме.

Математики попросили первых пользователей Стэнфорда высказать впечатления и замечания, в соответствии с которыми дорабатывали поисковик.

Что означает название

Исходным словом послужило понятие Googol – 1 и 100 нулей после нее. Изначально новый поисковик предполагалось назвать GooglePlex (10 в степени googol), но оно показалось создателям незапоминающимся и неудобным при написании. Поэтому остановились на сокращенном варианте.

В 1998 году разработчики зарегистрировали фирму Google-Inc., получившую значительную сумму на развитие от одного спонсора. На эти деньги они приобрели сервера, которые начали обрабатывать растущее количество запросов к Google.com.

Как устроен и как работает Гугл

В Google применяются два важных принципа: анализ текста документа и подсчет входящих ссылок.

На основании текста, ссылочного веса и всех ключей ПС определяет позицию ресурса в выдаче. Поиск ведется по ранее проиндексированной базе обратных индексов. Также в ней остаются сохраненные копии страниц, на основании которых формируются сниппеты.

ПС добавит сайт в свой индекс, если веб-мастер пошлет ссылку на него в аддурилку, или найдет ваш веб-проект по входящей ссылке с другого ресурса. Обратные ссылки собираются при индексации каждой страницы.

Особенности продвижения в Google

Продвижение в этой поисковой системе отличается от Яндекс. В целом, обе ПС имеют свои особенности и ранжирование сайтов них происходит по-разному.

• Google работает несколько быстрее (индексация, выдача, обход роботом).


• Гугл учитывает анкоры всех ссылок из одного текста, ведущие на страницу-акцептор.


• Структурированные уникальные тексты необходимы для любой поисковой системы.


• В Google регионами являются страны, а в Яндексе – города и субъекты.


• Гугл выделяет вес каждой страницы, в то время как российская ПС придает значение весу сайта в целом.


• Google предпочитает точное вхождение ключевого запроса во входящей ссылке.


• Гугл хранит все страницы в своей базе. А Яндекс отсеивает дублированный контент и другие некачественные документы.


• Гугловская база состоит из основного и supplemental индекса. Документы, попавшие в supplemental, в поиске почти не участвуют.

Причины попадания в supplemental

• Неуникальный контент.


• Небольшое количество текста на странице.


• Не прописаны мета-теги, или они не уникальные, или состоят только из одного слова.

Доля Гугл в России постоянно растет. В последние годы тенденция к росту наметилась по причине выпуска мобильных гаджетов со встроенной ОС, которая по умолчанию привязывает гугловский аккаунт пользователя для корректного функционирования мобильного устройства. Поэтому знать об этой системе и особенностях продвижения в ней должен каждый оптимизатор.

Какие есть поисковые системы: список малоизвестных ПС

Большинство интернет-пользователей даже не в курсе, какие есть поисковые системы кроме Яндекса и Гугла. Так вот они есть;) Знакомьтесь!

Поисковая система Майл.ру

Поисковую долю этого поисковика сложно назвать крупной, но показатели потихонечку растут. Хотя не стоит упускать тот факт, что цифры эти напрямую зависят от “Одноклассников”, почты Майл.ру и других штук от Mail корпорации.

Рамблер

Это настоящий олдскул. Только представьте: когда появилась эта поисковая система, некоторые сеошники еще только учились ходить. Вообще, у Рамблера был шанс править балом в рунете, но этого не произошло по целому ряду причин.

В настоящее время это уже не совсем поисковик, а своего рода набор сервисов, на которых в качестве поиска используется движок Yandex — например, есть свой каталог. Посещаемость, кстати, довольно приличная: за день главную страницу Rambler посещают чуть больше миллиона пользователей.

Также у Рамблера есть версия Rambler Lite (все то же самое, только без погоды, новостей, рекламы и прочего) и XRambler, на котором объединены сразу 15 поисковых систем.

Бинг

Сколько имен сменил это поисковик! За 8 лет он успел поносить имя MSN Search, затем Windows Live Search, потом сократил предыдущее название до Live Search и вот сейчас пришел к названию Bing. Многие утверждают, что качество поиска близко к заложенному стандарту Google.

Yahoo

Теперь сложно назвать Яху поисковой системой, так как по договору на всех площадках, принадлежащих Яху, используется поисковый движок Бинга. Последнюю новость про договор можно узнать на Searchengines.

Webalta

Наверняка этот, так называемый, поисковик вам знаком. Приходилось выковыривать его, словно клеща, из вашего браузера? Уже давно всем известно о темных делишках этого поисковика. Увы, никого эта ПС не интересует. Пользователи ищут лишь статьи о том, как удалить эту дрянь со своего компьютера.

Нигма

Это поисковая система значительно отличается от остальных. И если фильтрами поиска и индексной базой других поисковиков никого не удивишь, то вот способность решать задачи по химии и математике отличает Нигму от прочих ПС. Также Nigma предлагает поиск по музыке, книгам, играм и торрентам.

Спутник

Поисковик, созданный по заказу правительства России, считается первым в мире государственным поисковиком. Предлагает отдельный медицинский поиск (поиск аптек, лекарств и статей о заболеваниях). Весьма удобная тема с “Удобной страной”, где в одном месте собраны все рекомендации, помогающие гражданину. Вот, например, раздел “Документы”.

DuckDuckGo

Эта ПС значительно отличается от того, какие бывают поисковые системы в интернете. DuckDuckGo — поисковая система с открытым исходным кодом и интересной политикой, которая заключается в отказе от использования “пузыря фильтров”. Для тех, кто не знает: “пузырь фильтров” — это когда поисковик показывает в выдаче только те результаты поиска, которые она же (эта ПС) посчитает необходимыми конкретному пользователю.

При этом мнение самого пользователя никого не интересует. DuckDuckGo уверяет, что использование их поисковика гарантирует то, что вы получите всю информацию, которая есть у поисковой системы.

“УткаУткаИди” набирает обороты. Уже этим летом (2015 г.) создатель ПС сообщил о трех млрд запросов в годовом выражении.

Baidu

Компания Baidu основана Робином Ли и Эриком Сю в 2000 году. Основатели получили образование в США и там же смогли привлечь для старта более $1,2 млн инвестиций. После запуска поисковика инвесторы увидели перспективы в стартапе и выделили еще $10 млн. Компания начала развиваться семимильными шагами и уже к 2002 году заняла 50% китайского рынка поиска и полностью окупила вложенные в запуск деньги.

Успех проекта в большой мере связан с подбором грамотных кадров как на управленческие должности, так и на технические вакансии. По примеру себя основатели набирали на работу людей, которые учились на американских IT-факультетах. Сегодня даже известны случаи переманивания сотрудников у мирового гиганта Google, который славится просто сказочными условиями труда для своих специалистов.

Сегодня это многомиллиардная компания, которая с успехом выходит на англоязычный рынок, где за счет своих особенностей, она вполне удачно закрепляется.

Baidu в англоязычных и русскоязычных странах

Принцип обработки поисковых запросов в Baidu основан на китайском письме — каждый иероглиф воспринимается как отдельное слово и поиск осуществляется по символам. Поэтому есть большие сложности с работой системы с более традиционными языками. Стремясь к выходу на англоязычную аудиторию, специалисты компании сегодня стараются адаптировать Baidu к работе с англоязычными запросами. Насколько это успешно, можно увидеть, введя любой запрос на английском.

С русскими запросами дела обстоят намного хуже. Поисковик абсолютно не адаптирован к кириллице и выдача имеет хаотический характер. Конечно, это временно. Можно сказать с уверенностью, что в течение пары лет Байду будет хорошо работать и с запросами на русском. Вот так выглядит выдача при запросах на русском языке. Читайте еще: Как заработать на Ютубе.

Вывод

• Поисковые системы Интернет это сложные программные продукты, работу которых обеспечивают тысячи специалистов и огромные материальные ресурсы.


• Алгоритмы поисковых систем держатся в секреты, хотя базовые акценты обновлений алгоритмов общедоступны и носят имена собственные.


• Несмотря на разный подход в формировании выдачи, все поисковики базируются на общих принципах индексирования страниц, которые по сей день остаются базовыми для продвижения.