Интернет живёт и развивается. Ежедневно в нём появляются множество новых сайтов. Но как пользователю найти, среди всего этого множества, интересующие его ресурсы? Здесь и приходят на помощь поисковые сайты. Поисковые сайты выполняют весьма важную роль, благодаря им, пользователи могут находить интересующие их материалы, а владельцы сайтов получают ощутимый прирост трафика на их сайты.

В настоящее время во всемирной паутине существует множество сайтов, предоставляющих возможность поиска информации в Интернете.

Компания Orbitscripts достаточно давно занимается разработкой поисковых сайтов, использующих различные решения для создания оптимальных механизмов поиска информации. В этой статье мы и решили поделиться с Вами нашим опытом.

Существует два основных подхода при создании поисковых решений, отличающихся друг от друга - способом сбора информации, хранением и ее индексированием. Рассмотрим каждый из решений в отдельности.

Собственный поисковый сервер.

Такой метод подразумевает, что вы имеете собственный поисковый сервер, который имеет установленное программное обеспечение для осуществления сбора информации о ресурсах сети(сайты, их страницы, различные файлы), и сохранения этой информации на диск. Естественно, что собранная информация сама по себе бесполезна, если она не проиндексирована (или упорядочена), т.к. поиск по не упорядоченным данным может занять [катастрофическоеk время. Конечно, данный подход подкупает своей [независимостьюk от всех, ведь все сосредоточено в ваших руках - и сбор информации, и ее хранение, равно как и ее использование в любых целях например создание собственного поискового сайта. Но при осуществлении данного решения отрезвляющим фактом становятся требования, которые предъявляются к аппаратным и сетевым ресурсам, необходимым для осуществления задуманного. Для сбора информации необходим достаточно широкий канал доступа в интернет, для сохранения собранных сайтов требуется внушительное дисковое пространство, а для индексирования информации серьезные вычислительные ресурсы(процессоры, оперативная память), иначе данные еще не скоро будут готовы для поиска, придется ждать когда доработает индексатор . Надо признать, что такое решение [влетит вам в копеечкуk. Примерами поисковых систем, использующими данный подход, являются Google, Yahoo, Ask

Если вы заинтересовались данным решением, обратите внимание на продукт Orbit Spider, который реализует это решение.

Получение поисковых данных с других поисковых систем.

Данное решение предполагает, что ваша система выступает посредником между вашими посетителями с одной стороны и другими поисковыми системами с другой. Вы получаете запросы от ваших пользователей, транслируете его на другие поисковые сервера, получаете с них ответ, и возвращаете его вашим посетителям. Просто, не правда ли? К тому же данный подход не требует, каких либо, существенных вложений в вычислительные ресурсы, в них просто нет необходимости. Вам ведь не нужно заранее собирать данные с огромного числа сайтов, и сохранять их у себя в хранилище для дальнейшей индексации. Все что необходимо, это хороший канал доступа в интернет, который, как правило, уже обеспечивают большинство провайдеров.

Однако за все надо платить И расплата кроется в значительном снижении надежности данного решения. Ведь данные, которыми вы оперируете, вам не принадлежат. Формат данных, которые возвращают поисковые системы, может поменяться в любой момент, что означает ваш поиск по данному ресурсу может оказаться неработоспособным, пока вы его не адаптируете к данным изменения. Поскольку запрос пользователя вашего сайта обрабатывается в два этапа(первый запрос на ваш сайт, второй ваш запрос на поисковый ресурс и так же обратно), время ожидания пользователем ответа может затянуться. Как видите еще один скрытый недостаток ваша система будет полностью зависеть от времени реакции поисковой системы, ресурсами которой вы пользуетесь. Если ваша система будет [надоедатьk поисковому серверу, вашу систему могут [забанитьk, и, пожалуй, маловероятный случай, поисковый ресурс может вообще исчезнуть с просторов интернет. Результат всего этого будет один ваша система функционировать не будет.

Но, тем не менее, [не так страшен черт как его малюютk! Действительно если строить систему на основе одного ресурса, все вышеописанные доводы уничтожают всякий интерес к этому подходу. Но ситуация меняется, когда мы пытаемся увеличить надежность нашей системы за счет увеличения поисковых систем участвующих в поиске. Давайте представим, что вместо одной у нас их десять. соответственно надежность нашей системы вырастит в десять раз, а это уже неплохо! Даже если нам откажут в запросах три системы, а две сменили формат, у нас не произойдет никакой катастрофы, у нас ведь есть еще пять, и пользователь, в конце концов, найдет результаты на свой запрос в нашей системе! Риск быть забаненым, как и время на запрос можно снизить, за счет кэширования запросов к удаленным поисковым системам. Когда пользователь делает запрос к нашей системе, мы сохраняем ответ поискового сервера, на нашем диске. А когда приходит аналогичный запрос от другого пользователя(а возможно и того же самого что делал первый запрос), мы не производим повторный запрос на удаленный поисковый сервер, а отдаем ранее полученный ответ сервера пользователю, чем и сокращаем время запроса, и уменьшаем количество наших запросов к удаленным серверам, тем самым увеличивая надежность нашей системы.

Возможно, вы захотите немножко остудить наш пыл Ведь вы можете возразить добавление новых ресурсов приведет к увеличению времени требуемого для опроса всех десяти ресурсов, что минимум в десять раз увеличит время ожидания нашей системой ответа и соответственно ожидания пользователем нашего ответа ему Да вы правы, но отчасти. Действительно, если производить запросы последовательно, то результат будет именно таким. Но если их осуществить параллельно, то все станет на свои места, и наши рассуждения вновь обретут ощутимый вес.

Наша компания уже много лет использует метод распараллеливания запросов к поисковым ресурсам. Этот метод отлично зарекомендовал себя. Однако и у этого метода есть свои нюансы. Что если при параллельном запросе девять источников возвращают результаты за 3 секунды, а десятый иногда за 2 секунды а иногда и за 9. Очевидно, что если мы будем ждать все десять источников, то время запроса может достичь 9 секунд, что очень долго, и виной тому слабое звено - десятый ресурс. Естественно что лучшим выходом будет задать определенный интервал, который будет ограничивать время за которое должны быть получены данные с удаленных поисковых ресурсов. Для нашего примера, если мы зададим его в 4 секунды, то будем получать данные, либо с десяти, либо с девяти ресурсов но всегда уложимся в 4 секунды!

Ниже приведены графики поясняющую разницу между последовательными запросами и параллельными, а так же наши последние рассуждения.

У данного подхода есть неоспоримые преимущества перед содержанием собственного поискового сервера. Мы можем найти результаты поиска сразу с нескольких поисковых серверов, и пользователь будет избавлен от необходимости бродить по всем из этих поисковых ресурсов и получать результаты по каждому из них в отдельности. Мы можем объединить одинаковые результаты, встречающиеся на разных поисковых серверах, в один и показать метаинформацию, где он был найден и место, на котором он был расположен. Такая информация безусловна будет более интересна пользователю, нежели результат, с какой-то одной системы.

Обратите внимание, как могут выглядеть результаты в данной системе:

Ведь эффект от такого поиска значительно выше чем поиск по каждому ресурсу в отдельности.

Такой подход имеет свое название Metasearch. Строя свою систему или подбирая существующую обратите внимание, что полученные результаты, после объединения, можно [ренковатьk, и производить их дальнейшую сортировку, опираясь на значение [ренкаk. Однако, что же такое [ренкk? Ренк это определенное значение, полученное по заданному алгоритму от функции [ренкованияk, занимающейся как раз вычислением этого значения. Давайте рассмотрим один из алгоритмов. Пусть значение [ренкаk для результата тем выше, чем больше количество поисковых ресурсов на которых он был найден, и затем, чем выше среднее арифметическое его позиции на всех найденных ресурсов. Имея это число для каждого объединенного результата, достаточно отсортировать по нему полученные результаты, и вы получите картину, показанную на рисунке выше. Такой тип поиска имеет название Ranking Metasearch.

 

В наши дни, интернет стал не только средством обмена информацией. Сейчас это огромная бизнес машина, на которой зарабатывают миллиарды долларов. Основным источником дохода является, безусловно, реклама, размещенная на сайтах. Как получить рекламу для вашего сайта? Процесс очень простой, и интересно то, что он аналогичен поиску Metasearch. Как правило, вам необходимо зарегистрироваться на серверах предоставляющих рекламу(Miva.com, LookSmart.com, ), и получать по определенным ссылкам результаты, ассоциированные с каким либо ключевым словом и показать ее у себя на странице. В зависимости от условий вы будете получать деньги либо за демонстрацию рекламы либо за [кликиk совершенные пользователями по этой рекламе. Но вернемся к сути Идея в том, что и при каждом поиске совершенном пользователем, мы можем [в один присестk получить результаты с поисковых серверов, а так же получить рекламу со всех рекламных серверов и отобразить пользователю (и надеяться что он кликнет :-) ).

Общая схема поисковой системы этого типа может выглядеть следующим образом:

 

Наша компания, имеет множество продуктов такого типа, включая Ranking Metasearch. При этом нами были произведены сотни модификаций наших продуктов реализующих поиск этого типа с самыми изощренными требованиями предъявляемыми как к Metasearch так и к Ranking Metasearch.

Посмотрите примеры реализации поисковых систем типа Metasearch нашей компании, чтобы лучше понять [природуk этого типа поиска:

g OrbitMetasearch

g SmartPPC Power с множеством поисковых плагинов, и Ranking Metasearch в частности

Данные продукты сочетают в себе все вышеописанные подходы для практической реализации всех достоинств технологии Metasearch, что выражается в постоянном усовершенствовании способов надежного и быстрого получения результатов. Кроме того компания Orbitscripts модифицирует алгоритм работы данной технологии и методов сортировки и обработки данных соответственно желаниям заказчика. И готова воплотить любую, даже самую [безумнуюk идею, в жизнь!

Примечание: Основной источник Orbitsoft-LiveJournal.