Метапоисковые системы: примеры, принцип работы. Шпаргалка по метапоисковым системам

Сеть Интернет, еще пару десятилетий назад только зарождающаяся в самых развитых странах, на нынешний момент развивается стретельными темпами, ни с чем не сравнимыми. Ежедневно количество информации в ней растет в представляя собой динамически переменные данные. Естественно, такую массу информации нужно как-то контролировать. Именно с этой целью в свое время были введены Но на данный момент справиться со всем объемом информации, ежеминутно поступающей в Сеть, не способен ни один поисковик. Особенно если взять во внимание различие алгоритмов поиска. Ведь, задавая запрос в разных поисковых системах, даже эквивалентных друг другу по базам, пользователь может получить совершенно разные результаты. Поэтому пришлось совершенствовать уже существующие системы. Используя агрегирование результатов, самые развитые ПС внедрили у себя в программном обеспечении дополнительные ресурсы - метапоисковые системы.

Что означает метапоиск

В среде Интернет метапоиском принято называть машину, способную обработать запрос пользователя и результаты самых распространенных систем поиска. Иными словами, интерфейс программы ничем не отличается от такового у обычного поисковика. Но когда ей задается определенный запрос, она использует не свои ресурсы, а переадресовывает запрос в ведущие поисковые системы, и в итоге пользователь видит совмещенный список результатов из баз данных различных поисковиков. При этом для удобства использования такого типа поиска полностью устраняются все повторяющиеся ссылки, что способствует улучшенным результатам выдачи данных.

Преимущества

Самым главным достоинством, которым могут похвастаться метапоисковые системы, является возможность за короткое время без лишних усилий получить результаты различных поисковых систем без дублирования ссылок. Используя всего одну программу для структуризации информации, можно получить более широкий спектр результатов из разных источников, без необходимости использования множества ведущих листингов.

Многие пользователи часто сталкиваются с такой проблемой, что некоторая редкая информация, документы или программы могут быть видны в одном поисковике и напрочь отсутствовать в другом. Таким образом, человек начинает пользоваться тем, где он, собственно, и нашел редкую информацию. И вновь сталкивается с подобной проблемой. Уже другой запрос выбранный поисковик не находит, зато он отображается в старом, который ранее не оправдал ожиданий. Именно этот недостаток и позволяют устранить в реальной жизни метапоисковые системы, выдавая пользователям максимально сбалансированные результаты.

Недостатки

Все недостатки метапоиска вытекают из его преимуществ, являясь их логическим продолжением. Собственной индексной базы в метапоиске нет как таковой, поэтому и добавление URL собственных сайтов в него невозможно. Вторым, достаточно важным минусом является достаточно скудный список синтаксических возможностей, то есть достаточно сложно сформировать расширенный поиск информации.

В основном используется до двадцати различных систем поиска данных, и, естественно, их варианты расширенного поиска различны между собой. Конечно, на данный момент уже появляются метапоисковые системы, разработанные по принципу новой школы. В них учтены все различия между самыми ПС, и, соответственно, расширенный поиск имеет больше возможностей. Но пока таких систем мало, поэтому вопрос остается нерешенным.

Разновидности

Прежде чем дальше рассматривать функциональные возможности этих систем, стоит отметить, что существуют различия в данном типе поиска. Классический тип, рассмотренный выше и базирующийся на том, что ПС обрабатывает индексы других поисковиков, а потом передает сведения пользователю, считается самой распространенной и востребованной. Но с учетом улучшений и изменений подобных ресурсов есть также и другие разновидности систем метапоиска.

Одним из самых распространенных на данный момент является случай, в котором информация о результатах запроса погружается во фреймах, причем все сведения находятся в пределах одной метастраницы. Стоит отметить, что каждый фрейм в данном случае содержит в себе оригинальную страницу поисковой системы, которая была выбрана целевой. В некоторых случаях открывается пара страниц, в зависимости от количества выбранных пользователем ПС.

Также популярен вариант «Все в одном поиске». То есть у пользователя открыта форма поиска, с помощью которой он может обратиться к безграничному количеству различных систем поиска. Но, делая запрос, он может обратиться лишь к одной выбранной. Иными словами, один поиск - один поисковик. Это не так удобно, как, например, в классическом варианте.

Самые распространенные поисковики-мета

Среди систем подобного рода самой популярной классической платформой была метапоисковая система Vivisimo. Она набирала до двенадцати миллионов уникальных посетителей за один месяц. Но стоит отметить, что популярность не означает автоматическое подтверждение качества и комфортабельности использования ресурса.

Старая школа

На данный момент существует множество классических метапоисковиков. Все они имеют длинную историю создания, продвижения и существования. Практически каждая из таких систем имеет одинаковый принцип действия, поэтому рассматривать их по отдельности не имеет смысла.

Поэтому представим классические метапоисковые системы, список которых выглядит следующим образом:

• http://www.dogpile.com,
• http://www.metacrawler.com,
• http://www.search.com,
• http://www.vivissimo.com.

Также стоит обратить внимание на IxQuick, MetaEureka, ZapMeta, WebCrawler и WindSeek.

Основное их отличие - это интерфейс. Поэтому выбрать лучшие среди них достаточно сложно, ведь каждый пользователь находит ресурс в зависимости от собственных предпочтений. Только попробовав лично поработать с каждой из этих систем, можно понять, какая из них удовлетворяет все потребности и соответствует ожиданиям.

Новая школа

На данный момент создаются системы метапоиска совсем другого типа, из так называемой «новой школы». Основное их отличие от классических - использование кластеринга. Технически его реализация происходит в разных формах. Обычно это выглядит как автоматическое выделение ключевых слов и фраз с добавленной в облаке информации, косвенно касающейся запроса пользователя. На экран выводятся уже дополнительные ключи, по которым можно уточнить поиск, сделать его более узконаправленным. Иными словами, метапоисковые библиографические системы предлагают варианты, позволяющие сделать запрос более узконаправленным, сужая тем самым рамки поиска информации и помогая пользователю найти нужные ему данные.

Кроме того, системы нового поколения позволяют более выраженно проработать полученные результаты. Иными словами, в них используется так называемая поисковая стратегия, т. е. при необходимости пользователь может самостоятельно задавать ее параметры.

Из нового поколения к метапоисковым системам относятся: Clusty, Kartoo, Mooter, Izito, WebClust и iBoogie.

Все, что выдают поисковые доноры является предметом ранжирования и анализируется метапоиском. Происходит это сразу, как только система получает результаты, весь процесс - автоматический. Ресурс ранжирует все описания найденных данных. Далее проходит повторный анализ, главным критерием которого является место во всех составляющих выдачи поиска, и учитываются все аналогичные данные, найденные поисковиком в конкретном и прочих ПС.

Поисковые страницы

Кроме полноценных поисковиков, существуют также и метастраницы, их часто называют «все в одном». По своим свойствам они очень напоминают ПС, но все же таковыми не являются. Ранее мы уже рассмотрели многие метапоисковые системы, примеры страниц, созданных на их подобии: iTools, AllSearches, AdClick.ru и Searchalot. Несмотря на их неполноценность как ПС, все равно многие пользователи предпочитают для поиска использовать именно эти ресурсы. На самом деле это неудивительно, поскольку данные страницы имеют очень похожий функционал и реализуют те же возможности, которые доступны, например, в iBoogie.

Выводы

На данный момент существует несколько сотен ресурсов, представляющих собой метапоисковые системы. Интернет ежегодно развивается активными темпами. Что касается индивидуального выбора, то часто он зависит от субъективных факторов, например, удачной гаммы цветов или присутствия комфорта использования интерфейса. Стоит отметить, что некоторые метапоисковики первоначально неудачно созданы, их функциональные возможности не в состоянии улучшить поиск, а в отдельных случаях даже усугубляют сам процесс. В связи с чем лучше всего пользователю самостоятельно подбирать себе подходящий ресурс.

Естественно, западные поисковые системы во многом опережают отечественные, и многие используют именно их в качестве инструмента для поиска. Но не отметить качество и удобство использования Rambler и Yandex нельзя. Эти метапоисковики прекрасно справляются со своей работой и помогают найти оптимальные результаты даже для сложных и редких запросов. Также хочется обратить внимание на Нигма.рф. Она самая первая появилась на просторах Рунета в качестве интеллектуальной системы для метапоиска. Также на данный момент набирает популярность система для поиска в социальных сетях под названием yoname.com.

В любом случае поиск информации с помощью метапоисковых систем намного эффективнее классического использования различных ПС. Ведь они отображают намного больше результатов и охватывают большую базу информации в сети. А с учетом того, насколько быстро растет количество контента в Интернете, подобные системы, будут очень даже кстати для нормальной работы в Сети.

Итак, метапоиск — это поисковая машина, которая при поисковом запросе параллельно опрашивает несколько независимых традиционных ПС и возвращает их результаты одним, объединенным списком результатов без дублирования ссылок и, по возможности, улучшая частные результаты выдачи, т.е. выступая посредником между вами и множеством ведущих ПС.

Преимущества метапоиска

Главное преимущество — это возможность быстро и удобно сделать запрос фактически через одну поисковую строку сразу ко многим ведущим ПС, что экономит время, да и анализ единого листинга результатов намного проще, чем сличение множества разных листингов с множеством дублирований результатов. Иначе говоря, работая через метапоиск, ваш угол обзора всегда будет существенно шире, чем через каждую ПС в отдельности.

Недостатки метапоиска

Недостатки метапоиска являются продолжением и логическим следствием его преимуществ: так, очевидно, что у метапоиска отсутствует собственная индексная база, соответственно вы не можете добавлять в его поиск URL своих сайтов. Второй очень важный недостаток такого поиска, это традиционные очень скромные синтаксические возможности для формулирования условий расширенного поиска. Поскольку метапоисковик может использовать в качестве доноров до 15-20 сторонних поисковых машин, то очевидно, что синтаксис расширенного поиска (булевы операции и т.п.) у всех поисковиков так или иначе будут отличаться. И хотя некоторые продвинутые метапоисковики «Новой Школы» (см.описание ниже) и пытаются на лету транслировать подобные сложные запросы в персональный язык каждой отдельной ПС, пока это ещё редкость, и в целом поддержка разновидностей булевых и других расширенных операций пока в метапоиске очень ограничена.

Разновидности метапоиска

Чтобы двигаться дальше в описании метапоиска, следует сначала хотя бы в общих чертах описать самые типичные разновидности этого типа поиска. Наиболее стандартный тип метапоиска описывается в определении в начале нашей статьи, т.е. это ПС, обеспечивающая параллельный запрос во множество обычных ПС с последующей выдачей результата этих поисков в одной общей странице исходного метапоиска. Но кроме этого вида существуют и другие разновидности, в частности, варианты, когда результаты запроса подгружаются во фреймах в пределах одной страницы, причем в каждом фрейме отображается оригинальная страница с результатами целевой ПС, также возможен вариант открытия после запроса нескольких страниц с оригинальной выдачей на ваш запрос каждой подключенной ПС. Ещё один распространенный вариант — это наличие формы поиска, в которой вы можете обращаться к огромному количеству ПС, но здесь есть возможность выполнить за раз запрос только к одной ПС на выбор, это так называемые поисковые страницы «все в одном» (all-in-one search).

Наиболее популярные метапоисковики

Переходя от абстрактного описания к конкретике, на март 2011 года лидирующим по количеству посещений был метапоиск WebCrawler c более чем 12 миллионов уникальных посетителей в месяц.

щелкните для увеличения

Вся десятка сегодняшних лидеров на этом рынке выглядит, как показано на рисунке ниже. Лишний раз напомним, что далеко не всегда самые популярные системы автоматически являются самыми качественными.

Стандартный метапоиск: старая школа

Переходя к рассмотрению разновидностей метапоисковиков, перечислим наиболее известные и уже классические из них, которые отчасти были описаны выше в нашем определении. Большинство из них имеет очень длинную историю и хорошо известны пользователям интернета со стажем, но в силу их принципиально одинакового устройства нет смысла сильно останавливаться на каждом из них в отдельности:

К ним относятся:

Повторимся, что все отличия, как правило, сводятся лишь к различным интерфейсным решениям, поэтому тут лучше самостоятельно подобрать себе что-то наиболее соответствующее именно вашему вкусу.

Экспериментальный метапоиск: новая школа

Сейчас мы также перечислим метапоисковики, относящиеся к «новой школе» (новому поколению) в метапоиске, главной особенностью и чертой которых является использование т.н. кластеринга (clustering). Кластеринг технически реализуется в самых разных формах, но чаще всего он автоматически выделяет ключевые темы или слова вашего поиска, кроме традиционной выдачи, дополнительно создавая облако тематических тегов или предоставляя уже готовый набор ключевых запросов вокруг вашей темы, которые позволяют при желании ещё больше уточнить ваш последующий поиск.

Второй типичной чертой современных поисковых метасистем является выраженная стадия постобработки полученных результатов. Как правило, сразу после получения суммы всех результатов происходит самостоятельное ранжирование всех описаний полученных документов, на втором этапе их выдача дополнительно анализируется и корректируется с учетом места, на котором находится каждый документ в каждой составляющей поисковой выдачи, и общему количеству аналогичных документов, найденных по этому запросу в других ПС (т.е. выдачи доноров сами являются предметом ранжирования и активного анализа со стороны метапоиска).

Приведем список подобных систем, из которых каждый сможет выбрать себе наиболее удобную систему.

В этой статье мы с Вами разберём последнюю группу мета-тегов в HTML , предназначенных для поисковых систем. Они имеют большую важность, и их надо использовать на каждой странице. Без использования мета-тегов для поисковых систем , оптимизация будет затруднена.

Сначала давайте разберём то, как вставляются мета-теги для поисковых систем в HTML . Как и все мета-теги, они вставляются внутри тега <head > следующим образом:

Как видите, процесс вставки абсолютно идентичен процессу вставки мета-тегов для страницы , поэтому здесь всё так же просто. Теперь перечислю основные мета-теги для поисковых систем , которые надо будет использовать:

• description - этот мета-тег содержит описание страницы. Фактически, в данном мета-теге необходимо кратко сформулировать, что на данной странице находится. Вопреки заблуждению большинства, данный мета-тег влияет на выдачу в поисковых системах, поэтому вставляйте его на каждой странице.
• keywords - мета-тег, содержащий ключевые слова для данной страницы. Здесь можно использовать набор различных слов, которые чаще всего у Вас встречаются на данной странице. Так же как и "description ", "keywords " должен быть указан на каждой странице.
• robots - этот мета-тег используется, если нужно запретить индексацию страницы поисковыми система. Это бывает очень полезно и очень часто используется. О возможных значениях этого мета-тега мы поговорим чуть ниже.

Теперь давайте приведу пример использования мета-тегов для поисковых систем в HTML :

Здесь всё прозрачно, поэтому остановлюсь только на мета-теге "robots ". Здесь существует 4 значения:

• index,follow - это значение означает, что данную страницу нужно проиндексировать, а также пройтись по всем ссылкам на данной странице.
• noindex,follow - это значение сообщает поисковому роботу, что страницу индексировать не надо, а вот пройтись по ссылкам на этой странице стоит.
• index,nofollow - индексировать страницу нужно, но по ссылкам на ней не переходить.
• noindex,nofollow - это значение сообщает роботу, что ни индексировать страницу, ни переходить по ссылкам на этой странице нельзя.

Если поисковый робот должен проиндексировать страницу и перейти по всем ссылкам (в большинстве случаев это так), то указывать мета-тег "robots " необязательно. А вот если нужно запретить индексацию, то самый простой способ это сделать - воспользоваться мета-тегом "robots ".

В начале 2001 года в России была запущен механизм для поиска сайтов Метабот, — поисковая система, по своему функционалу отличающаяся от привычных инструментов поиска.

Для того, чтобы построить список выдачи, она посылает запрос сразу на несколько известных сервисов, которые хранят на своих серверах информацию о зарегистрированных на них ресурсах.

В алгоритм поиска добавляются также нигде не зарегистрированные по тем или иным причинам сайты, ftp-ресурсы и многое другое.

Очень часто при поиске нужной информации через привычные инструменты пользователь мог ничего не находить и пользовался предложениями по поиску на других поисковых машинах ( , ).

Так вот, мета-бот позволяет не тратить время на эту операцию и максимально охватить просторы рунета в одном запросе.

Как работает мета-поисковая система

Для того чтобы начать работу с системой нужно выйти на ее адрес metabot.ru и ввести в строку поиска интересующий запрос, например, «Блог Максима Войтика».

Нужно немного подождать, пока начнет работать алгоритм и опрашивать другие сервисы. После обработки пользовательского запроса получится примерно следующее:

Бросаться на первые строчки сразу не стоит, это реклама. Она же присутствует и справа. А вот ниже начинаются результаты, которые ожидал пользователь.

Система по своему алгоритму ранжирует ресурсы для удобства пользователя. Под каждым результатом имеется подпись ресурса, через который был найден сайт.

Что можно поискать мета-машиной:

• Информацию на русскоязычных сайтах;
• Расширить область поиска до мировых ресурсов;
• Включить запросы по поиску информации на ftp-серверах, предоставляющих услуги по хранению информации, доступной для скачивания;
• Отдельно можно поискать музыкальные файлы и даже информационные статьи.

Услуги метабот.ру предоставляются абсолютно бесплатно. Для того чтобы ими воспользоваться существует три основных способа:

1. Его можно найти привычными методами поиска, в выдаче он первый.
2. Можно установить закладку в браузере.
3. В соответствующем разделе для вебмастера предлагается установить следующий код:

Если установить его у себя на сайте, то получится специальное окошко для быстрого ввода своего запроса.

Метабот как SEO-инструмент

Активно взаимодействуя с популярными поисковиками, система ведет подсчет статистики запросов пользователей, так и результатов выдачи.

Это значит, что сервис можно использовать для анализа числа обращений к тем или иным ресурсам и выявления наиболее популярных . Таким образом можно выявить частоту «выпадания» своего домена в выдаче сразу нескольких машин.

Алгоритм метабота построен таким образом, что в рейтинге участвует не отдельно взятая главная страница, а домены нескольких уровней. Это позволяет провести глубокий анализ обращений к конкретному ресурсу.

Сервис также можно использовать для сравнения с другими аналогичными сайтами, на которых расположен контент и выявить, согласно каким запросам он появляется в списке выдачи выше и насытить свой сайт именно этими ключевыми словами в тексте.

Для использования этого сервиса мета-поисковика достаточно ввести вот в такое окошко адрес ресурса и оценить его рейтинг согласно количеству запросов.

Алгоритм системы может работать и по маске. Чтобы расширить поиск в одном действии достаточно после запроса поставить звездочку.

По умолчанию выдается статистика за последние семь дней. Если после запроса не выдало результатов, это значит, что за последнюю неделю к вашему ресурсу никто не обращался.

Одним из минусов метабота, как и любой другой мета-системы, является неприспособленность к отсутствию единого языка запросов для поисковых машин. В результате после обращения пользователя по ключевой фразе можно либо вообще не получить нужного ответа, либо он будет нерелевантным.

После ввода в строку для поиска запроса «Генераторы» и установления ограничения на раздел «Статьи» можно увидеть вот такую картину. Вроде бы показывает девяносто статей, а где их наличие?

Что еще поискать или раздел находки

Пользователи интернета ищут информацию по разным причинам. Кто-то бесцельно, кто-то для работы. Специально для серферов интернета в метаботе присутствует раздел находки. Здесь можно увидеть именно тот материал, который, как говорится в ходу.

В правой части анализатора можно ознакомиться с самыми популярными статьями, самыми комментируемыми статьями и наиболее популярными комментариями.

Крайне полезный раздел для, кто задался идеей запуска своего ресурса. Заранее зная, чем «дышит» интернет, можно разработать тематическую концепцию сайта для обеспечения большого количества посещений в будущем.

Пользовательский Help

Чтобы наглядно представить, как будет система обрабатывать запрос пользователя в специальном разделе представлена инструкция по тому, как будет происходить работа мета-поисковой машины:

1. Если в запросе из нескольких слов они разделены пробелами, то поисковый алгоритм выдаст наиболее полные результаты запроса.
2. Если между словами используется разделитель, например, минус или дефис, то в зависимости от принципа работы других поисковиков может наблюдаться исключение следующего после разделителя слова из запроса.
3. Использование кавычек в запросе будет восприниматься системой как команда на поиск наиболее точных совпадений в интернете.
4. Для того чтобы соединить запросы нужно между запросами поставить знак плюс. Аналогичной командой будет знак прямого слеша (|). Он обозначает логическое «или».
5. Если же пользователю необходимо задать поиск по маске, достаточно после ввода ключевого слова поставить звездочку. Она будет восприниматься системой как любое слово.

При всей своей мощности пользовательский интерфейс поисковика достаточно скромный.

Тем не менее, он уже занял достойной место в списке рабочих инструментов разработчиков и искателей информации.