Как проверить индексацию страниц. Какие социальные сети индексируются поисковиками

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

  • с помощью Яндекс Вебмастера;
  • с использованием операторов поисковой системы;
  • с помощью расширений и плагинов;
  • с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

  • новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
  • изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
  • история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

  1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
  2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

  • для отслеживания изменений количества страниц в Яндексе;
  • для слежения за добавленными и исключенными страницами;
  • для выяснения причин исключения сайта из поисковой выдачи;
  • для получения информации о дате посещения сайта поисковиком;
  • для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

  • «site» — поиск по всем поддоменам и страницам указанного сайта;
  • «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Нажимаем «Начать проверку» и через несколько секунд получаем результат:


Создали сайт, но не можете его найти в поисковиках? Не проблема! В этом материале Вы узнаете, как проиндексировать сайт в Яндекс и Google, за максимально короткий промежуток времени. Наверное, о плюсах быстрого попадания в индекс поисковых систем говорить излишне. Ведь любой понимает, что чем раньше его сайт будет показываться в поисковой выдаче, тем быстрее появятся новые клиенты. И чтобы это всё заработало, необходимо попасть в базу поисковиков.

Кстати говоря, благодаря правильному подходу, новые материалы нашего сайта достаточно хорошо, а самое главное всегда быстро индексируются поисковыми системами. Возможно и Вы попали на эту страницу после обращения соответствующим запросом в поисковой строке. От лирики же перейдём к практике.

Как узнать проиндексирован ли сайт?

Первое, что нужно сделать — узнать проиндексирован ли сайт поисковыми системами. Может быть так, что сайт просто не находится на первой странице поиска по тому запросу, которые Вы вводили. Это могут быть высокочастнотный запросы, чтобы показываться по которым нужно работать над , а не просто сделать и запустить сайт.

Итак, для проверки заходим во все поисковые системы, в которые имеет смысл заходить (Яндекс, Гугл, Мэйл, Рамблер ) и в строку поискового запроса вводим адрес сайта.

Если Ваш ресурс ещё не был проиндексирован — в результатах выдачи ничего не будет показано, либо покажутся другие сайты.

Как проиндексировать сайт в Яндексе?

Для начала расскажем, как проиндексировать сайт в Яндексе. Но прежде чем, добавить свой ресурс, проверьте, чтобы он корректно работал, правильно открывался на всех устройствах и содержал только уникальный контент . Например, если добавить сайт на стадии разработки, можно просто угодить под фильтр — с нами один раз такое случалось и пришлось ждать целый месяц, чтобы Яндекс понял, что у нас качественный сайт и снял санкции.

Чтобы сообщить Яндексу о новом сайте, необходимо и , первый инструмент отвечает за дополнительную информацию о ресурсе (регион, структура, быстрые ссылки ) и тот, как сайт выглядит в результатах органической выдачи, второй за сбор данных по сайту (посещаемость, поведение и прочее ), что согласно нашем опыту, так же оказывает влияние на индексацию сайта и его позиции в поиске. А ещё обязательно сделайте карту сайта и укажите её в панели вебмастеров.

Как проиндексировать сайт в Google?

Чаще всего Гугл сам достаточно оперативно находит новые сайты и загоняет их в поиск, но ждать, когда Google придёт и сделает за нам всю работу — слишком самонадеянно, поэтому давайте разберёмся, как проиндексировать сайт в Google.

Сначала — это панель вебмастеров Google, и . Придерживаемся тех же целей — дать максимум информации о сайте поисковым системам.

После того, как сайты добавлены, должно пройти от 3 до 7 дней , прежде чем поисковики обновят данные и проиндексируют сайт.

Всегда хочется, чтобы новые страницы сайта, стали показываться в результатах поиска, как можно быстрее и для этого есть несколько секретных (и очень простых) способов, как ускорить индексацию страниц сайта в поисковых системах.

3. Чтобы проделать манипуляцию описанную во 2-м пункте, только для поисковой системы Google, заходим в Search Console. Выбираем «Сканирование» и «Посмотреть, как Googlebot» -добавляем адрес новой страницы и нажимаем «Сканировать», после этого запрашиваем индексацию.

Анализ индексации сайта

В завершении необходимо отметить, что даже после успешной индексации сайта в поисковых системах, на этом работа не заканчивается. Необходимо периодически делать анализ индексации сайт, а так же снимать позиции по популярным запросам. Это позволит держать руку на пульсе и не оказать в ситуации, когда значительная часть трафика из органической выдаче просто исчезла.

Так случилось со многими старыми сайтами, которые использовали старые методы продвижения, после выхода . При этом, Яндекс заранее сообщил о том, что запускает этот алгоритм и переоптимизированные страницы будут исключены из поиска, а тот же Google, никогда не сообщает о выходе новых алгоритмов. Поэтому только неустанный контроль позволит оставаться лидером тематики или стать им!

родолжаем знакомить вас с нашей азбукой интернет-маркетинга. И сегодняшняя страница нашего букваря начинается на букву И - индексация.

Что такое индексация?

Мы уже рассказывали вам о . Если совсем кратко, это ответы на запросы пользователей, которые они вбивают в поисковик. Забиваешь ты “купить слона” — получи сайты, которые предлагают слоновом оптом и в розницу. Пластиковые окна или девочек по вызову по таким запросам Яндекс или Гугл не покажет.

А теперь внимание, вопрос: каждый ли сайт попадает в поисковую выдачу? Нет, не каждый. Как минимум надо, чтобы поисковики знали о существовании этого сайта и о контенте, который на нем размещен. Ведь как можно показывать то, о чем никто не знает? Для этого есть базы данных сайтов. Если кратко, то внесение сайта с его содержимым в эту базу и называется индексацией.

Как происходит индексация? Робот Яндекса или Гугла действует по своим алгоритмам: ищет сведения о вашем сайте (в эти сведения входят ключевые статьи, тексты, фото и т. д.- словом, весь контент). Он как рентген, просвечивает каждую страницу сайта, анализирует ее, сканирует и добавляет ваш сайт в базу данных. Теперь он будет отображаться в поисковой выдаче и показываться в ответ на запросы пользователей. А уж на каких позициях — в лидерах или аутсайдерах — зависит от контента, которым он наполнен.

Разумеется, индексация сайта просто необходима. Когда ваш сайт начинают видеть поисковики — на него приходят посетители и растет

Как внести сайт в базу?

Допустим, создали вы сайт Самыйлучшийсайт.рф. Наполнили его, понятное дело, лучшим контентом и с нетерпением ждете, когда он выйдет в топ. Для того чтобы сайт и контент проиндексировался и был внесен в базу, можно использовать два способа.

  1. Дождаться самостоятельной индексации. Рано или поздно роботы найдут ваш сайт — для этого нужно лишь оставить на него активные ссылки с других ресурсов. Считается, что чем больше ссылок — тем быстрее будет индексация.
  2. Добавить сайт вручную, заполнив специальную форму в поисковике. Там нужно указать ссылку на сайт и краткую информацию о нем. В Яндексе, например, это делается в сервисе Яндекс Вебмастер на странице Сообщить о новом сайте .

Там же в Вебмастере можно потом следить за статистикой запросов, которые приводят пользователей на ваш сайт. В Google тоже все просто — зарегистрировать сайт можно по ссылке Центр веб-мастеров Google .

Как быстро происходит индексация? Точные цифры сложно сказать — это уж как повезет. Но одно мы знаем точно: Яндекс индексирует медленнее, чем Гугл. Были случаи, когда индексации в нем ждали по нескольку недель.

Как ускорить индексацию?

Алгоритмы поисковиков — штука непредсказуемая, и, как уже говорилось, точного рецепта нет. Можем посоветовать проверенные способы (по сути те же самые, которые влияют на продвижение сайта в поисковой выдаче)

  1. Уникальный контент, который так любят поисковики. Один момент: если вы выложили на сайт или в блог статью и она еще не проиндексировалась, любой теоретически может утащить ее и разместить у себя. Если на другом сайте статья проиндексируется раньше — вы в пролете. Ваша статья будет считаться неуникальной, а конкурент останется в шоколаде.
  2. Понятная структура сайта. Соблюдайте правило трех кликов: на каждую страницу с главной можно попасть не больше чем в три клика. Меньше — хорошо, больше — лучше не надо! Так вы облегчите задачу поисковикам, которые будут индексировать не только главную, но и другие страницы.
  3. Перелинковка с внутренними страницами — полезно и для посетителей, и для робота.
  4. Трансляция постов в RSS-каталоги. Все ваши посты будут дублироваться в RSS-каталоги, в которые добавляются RSS-ленты. Это ленты для подписки на обновления блогов или сайтов, чтобы вы получали все самое свежее на свою почту. С их помощью поисковик быстрее найдет ваши новые статьи и проиндексирует.

Приведем пример удачной индексации

Неделю назад на одном из сайтов появилась статья про ружье ВПО-213 . Информации об этом ружье в Сети практически не было — оно еще не появилось в продаже. Была только короткая презентация в видео на Ютубе. Соответственно, текст был полностью уникальным и чуть ли не единственным в интернете на эту тему. В районе полуночи текст был опубликован на сайте (даже не на главной странице!) и в течение короткого времени проиндексирован. В половине десятого утра следующего дня статья была на третьем месте в поисковой выдаче Яндекса. В 9.50 она стала первой и держит эти позиции до сих пор.

Читайте нашу азбуку интернет-маркетинга, делитесь важным с друзьями!

Современное общество уже не представляет жизни без социальных сетей. Интернет-аудитория активных пользователей продолжает неуклонно расти. Предлагаю взглянуть на это все со стороны продвижения бизнеса. Какие социальные сети индексируются поисковиками и помогают ли социальные факторы в поисковом продвижении сайтов?

Индексация Twitter

Поисковые системы охотно индексируют твиты. У Яндекса даже есть отдельный поиск по твитам. Ссылки в твитах также индексируются, в том числе и непрямые (например, через сервисы goo.gl/ и др.). При этом твиттер индексируют быстророботы, узнать такие ссылки в выдаче можно по указанной рядом дате или времени:

До момента ее индексации подобная ссылка передает только трафик с твиттера. Интернет в целом движется в сторону социальщины, так что пора начинать «собирать лайки на коммерческие сайты», чтобы оказаться на гребне волны, когда поисковые машины пересмотрят свою политику.

Итак, для того чтобы твит лучше индексировался, нужно:

  • большее количество ретвитов;
  • добавление в favorites;
  • авторитетный аккаунт

Таким образом твиттер помогает продвижению сайта и ускоряет его индексацию.

Индексация Одноклассников

Около недели как страницы пользователей социальной сети « » начали индексироваться поисковиками. Это относится и к группам. Любой пользователь может отключить функцию индексации, чтобы защитить личную информацию о себе. Также у пользователей социальной сети есть возможность выборочно закрывать от поисковиков свою информацию – статусы, фотографии и другую информацию.

Индексация Facebook

Cсылки в Facebook стоят с атрибутом nofollow, т.е. вес по ним не передается поисковым системам и не влияет на тИЦ и PageRank. Но они все равно индексируются поисковиками. И наибольшую пользу приносят лайки самой социальной странички компании, а не публикаций на ней. Именно такие ссылки учитываются поисковыми системами. Чем больше лайков получает страница в Facebook продвигаемого сайта, тем больше ссылок с разных страниц пользователей социальной сети будет стоять на продвигаемый сайт.

Наибольшую ценность и вес, как и в твиттере, представляют лайки авторитетных аккаунтов и известных страниц. Это так же положительно сказывается и на трафике сайта. Для привлечения лайков на продвигаемый сайт можно создавать интересный контент, проводить различные конкурсы и опросы.

Влияние на SEO несколько ниже, чем у Twitter, но тем не менее приносит определенную пользу, и не стоит этим пренебрегать.

Индексация Google+

Хотя Мэтт Катс в свое время заявлял, что Google+ не имеет прямого влияния на релевантность сайта, по нашему опыту подобное влияние все же существует. В выдаче Google отдает предпочтение сайтам, добавленным в Google+ Круги. При поиске по местным результатам Google часто ставит местные Google+ результаты выше других.

Положительно на продвижение влияют не только +1 от авторитетных пользователей (Google Author Rang), но и пользователей старой почты Gmail. Проверенное авторство на информацию в Google+ служит залогом доверия у поисковой машины, т.е. в выдаче информация от проверенного аккаунта будет иметь большую релевантность, чем информация без подобной проверки.

Но не стоит искусственно накручивать +1, это чревато санкциями со стороны поисковика, ведь определить такие манипуляции для Google не представляет большого труда.

Индексация ВКонтакте

ВКонтакте все ссылки стоят через редирект, т.е. для передачи тИЦ и PageRank они бесполезны. Но в выдаче Яндекса можно найти профили из , а в поиске по блокам – статусы и заметки, где так же могут быть размещены и ссылки. Как минимум это обеспечит дополнительный трафик.

Яндекс так же обращает внимание на количество человек в группе продвигаемого сайта, а вернее на виджет, расположенный непосредственно на сайте. Если их более 500, поисковик учитывает эти данные при ранжировании сайта.

Индексацию личного профиля поисковыми системами при желании можно отключить.

Индексация YouTube

Все хорошо знают чей это сервис) Очень хорошо индексируется в Google, немного хуже в Яндексе. YouTube может дать большое количество посетителей. Для этого нужно заполнять все поля (описание,теги), выбрать удачное изображение на обложку видео. Особенно важно — это заголовок видео и ссылка на ваш ресурс.

Индексация Pinterest

В настройках социальной сети Pinterest можно выбрать будет ли ваш профиль индексироваться поисковыми системами или нет. В Яндексе не было замечено чтобы он индексировал профили. В Google все хорошо. Если у вас есть сайт то лучше добавить его в профиль.

Индексация Instagram

Пользователям Instagram которые предпочитают использовать функцию приватного доступа к аккаунту в Instagram, нет нужды беспокоиться о вопросах приватности с веб-профилями.

По словам разработчиков, если у вас приватный аккаунт, ваши фотографии смогут увидеть только залогиненные пользователи, которым вы дали доступ. Это также означает, что только эти ваши подписчики смогут комментировать и лайкать ваши фото в сети.

Более того, поисковики не индексируют фотографии в Instagram - вне зависимости от настроек приватности. Если у вас есть сайт то рекомендуется добавить его в профиль. Это будет бонусом как для поисковой индексации так и для узнаваемости.

В заключение

Ссылки из социальных сетей не имеют определяющего значения на положение сайта в выдаче и не передают вес сайту, но тем не менее косвенно влияют на его продвижение. Социальные сети и блогосфера – это миллионы людей, которые своими поведенческими реакциями отражают в том числе и свое отношение к сайтам. И для поисковиков социальные факторы – это в первую очередь человеческие сигналы, которые так же можно применять для . Пренебрегать SMM не стоит. Но даже если у вашей компании нет своей странички/группы в социальной сети, вы не ведете корпоративный блог или твиттер, имеет смысл хотя бы разместить на сайте кнопки социальных сетей для привлечения дополнительного трафика. Это пойдет только на пользу!

P.S Возможно я забыл какую то популярную социальную сеть которая индексируются поисковиками, напишите в комментарии.

Твитнуть

Отправить

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Отправить

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:».

Например, сайт cubing.com.ua находится под фильтром АГС.

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт . Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap) . Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте . Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с robots.txt . Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Выводы

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

P.S. Бонус для тех, кто дочитал :)

Держите таблицу , с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.



Есть вопросы?

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: