Как проверить индексацию страниц. Какие социальные сети индексируются поисковиками

родолжаем знакомить вас с нашей азбукой интернет-маркетинга. И сегодняшняя страница нашего букваря начинается на букву И - индексация.

Что такое индексация?

Мы уже рассказывали вам о . Если совсем кратко, это ответы на запросы пользователей, которые они вбивают в поисковик. Забиваешь ты “купить слона” — получи сайты, которые предлагают слоновом оптом и в розницу. Пластиковые окна или девочек по вызову по таким запросам Яндекс или Гугл не покажет.

А теперь внимание, вопрос: каждый ли сайт попадает в поисковую выдачу? Нет, не каждый. Как минимум надо, чтобы поисковики знали о существовании этого сайта и о контенте, который на нем размещен. Ведь как можно показывать то, о чем никто не знает? Для этого есть базы данных сайтов. Если кратко, то внесение сайта с его содержимым в эту базу и называется индексацией.

Как происходит индексация? Робот Яндекса или Гугла действует по своим алгоритмам: ищет сведения о вашем сайте (в эти сведения входят ключевые статьи, тексты, фото и т. д.- словом, весь контент). Он как рентген, просвечивает каждую страницу сайта, анализирует ее, сканирует и добавляет ваш сайт в базу данных. Теперь он будет отображаться в поисковой выдаче и показываться в ответ на запросы пользователей. А уж на каких позициях — в лидерах или аутсайдерах — зависит от контента, которым он наполнен.

Разумеется, индексация сайта просто необходима. Когда ваш сайт начинают видеть поисковики — на него приходят посетители и растет

Как внести сайт в базу?

Допустим, создали вы сайт Самыйлучшийсайт.рф. Наполнили его, понятное дело, лучшим контентом и с нетерпением ждете, когда он выйдет в топ. Для того чтобы сайт и контент проиндексировался и был внесен в базу, можно использовать два способа.

1. Дождаться самостоятельной индексации. Рано или поздно роботы найдут ваш сайт — для этого нужно лишь оставить на него активные ссылки с других ресурсов. Считается, что чем больше ссылок — тем быстрее будет индексация.
2. Добавить сайт вручную, заполнив специальную форму в поисковике. Там нужно указать ссылку на сайт и краткую информацию о нем. В Яндексе, например, это делается в сервисе Яндекс Вебмастер на странице Сообщить о новом сайте .

Там же в Вебмастере можно потом следить за статистикой запросов, которые приводят пользователей на ваш сайт. В Google тоже все просто — зарегистрировать сайт можно по ссылке Центр веб-мастеров Google .

Как быстро происходит индексация? Точные цифры сложно сказать — это уж как повезет. Но одно мы знаем точно: Яндекс индексирует медленнее, чем Гугл. Были случаи, когда индексации в нем ждали по нескольку недель.

Как ускорить индексацию?

Алгоритмы поисковиков — штука непредсказуемая, и, как уже говорилось, точного рецепта нет. Можем посоветовать проверенные способы (по сути те же самые, которые влияют на продвижение сайта в поисковой выдаче)

1. Уникальный контент, который так любят поисковики. Один момент: если вы выложили на сайт или в блог статью и она еще не проиндексировалась, любой теоретически может утащить ее и разместить у себя. Если на другом сайте статья проиндексируется раньше — вы в пролете. Ваша статья будет считаться неуникальной, а конкурент останется в шоколаде.
2. Понятная структура сайта. Соблюдайте правило трех кликов: на каждую страницу с главной можно попасть не больше чем в три клика. Меньше — хорошо, больше — лучше не надо! Так вы облегчите задачу поисковикам, которые будут индексировать не только главную, но и другие страницы.
3. Перелинковка с внутренними страницами — полезно и для посетителей, и для робота.
4. Трансляция постов в RSS-каталоги. Все ваши посты будут дублироваться в RSS-каталоги, в которые добавляются RSS-ленты. Это ленты для подписки на обновления блогов или сайтов, чтобы вы получали все самое свежее на свою почту. С их помощью поисковик быстрее найдет ваши новые статьи и проиндексирует.

Приведем пример удачной индексации

Неделю назад на одном из сайтов появилась статья про ружье ВПО-213 . Информации об этом ружье в Сети практически не было — оно еще не появилось в продаже. Была только короткая презентация в видео на Ютубе. Соответственно, текст был полностью уникальным и чуть ли не единственным в интернете на эту тему. В районе полуночи текст был опубликован на сайте (даже не на главной странице!) и в течение короткого времени проиндексирован. В половине десятого утра следующего дня статья была на третьем месте в поисковой выдаче Яндекса. В 9.50 она стала первой и держит эти позиции до сих пор.

Читайте нашу азбуку интернет-маркетинга, делитесь важным с друзьями!

Доброго времени суток, уважаемые читатели моего блога. Каждому разработчику (начинающему и не очень) важно, чтобы его сайт как можно скорее был проиндексирован в поисковиках. Ведь, если странички нет в Яндексе или Гугле, то найти ее практически невозможно. Недавно я рассказывал о том, .

Без этого можно с таким же успехом писать статьи и оставлять их в папке на рабочем столе. Но как узнать что ваш блог действительно проверили и когда этот вопрос становится менее актуальным для разработчиков?

Сегодня я подробно расскажу вам о том, как узнать проиндексирован ли сайт в Яндекс. Вы научитесь мгновенно понимать видят ли ваши страницы другие пользователи, что может этому препятствовать и как эффективно устранить проблемы.

Я научу вас быстро отслеживать информацию о «неподходящих» публикациях, чтобы не тратить время и деньги понапрасну.

Приступим? Но для начала.

Когда и зачем следить за информацией о индексации

Всех новичков заботит проверка собственного электронного ресурса. Поисковик может долгое время не посещать портал, а запретный плод сладок и желанен. Хочется как можно скорее увидеть свое детище на первом месте хоть по какому-нибудь запросу. Со временем эта мечта воплощается, а интерес к индексации угасает. Очень зря.

После первой проверки поисковик периодически заглядывает по уже знакомому URL, чтобы узнать новости и произвести переоценку. Существуют разные факторы ранжирования, к примеру, . Относительно них страницам присваивается определенное место в поисковой выдаче, но есть и факторы, которые мешают новым публикациям появляться в поисковиках.

Если странички нет в выдаче, то это означает, что вы потратили время и деньги (если вы заказывали статью у копирайтера) зря. В чем может быть проблема? Фильтр АГС, дублирование контента, или уникальность текста, технические сбои на хостинге или иной глюк в исходном коде. Причин может быть миллион.

Если вы знаете сколько всего статей на вашем портале и видите, что не все они находятся в выдаче, то нужно производить полную проверку, чтобы выявить какая именно неприятность приключилась на сайте. А они, как правило, есть практически у всех, вне зависимости от того, насколько вы подкованы в веб-строительстве.

Как узнать сколько всего страниц на портале

Итак, произвести анализ можно несколькими способами.

• WordPress

Если ваш портал на ВордПресс, то узнать точное количество страниц можно элементарно. Для этого достаточно зайти в панель управления. Сразу же, вам покажут число записей.

• Карта сайта.

Очень просто можно узнать сколько страниц у вас в блоге, если на нем есть Sitemap. Я уже писал статью о том, она вообще нужна. Если говорить в двух словах, то это очень удобное содержание. Которое хорошо сказывается и на поведении пользователей, и на ранжировании портала.

• Анализ сайта и проверка на ошибки.

Еще один удобный способ, который поможет не только понять какие проблемы есть на вашем блоге, но и поможет разобраться со всеми этими недочетами, сервис Seoto.me .

Он поможет избавиться от битых ссылок, картинок, осуществлять комплексную проверку уникальности, тайтлов, описания и так далее. Заинтересовались? Можете прочитать статью о том, или посмотрите этот ролик.

Сколько страниц проиндексировано

Отлично, если вы знаете сколько страниц есть на вашем сайте, то без труда можете понять сколько из них находится в поисковой выдаче. В идеале, их должно быть ровно столько, сколько и публикаций (плюс главная и страницы рубрик).

Если количество меньше, значит на сайте есть проблемы, которые нужно будет выявить и решить. Для начала я расскажу о простом способе проверки. Он не очень точный, удобный и красивый, но зато быстрый. Идеально подходит для первого раза.

Ручной метод

Откройте Яндекс и введите в поисковую строчку URL:доменное-имя-сайта*.

Естественно вместо «адрес-вашего-сайта» нужно ввести ваш url. Например, вот так. Мой тестовый портал совсем небольшой, но в выдаче нашлось аж 9 результатов. Это замечательно.

Вебмастер

Еще одна очень удобная штука – Яндекс.Вебмастер. Благодаря этому сервису вы можете узнать много полезного, уточнить кое-какую информацию, чтобы повысить свои шансы на первое место в поисковике, заставить Яндекс скорее индексировать свой сайт и, конечно же, проверить страницы.

Мой тестовый сайт еще не подключен к этому сервису. И статьи на тему подключения в моем блоге еще нет. Однако, я думаю, что совсем скоро эта ситуация изменится. Подписывайтесь на рассылку и узнавайте первыми о всем, что происходит с моим тестовым сайтом и с легкостью выполняйте важные задачи.

Как проверить конкретную страницу вручную

Если вам хочется узнать детальную информацию о конкретной странице со своего или чужого сайта, где вы, к примеру, купили ссылку, можно воспользоваться самим Яндексом. Это быстро и просто.

Копируете url и вводите в поисковую строчку Яндекса без каких-либо изменений.

На первом месте должен оказаться тот же URL, который вы вводили в поисковую строчку. Если этого не происходит, значит она не проиндексирована.

Теперь вы знаете как проверить проиндексирован ли сайт и без лишних телодвижений проверить портал на ошибки, а также устранить их.

В идеале у вас должен быть подключен Яндекс.Вебмастер, чтобы не морочиться с проверкой заново. Заходите и периодически проверяете не увеличилось ли количество исключенных страниц. Как только видите, что появились проблемы, заходите на www.seoto.me и он подсказывает чем вызвана проблема. Решаете ее и наслаждаетесь жизнью в интернете.

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

• с помощью Яндекс Вебмастера;
• с использованием операторов поисковой системы;
• с помощью расширений и плагинов;
• с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

• «site» — поиск по всем поддоменам и страницам указанного сайта;
• «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

Из этого отчета вы можете узнать, какие страницы вашего сайта были проиндексированы и как устранить неполадки на страницах, которые не удалось проиндексировать. Общее число URL с тем или иным статусом по классификации Google ("Страница без ошибок", "Ошибка" и т. д.) представлено в отдельных столбцах диаграммы.

О проверке сайтов

Устранив проблему на всех страницах, где она выявлена, запросите повторную проверку сайта. Если она действительно решена во всех перечисленных случаях, Search Console пометит ее в таблице статусов как исправленную и переместит в конец списка. Наш сервис отслеживает статус как проблемы в целом, так и всех случаев ее возникновения по отдельности. Проблема будет считаться решенной только после того, как вы устраните ее во всех выявленных случаях. В разделах и рассказывается, как отслеживать ситуацию с устранением нарушения.

Срок актуальности проблемы

Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из истории отчетов.

Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:

• Если проблема была исправлена на всех страницах, однако через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления останется неизменной.
• Если же это произойдет через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.

Основной процесс проверки

Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление . Она может занять несколько дней , и вы будете получать по электронной почте уведомления о том, как она проходит.

1. После того как вы нажмете Проверить исправление , Search Console сразу же обработает несколько страниц.
   • Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
   • Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на Начато . При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка будет выполняться и далее.
2. Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно найти на странице со сведениями о проблеме.
3. После проверки URL происходит следующее:
   1. Если проблема не найдена, статус проверки страниц приобретает значение Нет нарушений . Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены .
   2. Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение Другое (это не статус ошибки).
   3. Если проблема по-прежнему присутствует, сайту назначается статус Есть ошибки и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
4. Если все URL с ошибками и предупреждениями проверены, а проблема в соответствующих разделах сайта не найдена, статус проверки приобретает значение Нет ошибок . Внимание! В этом случае по-прежнему будет указан исходный уровень нарушения (Ошибка или Предупреждение ).

Даже если вы не нажмете "Начать проверку" , Google все равно сможет обнаружить все элементы с нарушениями на вашем сайте. Если при обычном сканировании окажется, что определенная проблема исправлена на всех страницах, где она раньше имела место, статус ее проверки в отчете будет изменен на "Отсутствует".

При каких условиях проблема считается устраненной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

• Размещенная по этому URL страница просканирована, а выявленная ранее проблема на ней не обнаружена. Если нарушение было связано с тегом AMP, причины могут быть две: или вы успешно внесли исправления, или тег удален (если его не требуется использовать). При проверке будет демонстрироваться статус "Нет ошибок".
• Страница по какой-либо причине недоступна роботам Google (удалена, содержит тег noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на "Другое".

Повторная проверка

Если нажать Провести повторную проверку после неудачной прежней попытки, Search Console начнет снова проверять все страницы, на которых проблема была выявлена ранее, а также новые страницы, где она была найдена при обычном сканировании.

Прежде чем запросить новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.

Страницы с ошибками, которые прошли проверку (помеченные как Нет ошибок ) или стали недоступными (помеченные как Другое ), повторно не проверяются. Они будут удалены из истории проверок после того, как вы нажмете "Провести повторную проверку".

История проверок

Чтобы просмотреть статус запроса на проверку, откройте страницу со сведениями о проблеме и нажмите на ссылку, по которой доступна подробная информация о проверке.

Записи, упомянутые в истории проверок, в отчетах об AMP-страницах и статусе индексирования систематизированы по URL. В отчете о расширенных результатах и об удобстве для мобильных записи группируются по URL и элементам структурированных данных (согласно значению элемента name). Статус решения проблемы касается той проблемы, которая стала предметом проверки. На одной и той же странице одна проблема может иметь статус "Нет ошибок", а другая "Ошибка", "Не проверено" или "Другое".

Статус проверки сайта на наличие проблемы

Выявленной проблеме может быть назначен один из перечисленных ниже статусов.

• Не начато. На сайте есть страницы, где представлена данная проблема, и они не проходили проверку. Что следует предпринять:
  1. Нажмите на описание проблемы и просмотрите подробные сведения о ней. Перейдите на страницы, где она обнаружена, и проанализируйте их с помощью инструмента проверки AMP-страниц. Если он не видит нарушений на странице, это означает, что вы уже устранили их после того, как роботы Google обнаружили их и создали отчет.
  2. Нажмите "Подробнее" на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
  3. Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
  4. Устраните нарушение на всех страницах и нажмите Проверить исправление , чтобы мы просканировали их заново. Google будет уведомлять вас о ходе проверки. Эта процедура может занять от нескольких дней до двух недель.
• Начато. Вы начали проверку, и проблема не обнаружена на новых страницах. Что следует предпринять. Следите за уведомлениями от Google, в которых могут быть представлены необходимые инструкции.
• Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена. Что следует предпринять. Следите за уведомлениями Google о ходе дальнейшей проверки.
• Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или более недоступны соответствующие URL). Этот статус может появиться только в том случае, если вы ранее нажимали "Проверить исправление". Если сервис Search Console не обнаружил страницы с проблемами по иной причине, появится статус "Отсутствует". Что следует предпринять. От вас не требуется никаких действий.
• Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку. Что следует предпринять. От вас не требуется никаких действий.
• Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали "Проверить". Что следует предпринять. Устраните нарушение и запросите повторную проверку.

Статус проверки страниц на наличие проблемы

После того как вы запросите проверку, Search Console присвоит перечисленные ниже статусы выявленной проблемы всем страницам, на которых она есть (статусы Нет ошибок и Другое в отчете о статусе индексирования не используются).

• Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
• Нет ошибок. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить .
• Есть ошибки. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить .
• Другое. У Google более нет доступа к странице или элементу (для структурированных данных), где выявлена проблема. Этот вариант аналогичен статусу Нет ошибок .

Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, первой может быть назначен статус Нет ошибок , а второй – Не проверено .

Выявленные неполадки

• Поскольку данные индексации не обновляются ежедневно, иногда сведения предоставляются с задержкой, а в некоторых случаях применяется интерполяция.
• На диаграммах должны быть представлены данные за последние 90 дней, однако в настоящее время этот срок может быть короче.
• Фильтр файлов Sitemap в раскрывающемся меню включает только файлы Sitemap, добавленные с помощью сервиса Search Console или директив robots.txt.
• Названия статусов в списке могут быть изменены. В частности, обратите внимание на следующее:
  • Элементам, которые представляются вместе с другими типами ответов (4xx/5xx), присваивается статус "Ошибка".
  • Элементы со статусом "Отсутствует в индексе по неизвестной причине" и "Другое" можно не учитывать.
• При нажатии на строку с причиной пользователь перенаправляется в старый интерфейс Search Console.
• На мобильных устройствах новый интерфейс пока работает нестабильно.
• В настоящий момент не поддерживаются наборы ресурсов, а также ресурсы мобильных приложений.

Была ли эта статья полезна?

Как можно улучшить эту статью?