Узнать сколько проиндексировано страниц. Как проверить индексацию одной страницы. Узнать индексацию через специальные сервисы

25.06.2019

Время чтения: 11 минут(ы)

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Для анализа список страниц можно скачать из сервиса файлом в форматах.xls и.csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис https://search.google.com/search-console/about?hl=ru , вводим url сайта и нажимаем кнопку «Добавить ресурс».

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru ».

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

4. Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате.txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name="robots" content="noindex, nofollow" />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле.htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Выводы SEO-специалиста Веб-центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) - это потеря дохода.

Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

(«Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Возможности инструмента:

одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
возможность проверки сразу всех URL сайта по XML-карте;
нет ограничения по количеству URL.

Особенности:

работа «в облаке» - не нужно скачивать и устанавливать ПО или плагины;
выгрузка отчетов в формате XLSX;
уведомление на почту об окончании сбора данных;
хранение отчетов неограниченное время на сервере PromoPult.

Добрый день, уважаемый читатель . Продолжим изучать мою книгу о поисковом трафике для блоггера и поговорим сегодня об индексировании ресурса. В этой статье Вы узнаете, как можно быстро и легко проверить индексацию страниц Вашего сайта в Яндексе и в Google с помощью обычных операторов поиска и различных сервисов. Поймете важность этого процесса, увидите на разных примерах несколько вариантов определения документов Вашего блога. Конечно, этот пост имеет практическое значение, но он является первым мануалом для изучения, чтобы в дальнейшем заниматься поисковым продвижением своего веб-ресурса.

Проверяем наличие сайта в индексе поисковых систем

Перед тем, как мы поговорим о различных службах и сервисах проверки проиндексированных страниц в Яндексе и Гугле, предлагаю вспомнить важность самой базы данных. Дело в том, что любая поисковая система работает только с теми документами, которые просмотрены ее роботом и занесены в базу данных. Эта база называется индексом, а сам процесс сбора всех данных со страниц любого сайта в сети — индексацией. Этот процесс достаточно сложный, но увлекательный и познавательный. И правильное понимание работы этого процесса — это одно из главных условий успешного и в Яндексе и Гугле. Поэтому, перед дальнейшим изучением материала этой статьи, рекомендую всем вспомнить .

Проверка индексирования страниц сайта в Яндексе и Гугле

Яндекс . Для того, чтобы узнать наличие страниц в русском поисковике, существует несколько операторов. Оператор site находит все страницы Вашего сайта в базе данных Яндекса, а host дает информацию по индексированным документам с доменов и поддоменов сайта. Вот результаты работы оператора site:

А вот итоговый результат после использования оператора host:

Теперь давайте посмотрим, сколько покажет нам количество проиндексированных страниц оператор host для моего блога не по главному зеркалу (без www). Результат конечно будет предсказуемым:

Если же проделать ту же схему но для оператора site, то число страниц в индексе не по главному зеркалу моего сайта не измениться — останется 206. Это потому, что как я и говорил, site находит все документы сайта, а host — домена. Поэтому дам Вам такой совет — если хотите быстро оценить число страниц любого веб-ресурса в базе данных Яндекса, используйте оператор site (в строку запроса можно вводить адрес сайт с или без www — результат будет одним и тем же). Если же Вм нужно знать точное число страниц в индексе любого домена, используйте следующее сочетание операторов (вместо адреса моего блога в примере ставите нужный адрес домена):

Google . Самая популярная поисковая система обладает одним оператором для определения проиндексированных страниц. Его название site и он выполняет такую же функцию, как и его коллега в Яндексе — дает полный перечень документов, находящихся в базе данных Гугла. Вот как он выглядит:

К сожалению, этот оператор показывает все страницы, которые находятся в индексе Гугла. Но как Вы знаете, этот поисковик разделяет свою базу данных на основной индекс и дополнительный. В основном содержатся все документы Вашего блога, которые Гугл использует для своих результатов выдачи. Остальные же документы, которые обычно содержат дублирующие страницы, технические разделы из CMS или не подходящие по ранжированию урлы находятся в дополнительном индексе, который называется Supplemental Results (по сеошному — «сопли»). Поэтому, для точного определения рабочих проиндексированных страниц своего блога, которые участвуют при ранжировании, используется специальная команда &:

Как видите, результаты сильно отличаются в моем случае — число проиндексированных страниц в основном индексе намного меньше, чем общее число. Это говорит о том, что в свое время при первых пробежках поисковым роботом по моему блогу, Гугл успел занести в свою базу кучу мусора и дублей. И перед тем, как я успел это обнаружить, их масса намного превышает реальные страницы моего сайта. Что конечно сказалось на поисковом трафике из Google. Поэтому так важно, перед самым первым запуском своего нового веб-ресурса полностью закрыть в файле robots.txt все ненужные разделы Вашего сайта. Но об этом мы поговорим в другой раз.

Проверка индексации страниц с помощью сервисов

RDS bar . Самый быстрый вариант проверки — использовать (пост о том, как его настроить и как им пользоваться). Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы. Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта. В общем, рекомендую, это очень удобно:

Сервис XSEO . Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google. Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего блога:

Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».

Сервис PR-CY . Известный аналитический сервис Pr-Cy.ru , имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта. Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц. Вот, к примеру, такова история попадания документов моего блога в базу данных Яндекса:

Как видно из этого графика, сервис четко показывает число проиндексированных страниц в русском поисковике в течение года. Таким образом можно оценить индексацию любого сайта, особенно, если Вы выбираете хорошего донора для закупки внешних ссылок. Например, в , Кстати, на графике хорошо виден скачок числа проиндексированных документов в мае а потом возвращение на предыдущее количество. Это все потому, что в апреле я поменял дизайн своего сайта и у меня поменялась полностью структура страниц. Яндекс достаточно быстро прореагировал, но в свое время поставленный редирект все вернул на место.

С Гуглом история немного другая у меня получилась. Вот график индексации страниц моего блога, начало которого было положено ровно год назад:

Как видите, рост шел потихоньку, но потом я стал больше писать статей и начал экспериментировать с метками. В итоге пока я их поудалял, Google честно отсканировал все дубли и отправил в свою базу данных. В итоге позиции моего блога упали и до начала июня этого года видимость моего сайта в этом поисковике не достигала и 2-х%. То есть, гугловского трафика на моем блоге просто не существовало. Но как видите, уже на текущий момент число страниц в дополнительном индексе конкретно уменьшилось. И эта тенденция продолжается на текущий момент — все дело в одном моем эксперименте по удалению дублирующих страниц с базы. На данный момент видимость моего блога в Google поднялась до 21%, а материал по эксперименту увеличивается — на будущее заготовил свой пост о работе с дублями и исключению их из индекса Гугла.

Проверка индексации сайта в Яндекс вебмастере и Google Tools

На десерт оставил самые интересные сервисы, которые могут дать полную информацию об индексировании Вашего веб-ресурса. Конечно, я имею в виду панели инструментов для веб-мастеров от Яндекса и Гугла. Только они обладают всеми точными данными о наличии страниц Вашего сайта в их базах данных. Так скажем, обратимся к первоисточнику!

Сервис от Яндекса . Как я уже сказал, это лучший пакет инструментов, который покажет Вам всю информацию об индексировании страниц Вашего сайта (и не только). Им я пользуюсь с самого начала, как только отправил свой блог на съедение русскому поисковику — . За все время эксплуатации не раз пользовался классными отчетами, которые предоставляет этот сервис.

В этой статье я не буду пояснять все детали отчетов по индексации — они детально расписаны в . Смотрите раздел «Индексация сайта». Если что-то будет не понятно, в сервисе есть замечательный хелп. На крайний случай, если не разберетесь сами с аналитическими данными отчетов, пишите свои вопросы в комментарии этой статьи.

Сервис от Google . Как и у Яндекса, . И все данные в нем дают самую достоверную информацию, так скажем из первых рук. Поэтому, для получения самых точных данных об индексации страниц сайта в этом поисковике, рекомендую использовать подраздел «Статус индексирования» в этом сервисе.

При первом заходе в этот отчет Вы увидите единственный график, где его элементами (отдельные точки на нем) являются общие числа проиндексированных всего страниц сайта в индексе Google. Это количество всех документов, которые находятся в двух индексах — основном и дополнительном.

Но конечно это не вся информация об индексации — для этого нужно нажать кнопку «Расширенные данные» и включить все пустые чек-боксы (поставить галочки). В итоге к первому графику добавляется еще три (картинка кликабельна):

Итак, что же показывают эти графики и какую пользу мы можем получить от их показателей:

проиндексировано за все время — это число всех страниц, которые когда-то нашел поисковый робот Гугла. Обычно значения узловых точек этого графика намного больше, чем числа проиндексированных всего документов. Это говорит о том, что кроме периодически появляющихся новых страниц, Google слопал за время скана все бесполезные страницы на Вашем блоге, а также возможно и дубли. Как в моем случае.

заблокировано в файле robots.txt — число запрещенных страниц для индексации, для которых прописаны запрещающие директивы в файле robots.txt. По идее здесь указывается число, которое Гугл не занес в свой индекс из-за запрета. Но на самом деле оно не точное, потому что этот поисковик отлично видит все страницы любого сайта, не отдающие ошибку 404. И даже если по ним прописана директива на запрет сканирования.

удалено — число страниц, удаленных по запросу из результатов поиска.

Как видно из рисунка, каждая точка на любом графике дает всю информацию по четырем показателям за определенный промежуток времени (день — воскресенье, когда обновляются недельные данные в отчетах вебмастера Гугла). Такая информация показана в отдельной табличке с цифрами по каждому графику.

Что можно увидеть в отчете «Статус индексирования»

Во-первых, глядя на полученные данные по графику «заблокировано в файле robots.txt», Вы можете оценить правильно ли работают Ваши запретные директивы. Если желтый график все время стремиться в верх, это говорит о явной проблеме в файле robots.txt. В таком случае стоит внимательно проверить каждую директиву. Возможно найдутся ошибки или придется прописать новые правила для поискового робота.

Во-вторых, при правильно настроенной индексации, число проиндексированных страниц должно все время увеличиваться. Если этого не наблюдается, значит Гугл не правильно собирает с Вашего сайта информацию. Возможно есть ошибки в том же файле robots.txt, появился дублирующийся контент, Гугл стал собирать ненужный мусор из-за несовершенства CMS и т.д. Но вот в моем случае синий график сначала шел рывками, а потом набрав максимум стал в конце июля этого года стремительно снижаться. Это говорит о том, что из индекса стали исчезать дубли (об этом я писал выше).

В-третьих, если в графике проиндексированных страниц есть скачки, которые показывают сильное уменьшение документов в индексе, то значит у Вас проблемы с доступом к веб-ресурсу. Возможно есть перегрузки в работе из-за увеличения , или появилось больше страниц с ошибкой 404 (например, при резком изменении структуры) и т.д. В таком случае нужно срочно принимать меры, иначе можно получить массовое падение проиндексированных страниц в Гугле. А это влечет обвалом поискового трафика.

В-четвертых, большое количество дублирующих страниц (огромная разница данных красного и синего графика, если все остальные варианты ошибок исключены) говорит о том, что на Вашем сайте неправильно настроены канонические версии страниц или есть дублирующий контент. Если не принять вовремя необходимые меры, Гугл насобирает огромное число дублей в свой индекс, которые потом очень сложно вытащить назад. Плюс к тому же дублирующие страницы никак не способствуют поднятию видимости сайта, а скорее наоборот — позиции по многим запросам могут просесть.

На этом мой ликбез о том, как самому быстро оценить индексацию страниц своего сайта, считаю завершенным. Как я и говорил, если у Вас есть небольшие вопросы, задавайте их в комментарии. Если для ответа нужен график «Статус индексирования», оставляйте ссылку на скриншот с ним. Если же Ваш вопрос требует пристальное внимание seo-специалиста, то всегда на помощь придут мои консультации.

С уважением, Ваш Максим Довженко

Большинство онлайн сервисов по проверке индексации дают возможность проверить небольшое количество страниц — от 10 до 100. А что делать, если нужно проверить на индексацию большой интернет-магазин или портал размером 100 000 или несколько миллионов страниц? Для задач такого масштаба в Rush Analytics был запущен модуль проверки индексации в Яндексе и Гугле. Основные преимущества и возможности данного модуля:

а) С помощью списка URL

Индекс поисковой системы

дубли,

Проверить индексацию сайта в поисковиках. Индексация сайта в Yandex и Google.

Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров. Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.

Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.

В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» ->

Как правильно проверить сайт на индексацию в Яндекс и Google?

Большинство оптимизаторов используют для проверки сайта на индексацию браузерные бары вроде RDS-bar и других.

Все бары берут эти данные из выдачи поисковых систем c помощью различных операторов и просто «подтягивают» в свой интерфейс.

Но стоит учитывать что данные, полученные таким способом не точные, так как поисковые системы не отдают корректные данные об индексации для больших сайтов. По картинкам выше можно заметить расхождения в данных даже для маленького сайта. Для больших сайтов (начиная от 10 000 страниц) данные по индексации могут очень сильно искажаться!

Как же корректно проверить сайт на индексацию, чтобы данные были точными?

В отличие от сайта целиком, поисковые системы выдают точные данные об индексации каждой конкретной страницы. Следовательно, необходимо взять все нужные страницы сайта и проверить индексацию каждой из них по отдельности, а затем свести все данные вместе для получения целостной картины индексации всего сайта. Это верно как для Яндекса, так и для Гугла.

Массовая проверка страниц сайта на индексацию в Яндекс и Google от Rush Analytics

Проверка индексации сайтов

Основные преимущества и возможности данного модуля:

Удобная пакетная загрузка страниц на проверку индексации тремя способами:

а) С помощью списка URL
б) С помощью файла, поддерживаются форматы xls, xlsx, xml
в) С помощью файла Sitemap.xml – просто укажите путь к карте сайта, мы сами спарсим ее, достанем оттуда URL и пробьем их на индексацию!

Неограниченное количество URL на проверку – вы можете за раз проверить на индексацию от одной, до нескольких миллионов страниц!
Доступна проверка индексации как в Яндексе, так и в Гугле: вы можете отправить свои страницы на проверку только в одной поисковой системе или в обоих сразу, достаточно поставить всего одну галку
Удобная выгрузка в Excel. Вы можете просматривать данные как в веб-версии сервиса, так и быстро выгрузить их файлом

Модуль проверки индексации Rush Analytics в данный момент единственный на рынке, который позволяет массово проверить страницы на индексацию в таком объеме. Если у вас большой сайт – это решение однозначно для вас.

У нас предусмотрены особые условия для больших сайтов и порталов. Если у вас есть потребность в разовой или постоянной проверке на индексацию в Яндекс и Google от 200 000 страниц, напишите нам в поддержку на [email protected] и мы найдем что вам предложить!

Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.

Что такое индекс поисковой системы?

Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.

Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.

В Google имеется основной индекс и дополнительный (supplemental index).

В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.

В дополнительный индекс Google обычно попадают:

страницы с неуникальным контентом,
страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
дубли,
иногда в дополнительный индекс могут попадать страницы с низким весом.

Почему важно проверять количество страниц в индексе?

Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.

Также важна скорость индексации сайта. Если она низкая, в индексе будут устаревшие версии страниц, а новые документы будут попадать в поиск с большой задержкой. Чтобы решить эту проблему, посмотрите статью, как ускорить индексацию сайта.

Как узнать, сколько страниц в индексе Яндекса или Google?

Есть несколько способов проверить количество страниц в индексе поисковых систем:

1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:

Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.

2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров. Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.

Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История».

Индексация сайта в Яндексе

Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.

3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.

Как проверить страницу в индексе Яндекса или Google?

Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:

Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор. Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.

Как вернуть или добавить страницу в индекс?

В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:

Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.

Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.

Как ускорить индексацию сайта?

Индексацию сайта можно ускорить на разных этапах продвижения сайта:

Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
Периодически проводите технический аудит сайта, чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров, уникальность текстов и техническую сторону работы сайта.
Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.

В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.

Когда мне впервые доверили наполнение раздела «Новости» на сайте, энтузиазма было море. В ход пошли все знания, которые успела почерпнуть в учебниках по SEO: ключевые слова, перелинковка, цепляющий лид. Но две недели и 15 статей спустя Google Analytics не демонстрировал посещений заветных страницы. А «видят» ли их поисковики? Тогда я и обеспокоилась вопросом, как проверить индексацию сайта.

Индексация сайта в Яндексе и google – что это?

Перед тем, как страница появится в выдаче Google и Яндекс, поисковая система должна знать, на какие запросы пользователей ее показывать, какая ценность контента и не нарушает ли сайт базовых правил. Для этого проводится так называемая индексация сайта в Яндексе и Google: поисковые роботы заходят на сайт, анализируют контент и общее содержимое страницы, вносят ее в базу данных.

Проверить количество проиндексированных страниц

Как же проверить количество проиндексированных страниц? Я использовала 3 способа.

Способ 1. Руками

Заходим на Google (помним, что выдача поисковых систем геозависима);

В поисковой строке вводим site:адрес_сайта, например site:coffee.ru и нажимаем «Поиск в Google». Количество страниц в выдаче равно числу проиндексированных. Если у вас совсем свежий сайт, и число страниц не превышает 30, можно посмотреть список конкретных страниц прямо в результатах выдачи. Или
Вводим в строке поиска site:адрес_интересующей_страницы. Нужная страница появилась в поисковой выдаче? Отлично, значит она прошла индексацию.

Внимание! Не ставим пробел между оператором и адресом сайта.

Заходим на ya.ru и, по аналогии с Google, вводим строке поиска site:адрес_сайта. Количество страниц в выдаче и есть число проиндексированных страниц.
Нужно проверить индексацию определенной страницы? Вводим в строке поиска url:адрес_интересующей_страницы и нажимаем «Найти».

Способ 2. С помощью сервиса для вебмастеров

Срочно регистрируемся в инструментах для вебмастеров: они предоставляют огромные возможности для анализа сайта и разработки мер по улучшению.

Яндекс.Вебмастер.

Primary Menu

Заходим и регистрируемся на Яндекс Вебмастер. В разделе «Индексация сайтов» есть данные о количестве проиндексированных страниц, с указанием конкретных URL.

Google Инструменты для вебмастеров. Регистрируем свой сайт в Инструментах для вебмастеров. Переходим на вкладку «Индекс Google» и далее «Статус индексирования». Здесь можно увидеть число проиндексированных страниц, а также динамику. Удобный инструмент, когда нужно проверить «выпадение» части страниц из индекса.

Способ 3. С помощью сторонних сервисов

С поиском стороннего сервиса проверки индексации проблем не возникнет – их множество. Приведу список тех, которые я регулярно использую.

Seogadget
PR-CY

Они предоставят необходимую информацию под разными фильтрами, а Seogadget еще отправит письмо на почту при изменении в индексации сайта. Но на первом этапе советую не полагаться на один инструмент: используйте все три способа параллельно, чтобы убедиться в корректности данных. Убедились? Теперь можно выбрать самый простой и информативный.

Если число страниц в индексе значительно превышает их реальное количество (например, всего 58 страниц на сайте, но в индексе находится 72) – это копии страниц, ласково называемые вебмастерами «сопли». Лучшее решение – удалить их, чтобы не стать жертвой фильтров.

Какие страницы сайта видны в Google и Яндекс?

Страницы сайта проиндексированы, но трафика по ним по-прежнему нет. Остается только одно объяснение – они не видны в поисковой выдаче. Ведь даже проиндексированная страница может «улететь» далеко за ТОП-50, куда не доходит и 1% пользователей. Как узнать, какие страницы сайта видны в Google и Яндекс? В этом помогут инструменты для вебмастеров и сторонние приложения, указанные в предыдущем разделе. В них есть опция «видимость в поиске» - она и расскажет об истории ключевых слов, позиций Вашего сайта по ним и подскажет новые направления оптимизации.

Как включить сайт в Яндекс и Google

Если вы начали заниматься SEO-оптимизацией и хотите попробовать разные подходы к формированию контента и продвижению, ждать индексацию 10 дней – непозволительно. Как сделать, чтобы страницы сайта в Google и Яндекс появилися раньше?

Создаем и загружаем карту сайта (Sitemap);
Регистрируемся в Google Analytics и Инструментах для веб-мастеров;
Зовем поисковые машины в гости с помощью Add Url (для Google и Яндекс).

Продвижение сайтов самостоятельно | Индексация сайта

Если вы последовательно читаете мой мануал, то в прошлой статье узнали, как можно ускорить индексацию сайта. Теперь нам надо это процесс контролировать. Т.е. следить за страницами, какие попадают в индекс, а какие нет. Осуществить проверку индексации сайта не сложно. Для этого есть два решения: ручной метод и специальный seo-софт.

В первую очередь можно воспользоваться системой автоматического продвижения SeoPult. Система конечно платная, НО много информации по своему сайту можно посмотреть бесплатно! В частности, какие страницы проиндексированы, посмотреть релеватные запросы, советы по оптимизации страниц и много другой и полезной информации. Советую по чаще туда заглядывать.

Так же, можно воспользоваться бесплатной программой Site-Auditor от Ашманова. Как я сказал, она бесплатная, периодически обновляется и вполне справляется с этой задачей.

Как узнать проиндексированы ли страницы сайта в Яндекс?

Что бы проверить индексацию сайта через программу Site-Auditor, скачиваем ее с официального сайта. Запускаем софт и в меню «экспресс анализ» вбиваем наш урл, жмем «проверить».

Прога выдает нам количество страниц в индексе Яндекс и Google. Нажав на эти цифры мы попадем в выдачу ПС, где и будут наши проиндексированные страницы. Такую же проверку можно сделать, если у вас есть программа Yazzle, которой мы оценивали конкурентов.

Но бывают случаи, когда подобный анализ не совсем удобен или невозможно сделать. Например ПС обновили что-то и софт перестал работать (пока его не обновят), а вам надо срочно проверить. Или, что чаще, надо проверить индексацию конкретной страницы, а в общем списке искать не всегда удобно. Тут и поможет второй (ручной) способ.

Проверка индексации сайта в Яндексе

Проверить индексацию своего сайта в Яндексе можно в панели вебмастера webmaster.yandex.ru/. Но для этого сайт придется добавить в эту панель и подтвердить права на сайт. Без регистрации, увы, он не покажет все данные по индексации. Вот раздел с данными по индексации в панеле вебмастера.

Там вы сможете посмотреть индексацию страниц за последнюю неделю, за 2 недели и за все время.

Индексацию отдельной страницы в Яндексе проще всего в самом поиске. Тупо вбиваем страницу в строку поиска и жмем найти. Если она в индексе, Яндекс покажет ее сниппет. Если ее нет, соответственно не покажет.

Там же, если нажать зеленую стрелочку рядом с url станицы, мы сможет посмотреть сохраненную копию документа. Это та версия страницы, которая хранится в данный момент в кэше Яндекса. В кеше содержится очень важная информация — дата, когда робот последний раз посещал ваш сайт. Всегда можно глянуть в кэше, учел Яндекс или Гугл ваши последние изменения на странице или нет.

Проверка индексации сайта в Google

Что бы проверить, как ваш сайт проиндексировал Google достаточно в поисковой строке ввести специальную команду

site:имя_сайта.домен

Гугл покажет, сколько страниц в индексе. А по зеленой стрелочке (как и в Яндексе) можно посмотреть сохраненную копию страницы (содержимое кеша). Где вы увидите текущую версию страницы в базе Google. Отдельную страницу также можно глянуть просто вбив ее в поисковую строку.

Проверка индексации сайта в Rambler

Индексацию в Рамблере в данный момент можно проверить только одним путем – вбить урл в строку поиска. Там же можно посмотреть, что находится в кэше. Для этого надо нажать «копия».

Советую вам периодически проверять индексацию вашего сайта. Тогда вы сможете вовремя заметить неприятности, например, выпадение страниц из индекса. И своевременно принять меры.

Но не все станицы на сайте нужно индексировать, есть и такие, которые надо закрыть от ПС. Поэтому дальше мы разберем вопрос — как запретить индексацию сайта.

Доброго времени суток, дорогие друзья. Многие начинающие веб-мастера, самостоятельно занимающиеся продвижением своих сайтов, не уделяют должного внимания индексации своего ресурса. Это приводит к потере времени и денег, затраченных на создание неэффективной интернет-площадки, которую не любят поисковики, а соответственно, и пользователи с рекламодателями.

Поэтому сегодня, продолжая цикл статей о сайтостроительстве, мы поговорим о том, как проверить проиндексирован ли сайт в целом и его отдельные страницы в частности, а также обсудим, как и для чего нужно ускорять процесс индексации.

Мы уже не раз говорили о том, что можно только при условии достижения высокого уровня посещаемости, интересного потенциальным рекламодателям.

Большинство пользователей попадает на определенный ресурс из поисковых систем, вводя в них интересующие их запросы. Поисковые роботы сверяют эти запросы со своей базой данных и выводят оптимальные результаты поиска. Для того чтобы сайт попал в эту базу, он должен быть проиндексирован поисковой системой. В противном случае посетители просто не смогут найти его.

При этом очень важно, чтобы не просто ресурс, но каждая его новая страничка была максимально быстро учтена поисковиком. Оптимально, если она содержит внутреннюю перелинковку, позволяющую не только заносить в базу новый материал, но и по указанным ссылкам обновлять старый.

Почему индексация должна быть быстрой?

Кроме увеличения трафика посетителей скорость индексирования влияет и на многие другие показатели ресурса.

Ежедневно в сети появляются новые сайты, тематика которых конкурирует с вашей веб-площадкой. Все они наполняются схожим контентом, который по мере роста численности конкурентов, теряет свою уникальность. Это происходит оттого, что большинство сайтов занимается публикацией многочисленных рерайтов. Простым языком, если вы написали уникальную статью и сразу не позаботились о ее учете поисковиком, не факт, что в момент такового материал останется уникальным.

Кроме того, не проиндексированный контент становится лакомой мишенью для мошенников. Недобросовестному веб-мастеру ничего не мешает попросту скопировать материал на свой ресурс, провести быстрое индексирование и получить от поисковых роботов право на его авторство. А вашу статью поисковики в дальнейшем сочтут не уникальной, что может привести к бану интернет-площадки. Поэтому контролировать и ускорять процесс индексации особенно важно для молодых ресурсов, пробивающих себе дорогу.

Еще одним моментом, зависящим от быстрого индексирования каждой страницы, является возможность получать деньги за платные ссылки. Ведь до тех пор, пока статья с ссылкой не будет проиндексирована поисковиками, свое вознаграждение вы не получите.

Как проверить проиндексирован ли сайт в целом?

Для начала стоит убедиться, что ваш сайт попадает в базу поисковиков. Для этого нужно узнать общее число его страниц. При наличии современной системы управления веб-ресурсом, посмотреть данную цифру можно в административной части. При этом учитывается итоговое число страничек и записей.

Если по какой-либо причине данная информация недоступна, можно воспользоваться сервисом Xml-sitemaps.com. Учтите, что он бесплатен только при работе с сайтами, имеющими в своем арсенале до полутысячи страниц.

Узнав требуемое число, можно приступать к проверке индексирования площадки в главных поисковых системах – Яндекс и Google. Для этого существует несколько способов:

Использование специальных инструментов для веб-мастеров: webmaster.yandex.ru и google.com/webmasters . Зарегистрировавшись в них и добавив свой ресурс в систему, вам станут доступны не только данные о количестве проиндексированных страничек, но и статистика других «пузомерок».
Ручная проверка через ввод специальных команд в строку поиска. При этом в Яндексе нужно ввести конструкцию host:имя сайта+домен либо host:www+ имя сайта+домен, например, host:abc.ru. На это система выдаст все проиндексированные страницы. Для проверки в Google потребуется ввести запрос: site:имя сайта+домен, т.е. site:abc.ru.
Использование автоматических сервисов, проверяющих индексацию сразу в обеих поисковых системах. К числу таких относятся, например, Site-auditor.ru , Pr-cy.ru или Seolib.ru . Также можно добавить в свой браузер плагин RDS Bar, который будет показывать сведения о ресурсе, включая индексацию страничек, на котором вы находитесь.

С помощью любого из данных методов можно узнать, проиндексирован ли сайт в целом, и определить число занесенных в базу поисковиков страниц ресурса.

Что делать с полученной информацией?

В идеале, количество страничек сайта должно совпадать с числом проиндексированных страниц. К сожалению, так бывает далеко не всегда. Гораздо чаще встречаются два варианта развития событий:

Проиндексированное число элементов – меньше. Соответственно, вы сильно теряете в трафике, ведь по многим запросам пользователей ваш сайт остается недоступным для них.
Количество проиндексированных страниц превышает реальное число таковых. Если у вас подобный вариант, радоваться не стоит. Вероятнее всего имеет место дублирование страничек, что размывает их вес, увеличивает число повторяющегося материала и мешает продвижению ресурса.

Обе проблемы необходимо максимально быстро решить. Иначе вы рискуете получить неэффективную веб-площадку, заработать на которой можно только в мечтах. А для этого придется проверить индексацию всех страниц по отдельности, чтобы узнать, какие из них «стратили».

Как проверить индексацию отдельной или всех страниц

Проверка отдельной странички нужна, когда необходимо убедиться, что новый опубликованный контент успешно «замечен» поисковыми системами. Или когда вы приобрели на чужом ресурсе платную ссылку и теперь с нетерпением ждете ее индексации. Это можно сделать через:

Ввод URL страницы в строку поиска Яндекс или Google. В случае если проблем с восприятием страницы поисковиками нет, она первой отобразится в результатах поиска.
Уже упомянутый плагин RDS Bar.

Для проверки индексации всех страничек сайта понадобится список их адресов (URL). Для этого можно воспользоваться каким-либо генератором карт веб-ресурсов, к примеру, Sitemap Generator. Чтобы собрать только URL страниц, не забудьте внести маску ненужных адресов, например, на комментарии, в окне «Exclude Patterns». По окончании процесса следует перейти во вкладку Yahoo Map/Text, откуда скопировать сгенерированный перечень всех адресов.

Имея его на руках, индексацию всех страничек не составит труда проверить с помощью программы YCCY.ru . Просто добавьте данные в список исходных URL и выберите одну из предложенных поисковых систем: Google, Яндекс или Rambler. Нажмите кнопку «Начать Проверку» и получайте утешительные или не очень результаты.

Как улучшить и ускорить процесс индексации?

Узнав перечень непроиндексированных страниц, необходимо разобраться в причинах этого. Прежде всего, стоит проверить качество работы хостинга и самой веб-площадки и убедиться в уникальности размещенных материалов. Далее промониторьте ресурс на наличие контента слишком короткого (до 2 000 символов без пробелов), содержащего более 2-3 ссылок на сторонние ресурсы, либо много Java и Flash ссылок. Все эти факторы в первую очередь могут влиять на то, что ваш материал остается «невидимым» для поисковиков.

Ускорить процесс индексирования сайта можно с помощью:

частого обновления уникального материала, что очень ценят поисковики;
грамотной внутренней перелиновки страниц, позволяющей поисковым системам видеть новый и обновлять уже содержащийся в базе контент;
публикации ссылок на статьи во всех социальных сетях и тематических форумах;
закупки ссылок с прокачанного аккаунта.

Надеюсь, вы поняли, что быстрая индексация страниц ресурса – основа его продвижения в поисковиках, от которой напрямую зависит ваш потенциальный доход.