Узнать проиндексированные страницы яндекс. Можно ли ускорить индексацию? Сколько страниц проиндексировано Google
Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.
Для SEO-специалистов и владельцев сайтов это означает одно — сколько страниц проиндексировано, столько документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик.
Как быстро проверить индексацию в Яндексе и Google?
Способов и сервисов проверки индексации страниц достаточно много и у нас есть три инструмента, которые показывают количество документов в индексе по домену:
Просто укажите домен в любом из них. Инструмент поможет проверить сайт на индексацию и подскажет сколько документов в базе данных Google и Яндекс, с учётом поддоменов или без них:
Поисковые операторы для проверки индексации
Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:» , «host:» и «url:» .
Для Google — «site:» , «inurl:» и «info:» .
В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:
Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.
Вебмастер и Search Console
В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:
Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:
Возможный контроль индексации
Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:
С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.
Crawl delay — задаёт минимальное время обращения робота к серверу для избежания нагрузок на сайт.
Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.
Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.
Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:
Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию , отслеживайте изменения и удачных позиций в выдаче!
Индекс поисковых систем - специальная база данных, в которую заносится информация, собираемая поисковыми роботами со страниц сайтов. При этом учитывается текстовое наполнение, внутренние и внешние ссылки, графические и некоторые другие объекты. Когда пользователь задает запрос поисковой системе, происходит обращение к базе данных. После этого выполняется ранжирование по релевантности - формирование списка сайтов по мере убывания их значимости.
Что такое индексация
Процесс добавления роботами собранной информации в базу называется индексацией. Затем данные определенным образом обрабатываются и создается индекс - выжимка из документов. Процесс заполнения индекса осуществляется одним из двух способов: вручную или автоматически. В первом случае владелец ресурса должен самостоятельно добавить URL веб-ресурса в специальную форму, которая есть у «Яндекса», Google и других поисковых систем. Во втором робот сам находит сайт, планомерно переходя по внешним ссылкам с других площадок или сканируя файл-карту sitemap.xml.
Первые попытки индексировать веб-ресурсы были сделаны еще в середине 90-х годов прошлого столетия. Тогда база данных была похожа на обычный предметный указатель, в котором содержались ключевые слова, найденные роботами на посещенных ими сайтах. Почти за 30 лет этот алгоритм был значительно усовершенствован и усложнен. Например, сегодня информация перед попаданием в индекс обрабатывается по сложнейшим вычислительным алгоритмам с привлечением искусственного интеллекта.
Зачем индекс поисковым системам
Индексация страниц сайта - неотъемлемая часть работы поисковых систем (не только Google и «Яндекса», но и всех остальных). База, полученная в процессе сканирования веб-ресурсов, используется для формирования релевантной выдачи. Основные роботы поисковых систем:
- основной - сканирует весь контент на сайте и его отдельных страницах;
- быстрый - индексирует только новую информацию, которая была добавлена после очередного обновления.
Также существуют роботы для индексации rss-ленты, картинок и др.
При первом посещении в базу попадают все новые сайты, если они подходят под требования поисковой системы. Во время повторного визита информация лишь дополняется деталями.
Скорость индексации страниц
Чем быстрее происходит добавление страницы в индекс, тем лучше для веб-ресурса. Однако поисковые роботы не могут выполнять такой большой объем работы так же часто, как обновляется наполнение сайтов. Индексация в «Яндекс» в среднем занимает одну-две недели, а в Google - несколько дней. С целью ускорения индексации ресурсов, для которых очень важно быстрое попадание информации в базу (новостные порталы и т. д.), применяется специальный робот, посещающий такие сайты от одного до нескольких раз в день.
Как проверить индексацию в «Яндексе» и Google
Воспользоваться информацией из панели веб-мастеров . В списке сервисов Google откройте Search Console, а затем перейдите в раздел «Индекс Google». Нужная информация будет находиться в блоке «Статус индексирования». В «Яндекс.Вебмастер» необходимо перейти по следующей цепочке: «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске».
Задать поиск по сайту с использованием специальных операторов . Для этого используйте запрос с конструкцией «site:», указав далее адрес вашего ресурса в полном формате. Так вы узнаете количество проиндексированных страниц. Серьезные расхождения в значениях (до 80 %), полученных в разных поисковых системах, говорят о наличии проблем (например, веб-ресурс может находиться под фильтром).
Установить специальные плагины и букмарклеты . Это небольшие дополнения для браузера, которые позволяют выполнить проверку индексации страниц сайта. Одним из самых популярных среди них является RDS Bar.
Как ускорить индексацию
На скорость индексации сайта прямо влияют несколько факторов:
- отсутствие ошибок, замедляющих процесс сбора информации поисковым роботом;
- авторитетность ресурса;
- частота обновления контента на сайте;
- частота добавления нового контента на сайт;
- уровень вложенности страниц;
- корректно заполненный файл sitemap.xml;
- ограничения в robots.txt.
Чтобы ускорить индексацию сайта, выполните ряд правил:
- выберите быстрый и надежный хостинг;
- настройте robots.txt, установив правила индексации и сняв ненужные запреты;
- избавьтесь от дублей и ошибок в коде страниц;
- создайте карту сайта sitemap.xml и сохраните файл в корневой папке;
- по возможности организуйте навигацию таким образом, чтобы все страницы были в 3 кликах от главной;
- добавьте ресурс в панели веб-мастеров «Яндекса» и Google;
- сделайте внутреннюю перелинковку страниц;
- зарегистрируйте сайт в авторитетных рейтингах;
- регулярно обновляйте контент.
Дополнительно рекомендуем оценить объем flash-элементов с точки зрения их влияния на продвижение. Наличие визуальных объектов этого типа значительно снижает долю поискового трафика, так как не дает роботам выполнить индексацию в полной мере. Также не желательно размещения ключевой информации в PDF-файлах, сохраненных определенным образом (сканироваться может только текстовое содержимое документа).
Логические рассуждения на тему: «Как проверить, сколько страниц в индексе поисковых систем».
И числовые расчеты, которые показывают, как я сводила баланс, изучая, что проиндексировано, а что нет и почему.
Я решила разобраться с этим более пристально и разложить все по полочкам.
Рассмотрим на примере Яндекса и Google.
Проблема индексирования, или что такое индексы.
Проблема индексирования постоянно волнуетвладельца любого сайта. Когда страницы сайта попадают в индексы поисковых систем, это обеспечивает стабильный и, что самое главное, бесплатный трафик. Страницы участвуют в поисковой выдаче, а посетители сами ищут информацию и попадают на Ваш сайт. Это же здорово!
Ну, вот, наконец, сайт начинает стабильно индексироваться.
Теперь владельцев волнует уже то, чтобы каждая новая статья попадала в поиск как можно быстрее, и они мечтают, чтобы сайт посещал, так называемый «быстроробот».
Для этого советуют добавлять информацию на свой сайт регулярно и размещать ссылки на новые статьи в социальных сетях, особенно и .
Это можно легко сделать, использую .
Но жизнь идет, алгоритмы меняются. Если сайт раньше посещал быстроробот, и статья попадала в поиск Яндекса в течение нескольких часов, то последнее время (ноябрь 2014) многие вебмастера жалуются, что на это уходит несколько дней.
Я тоже заметила, что после того, как я стала добавлять информацию на страницу в сервисе вебмастеров Яндекса перед публикацией (что мне настоятельно посоветовали делать специалисты этого поисковика), новая статья попадает в поиск только при очередной поисковой выдаче Яндекса. Как раз несколько дней и проходит.
Получается что-то типа того: ваш текст уже у нас в кармане, вы и так от нас никуда не денетесь, и спешить нам не обязательно.
А как же можно в таком случае определить, что статья уже проиндексирована?
Я делаю это с помощью расширения браузера Google Chrome .
Такое же расширение установлено у меня и на браузере Opera. Оно позволяет для любой открытой страницы определить, проиндексирована она или нет.
Как самостоятельно добавить страницу в индекс Google.
Google в этом вопросе более оперативен. Он позволяет каждому принудительно добавлять новую страницу в индекс. Это можно сделать . Там нужно сначала выбрать вкладку «Посмотреть, как Googlebot», где затем появляется возможность самостоятельно добавить страницу в индекс, если указать ее Url.
Как говорится: и вам хорошо, и нам не плохо.
Таким способом можно добавлять до 500 страниц в месяц.
А как обстоят дела с количественными показателями индексации для сайта?
Сколько страниц в индексе поисковых систем?
Это проще всего посмотреть в сервисах для вебмастеров поисковых систем.
Допустим, у меня на сайте 106 статей и 10 страниц (это видно в административной панели сайта) плюс Главная страница, или лента новостей. Дальше легко подсчитать (106+10+1=117). Значит, всего будет 117 Url на sitemap.
Кстати там же можно посмотреть показатели дополнительного и основного индекса Google для его сайта. У него они оказались значительно ближе друг к другу.
Увы, на моем Вордпресс блоге соплей предостаточно.
Эх, надо учиться создавать сайты на более профессиональном уровне. А не использовать готовые шаблоны…
Получается, что сайты нужно строить так, чтобы дублированного контента на них не было и все имеющиеся там ссылки на страницы сразу шли в дело, т.е. в основной индекс.
Может, и WordPress когда-нибудь до такого дорастет.
А пока получается, что, если использовать короткие ссылки на страницы, то это не способствует SEO (оптимизации). А если применять ЧПУ ссылки, то получается дублированный контент.
С нетерпением жду ваших комментариев.
Какие мысли по этому поводу Вас посетили?
Рассмотрим вопрос как определить количество проиндексированных страниц в поисковых системах. Сделать это можно разными путями. Что такое индекс можете прочитать в статье индекс поисковой машины .
Информация о количестве страниц в индексе является открытой и доступной для всех. Так что любой вебмастер может проверить абсолютно любой сайт.
1. Сколько страниц проиндексировано Яндексом
1.1. Через запросы в Яндексе
Заходим на главную страницу Яндекса (yandex.ru или ya.ru) и вбиваем в поиске запрос:
site : www.site.ru | url:site.ru или host : www.site.ru | url:site.ru
В ответе Яндекс выдаст количество проиндексированных страниц:
1.2. Через панель Яндекс Вебмастер
В панели webmaster.yandex.ru есть специальная вкладка проиндексированные страницы:
Здесь же можно посмотреть количество страниц известных роботу, количество исключенных страниц и дату последнего посещения роботом сайта. Однако стоит отметить, что воспользоваться Яндекс Вебмастером могут только владельцы сайтов, поскольку это "частная" информация.
2. Сколько страниц проиндексировано Google
2.1. Через запросы в Гугле
Как и в Яндексе, в Google есть специальный запрос, который выводит все известные страницы сайта. Заходим на главную страницу google.ru и вводим:
site :site.ru
Такой запрос отобразит все известные страницы. Чтобы узнать какие страницы попали в так называемый "основной индекс" в конце запроса нужно дописать амперсант:
site :site.ru/&
2.2. Через панель Google Webmaster
В панели google.com/webmaster есть специальная вкладка "Индекс Google" -> "Статус индексирования":
Помимо рассмотренных способов так же есть универсальные методы.
3. Универсальные методы
3.1. Узнать индексацию через специальные сервисы
Специальными сервисами я называю множество различных систем аналитики. Например, самими популярными являются:
Здесь можно получить информацию об количестве проиндексированных страниц сразу в несколько поисковых системах.