Индексирование гугл. Что такое индексация и как ее улучшить. Как быстро индексируется страничка в Google

Привет, друзья! В сегодняшнем посте я затрону тему индексации сайта в поисковой системе Google. Какие проблемы возникают с ней? Существует ли сейчас основной и дополнительный индекс? Все мои наблюдения на этот счет ниже.

Не знаю как у вас, а у меня Google индексирует меньше страниц, чем Яндекс. По крайней мере он показывает это по таким запросам:

Кстати в этой записи все буду разбирать на примере блога. Он находится в , на нем авторские уникальные статьи, теги, архивы и другие, дублирующие контент страницы (кроме категорий и нумерации страниц по средствам плагины PageNavi) запрещены в robots.txt. Что на такой запрос говорит Яндекс?

Тут уже 281 страница. Причем вообще в sitemap записано примерно 200 страниц + примерно 80 - это как раз те, которые создаются постраничной навигацией. Эти цифры ближе к реальности .

Вернемся опять к гуглу. Получилось, что сейчас он знает только о 172 страницах моего блога. Что же на самом деле? У меня получилась следующая картина:

Сейчас я объясню всю эту таблицу .

Что же получается? Google оказывается знает о 187 страницах + несколько десятков навигационных, а не о 172. По-моему кто-то что-то скрывает или прячет .

Выводы по поводу индексации в Google

До проведения данного анализа я считал, что у моих сайтов проблемы с индексацией страниц в Google. На самом же деле проблемы с тем, что некоторые документы попадают в дополнительный индекс, а о других Google знает, но молчит .

Почему Google отправляет страницы в дополнительный индекс?

1. Как я уже написал выше, причиной может служить дублирование контента. Для этого можно запретить к индексации дублирующие страницы: теги, архивы и так далее.
2. Часто страницы с копированным контентом тоже отправляются в сопли, либо просто с незначительным его количеством или низким качеством.
3. Ошибки поисковой системы. Поисковой робот может неправильно проанализировать страницу, несмотря на то, что она будет являться первоисточником с уникальным и интересным контентом.

Как же вывести страницы из соплей? А вот этим я и буду заниматься. В одном из последующих постов опубликую результаты эксперимента, который должен будет вытащить некоторые страницы блога в основной индекс. Не пропустите . Что вы думаете по поводу индексации ваших сайтов в гугл? Какие особенности были замечены?

• Googlebot или инструмент Google для индексации страниц – это название поисковой программы (бота), обязанность которого – сбор данных о документации в Интернете для дальнейшего её включения в поисковый индекс Google.
• Процедура посещений ботами веб-сайтов (как новых, так и старых) в поисках нового и обновленного контента для дальнейшей передачи информации Google называется сканированием. Откуда бот знает, что сканировать? Этот процесс обуславливается ссылками!
• Индексация – это следующий шаг, совершающийся при обработке документов, собранных на этапе сканирования. Если контент идентифицируется как качественный, то как только обработка завершена, информация добавляется в индекс поиска Google. Рассмотрение слов на определенной странице в ходе индексации является обязательным. Кроме того, на этом этапе также происходит анализ и .

Но как же ботам удается обнаружить новый материал, будь то обновленное содержание страницы, блога или какого-либо абсолютно нового сайта? Это происходит благодаря ранее собранной в Интернете информации о страницах, проиндексированных Google, и информацией с , предлагаемой веб-мастером. Ключевой вопрос – как проиндексировать страницы быстрее?

Методы ускорения индексации сайта

• Создание Sitemap . Документ Sitemap XML представляет список страниц на сайте, хранящийся на сервере сайта. Когда вы добавляете новые страницы на сайт, он информирует поисковую систему об этом и дает инструкции относительно желаемого графика проверки изменений на определенных страницах. Вы вправе выбирать частоту. Если необходимо, можете заставить проверять ваши страницы на наличие обновленной информации (новые товары, посты или любой другой контент) каждый день. Если же нет, выберите другую частоту проверок. В случае с WordPress, установка плагина Google XML Sitemaps позволяет автоматизировать создание и обновление карты сайта, передавая необходимые данные поисковым системам. Еще один вариант – плагин Yoast SEO .
• Предоставьте Google Indexing Tool свою карту сайта . Итак, у вас есть карта сайта. Как только она будет создана, перейдите в Google Webmaster Tools в аккаунт сайта. Если у вас его нет, создайте бесплатную учетную запись в Google и зарегистрируйтесь в Webmaster Tools. Далее, добавьте свой сайт в Webmaster, откройте папку «Сканирование», выберите «Sitemaps» и вставьте ссылку на свой файл Sitemap. Таким образом вы сообщаете поисковой системе Google о новых страницах. Чтобы получить еще лучший результат, дополнительно используйте консоль Bing. Там есть возможность создать другую учетную запись, войти в систему и включить свою карту сайта с помощью Webmaster Tools. Как поисковый бот знает, что сканировать? Это благодаря ссылкам! Не забудьте запустить файла, чтобы убедиться, что все необходимые страницы разрешены для индексации.
• Используйте Google Analytics . Установка Google Analytics используется в основном для отслеживания источников трафика и анализа поведения пользователей. Но само добавление кода на новый сайт и настройка аккаунта в системе аналитики уже уведомляет Google о появлении нового сайта, который необходимо просканировать.
• Добавьте вручную . Это один из подходов, которым большинство людей пренебрегают, когда ищут возможности заставить поисковые системы просканировать страницы быстрее. Инструменты Google для индексирования не требуют дополнительных усилий или ресурсов и, безусловно, не наносят никакого вреда! Что необходимо сделать, так это, лишь войти в свой Google аккаунт и выбрать «Отправить URL» в Webmaster Tools.
• Создавайте и обновляйте свои социальные профили . Теперь, когда вы знаете, что ссылки служат для привлечения ботов на сайт, вы понимаете еще одну полезную функцию социальных сетей. Создайте профили в LinkedIn, Twitter, Pinterest, Facebook, YouTube и Google+. Используйте как можно больше соцсетей. После публикации страницы сразу публикуйте ссылку на неё в ваших соцсетях.
• Разместите ссылки на новую страницу на внешних ресурсах . Блоги, статьи, пресс-релизы, посты посетителей и другие варианты значительно ускоряют индексирование страницы.

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Google – это первый поисковик в мире. В каком бы регионе вы не продвигали сайт, вам обязательно нужно добавить его в этот поисковик. В этой статье я покажу, как добавить сайт в Google и добиться от него быстрой и правильной индексации.

А о том, как добавить сайт в Яндекс, вы можете узнать .

Как добавить сайт в Google

Запаситесь терпением, ведь все поисковые машины очень медлительны. На индексирование сайта уйдёт несколько недель. Это означает, что не нужно откладывать добавление сайта в поисковик. Если вы только создали сайт, и записей в нём ещё нет, то уже можете добавлять.

Чтобы добавить сайт в Google, у вас должен быть аккаунт в этом поисковике (если пользуетесь почтой Gmail, то считайте, что есть аккаунт, через него можно получить доступ ко всем инструментам Google). Сделайте следующие действия по порядку:

1. Перейдите в инструменты вебмастера Google, которые находятся , и нажмите на кнопку «Добавить ресурс ». Введите адрес сайта, который добавляете, и нажмите кнопку «Продолжить ».

   Добавление сайта в Google

2. Появится следующая страница, на которой необходимо подтвердить права на свой сайт. Есть несколько способов, но самый простой и удобный с помощью HTML-файла. Скачайте файл, который вам предлагается в п.1 инструкции Google, и закачайте его в корневой каталог вашего сайта. Если всё сделали правильно, то при клике по ссылке в п.3 в инструкции Google вы увидите содержимое этого сайта. Если нет, то страницу 404. Нажмите кнопку «Подтвердить ».

   Подтверждение прав на сайт

3. Чтобы добавить сайт в Google и добиться правильной и быстрой индексации, необходимо показать поисковым роботам, где у вас . Для этого переходим в панель управления сайтом в инструментах вебмастера Google, нажимаем пункт «Сканирование » и выбираем подпункт «Файлы Sitemap ». Нажмите на кнопку «Добавление/проверка файла Sitemap » и введите в строке адрес до карты, например «ru/ sitemap. xml ». Обратите внимание, что домен сайта там уже написан, поэтому вводить нужно без него – «sitemap. xml ». Потом нажмите кнопку «Отправить файл Sitemap ». Если хотите проверить её перед этим на ошибки, нажмите «Проверить Sitemap ».

   Добавление карты сайта

Если вы сделали всё по этих пунктам, то считайте, что у вас получилось добавить сайт в Google. Теперь необходимо немного подождать, пока поисковик всё проиндексирует. Как правило, на это уходит 1-3 недели. Вы можете контролировать весь процесс индексации в

В этой инструкции мы рассмотрим вопрос добавления нашего нового сайта на индексацию к различным поисковым системам.

Я решил упомянуть как популярные поисковики, так и те, про которые вы возможно и не слышали.

Индексация сайта в Яндексе

Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.

1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.
2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.
3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе .

Индексация сайта в Google (Гугле)

Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url .

Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.

Индексация сайта в Рамблере (Rambler.ru)

Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi

Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.

Индексация сайта в Mail.ru (Майл)

Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl

Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.

Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.

Поисковая система Aport.ru (Апорт)

Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.

Поисковая система Nigma.ru (Нигма)

Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.

Медиа навигатор Tagoo.ru

Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.

Поисковая система Turtle.ru (Черепаха)

Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html . Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.

Зарубежные поисковые системы

Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.

Поисковая система Yahoo.com (Яху)

Поисковая система Bing.com (Бинг)

Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url .

Украинские поисковые системы

И в заключении моего обзора приведу две популярных поисковых системы на Украине.

Украинская поисковая система Meta.ua (Мета)