Indexation Google. Qu'est-ce que l'indexation et comment l'améliorer. À quelle vitesse une page est indexée dans Google

17.02.2019

Bonjour les amis ! Dans l'article d'aujourd'hui, j'aborderai le sujet de l'indexation des sites Web dans le moteur de recherche Google. Quels problèmes en découlent ? Y a-t-il maintenant un principal et indice supplémentaire? Toutes mes observations à ce sujet sont ci-dessous.

Je ne sais pas pour vous, mais Google l'indexe pour moi moins de pages que Yandex. Par au moins cela montre ceci pour des requêtes comme celle-ci :

D'ailleurs, dans cet article, j'analyserai tout en utilisant l'exemple d'un blog. Il est situé à , il est protégé par le droit d'auteur articles uniques, tags, archives et autres qui dupliquent le contenu de la page (à l'exception des catégories et de la numérotation des pages au moyen Plugins PageNavi) sont interdits dans robots.txt. Que dit Yandex à une telle demande ?

Il y a déjà 281 pages. De plus, en général, le plan du site contient environ 200 pages + environ 80 - ce sont exactement celles qui sont en cours de création navigation dans les pages. Ces chiffres sont plus proches de la réalité.

Revenons à nouveau à Google. Il s'avère que maintenant il ne connaît qu'environ 172 pages de mon blog. Qu'est-ce que c'est vraiment ? J'ai obtenu l'image suivante :

Maintenant, je vais expliquer tout ce tableau.

Ce qui se produit? Google connaît environ 187 pages + plusieurs dizaines de pages de navigation, et non environ 172. À mon avis, quelqu'un cache ou cache quelque chose.

Conclusions sur l'indexation dans Google

Avant de procéder à cette analyse, je pensais que mes sites avaient des problèmes d'indexation des pages dans Google. En fait, le problème est que certains documents se retrouvent dans un index supplémentaire, alors que Google en connaît d'autres, mais reste silencieux.

Pourquoi Google soumet-il les pages à un index secondaire ?

Comme je l'ai écrit ci-dessus, la raison peut être la duplication du contenu. Pour ce faire, vous pouvez interdire l'indexation des pages en double : balises, archives, etc.
Souvent, les pages dont le contenu est copié sont également jetées, soit en petite quantité, soit en mauvaise qualité.
Erreurs du moteur de recherche. Un robot de recherche peut analyser de manière incorrecte une page, même s'il s'agit d'une source primaire avec un contenu unique et intéressant.

Comment extraire des pages de la morve ? Et c'est ce que je ferai. Dans l'un des articles suivants, je publierai les résultats de l'expérience, qui devra intégrer certaines pages du blog dans l'index principal. Ne le manquez pas. Que pensez-vous de l’indexation de vos sites dans Google ? Quelles caractéristiques ont été remarquées ?

Googlebot ou l'outil d'indexation de pages de Google est le nom programme de recherche(bot), dont la mission est de collecter des données sur la documentation sur Internet pour leur inclusion ultérieure dans index de recherche Google.
La procédure permettant aux robots de visiter des sites Web (nouveaux et anciens) à la recherche de contenu nouveau et mis à jour pour une transmission ultérieure Informations Google appelé numérisation. Comment le bot sait-il quoi scanner ? Ce processus est piloté par des liens !
L'indexation est la prochaine étape qui se produit lors du traitement des documents collectés lors de la phase de numérisation. Si le contenu est identifié comme étant de qualité, alors dès que le traitement est terminé, l'information est ajoutée à l'index Recherche Google. La prise en compte des mots sur une page particulière lors de l'indexation est obligatoire. De plus, à ce stade, une analyse a également lieu.

Mais comment les robots parviennent-ils à détecter nouveau matériel, qu'il s'agisse de contenu mis à jour sur une page, un blog ou un tout nouveau site ? Cela se produit grâce aux informations préalablement collectées sur Internet sur les pages indexées par Google et aux informations du webmaster. La question clé est de savoir comment indexer les pages plus rapidement ?

Méthodes pour accélérer l'indexation du site

Création de plan de site. Document XML du plan du site représente une liste de pages d'un site, stockée sur le serveur du site. Lorsque vous ajoutez de nouvelles pages au site, il en informe le moteur de recherche et donne des instructions sur le calendrier souhaité pour vérifier les modifications sur certaines pages. Vous avez le droit de choisir la fréquence. Si nécessaire, vous pouvez les forcer à consulter quotidiennement vos pages pour obtenir des informations mises à jour (nouveaux produits, publications ou tout autre contenu). Sinon, choisissez une fréquence de contrôle différente. Dans le cas de WordPress, l'installation du plugin Google XML Sitemaps permet d'automatiser la création et la mise à jour d'un plan de site, en transmettant les données nécessaires aux moteurs de recherche. Une autre option est le plugin Yoast SEO.
Fournissez l'outil d'indexation Google avec votre plan de site. Donc, vous avez un plan du site. Une fois créé, accédez à Google Webmaster Tools sur votre compte de site. Si vous n'en avez pas, créez-en un gratuitement compteà Google et inscrivez-vous auprès des outils pour les webmasters. Ensuite, ajoutez votre site à Webmaster, ouvrez le dossier « Crawling », sélectionnez « Sitemaps » et collez le lien vers votre Fichier de plan du site. De cette façon, vous informez le moteur de recherche Google des nouvelles pages. Pour obtenir plus meilleur résultat, utilisez également la console Bing. Il existe une option pour créer un autre compte, vous connecter et inclure votre plan de site à l'aide des outils pour les webmasters. Comment un robot de recherche sait-il quoi explorer ? C'est grâce aux liens ! Assurez-vous d'exécuter le fichier pour vous assurer que toutes les pages requises peuvent être indexées.
Utiliser Google Analytics . Installation de Google L'analyse est principalement utilisée pour suivre les sources de trafic et analyser le comportement des utilisateurs. Mais le simple fait d'ajouter le code à un nouveau site et de créer un compte dans le système d'analyse informe déjà Google de l'apparition d'un nouveau site qui doit être exploré.
Ajouter manuellement. C’est une approche que la plupart des gens négligent lorsqu’ils cherchent à amener les moteurs de recherche à explorer les pages plus rapidement. Les outils d'indexation de Google ne nécessitent aucun effort ni ressource supplémentaire et ne causent certainement aucun dommage ! Ce que vous devez faire, c'est simplement entrer votre Compte Google et sélectionnez « Envoyer l'URL » dans les outils pour les webmasters.
Créez et mettez à jour votre profils sociaux . Maintenant que vous savez que les liens sont utilisés pour attirer les robots vers le site, vous en comprenez un autre fonction utile réseaux sociaux. Créez des profils sur LinkedIn, Twitter, Pinterest, Facebook, YouTube et Google+. Utilisez autant de réseaux sociaux que possible. Après avoir publié la page, publiez immédiatement un lien vers celle-ci sur vos réseaux sociaux.
Publier des liens vers nouvelle page sur les ressources externes. Les blogs, articles, communiqués de presse, publications de visiteurs et autres options accélèrent considérablement l'indexation des pages.

Comment savoir rapidement si une page qui vous tient à cœur figure dans l’index des moteurs de recherche ? Et de manière générale, combien de pages d’un site sont « vues » par les moteurs de recherche ? Dans cet article, j'ai décrit les méthodes que les spécialistes du référencement utilisent le plus souvent et j'ai préparé un bonus pour les lecteurs.

Lors de l'indexation d'une page, le robot du moteur de recherche ajoute des informations sur le site à la base de données. Une recherche plus approfondie s'effectue sur les pages indexées. Ne confondez pas indexation et exploration.

Un robot peut explorer rapidement l’ensemble du site. Et l'ajout à l'index est lent, sans ajouter de pages ni supprimer des pages de l'index.

1. Vérifiez l'indexation dans le panneau des webmasters

Ce méthode de base vérifie le webmaster ou le propriétaire du site.

Google. Tu dois aller à Console de recherche et dans l'onglet « Google Index », sélectionnez « Statut d'indexation ».

Yandex. Nous passons par l'autorisation dans Yandex.Passport, allons sur Yandex.Webmaster et suivons le chemin « Indexation du site » - « Pages dans la recherche ». Autre option : « Indexation du site » - « Historique » - « Pages dans la recherche ». Ici vous pouvez voir la dynamique des changements dans le nombre de pages dans la recherche.

Pour utiliser cette méthode, vous devez disposer d'un certain niveau d'accès au panel des webmasters. Exemple bonne indexation site. Quantité pages de qualité grandit et ils sont ajoutés à l’index.
Les problèmes d'indexation ressemblent à ceci :

La capture d'écran montre un site fermé à l'indexation dans le fichier robots.txt

Souhaitez-vous en savoir plus sur promotion sur les moteurs de recherche? Abonnez-vous à notre newsletter :

Envoyer

Nos abonnés en reçoivent toujours plus.

2. Utiliser des opérateurs dans les requêtes de recherche

Les opérateurs de recherche vous permettent d'affiner vos résultats de recherche. L'opérateur « site : » fournit des informations sur le nombre approximatif de pages indexées. Pour vérifier, saisissez « site : » dans la barre de recherche Google ou Yandex.

Par exemple, le site Web cubing.com.ua est sous le filtre AGS.

En utilisant outils supplémentaires recherche, vous pouvez trouver des données d'indexation pour certaine période temps. Donc, au cours de la dernière heure Index Google 49 pages de Wikipédia en russe sont apparues :

3. Utilisez des plugins et des bookmarklets

Les plugins et les bookmarklets (petits programmes javascript enregistrés sous forme de signets du navigateur) constituent une option de vérification automatisée. DANS dans ce cas pas besoin d'ouvrir le moteur de recherche séparément et de saisir quoi que ce soit dans la recherche.

Les plugins et les scripts font ceci :

Netpeak Spider vous permet d'explorer l'intégralité du site. L'avantage est que vous recevez non seulement des informations sur le nombre de pages de l'index, mais aussi une liste de ces pages, ainsi que de nombreuses données supplémentaires : canoniques, code de réponse, titre, rubriques, méta descriptions, méta robots, robots.txt, redirections, internes et liens externes et d'autres. Le programme avertit également des erreurs dans ces données.

Une fois qu'une liste de toutes les URL de sites a été reçue, elle peut être téléchargée sur Netpeak Checker et vérifiée directement pour l'indexation par les moteurs de recherche.

Pourquoi le site n'est-il pas indexé ?

1. Nouveau site Internet. Parfois, il suffit d'attendre. Les pages ne sont pas incluses dans l'index en une seule fois. Ce processus prend souvent plusieurs mois.

2. Pas de plan du site. Un plan du site de haute qualité vous aidera robots de recherche explorez et indexez votre site plus rapidement. Le lien vers la carte doit être ajouté au panneau des webmasters.

3. Erreurs sur le site. Les panneaux de webmaster informent régulièrement les propriétaires de sites des erreurs. Vous avez remarqué un problème avec l'indexation ? Voyez quelles erreurs le robot trouve et corrigez-les.

Une erreur courante lors d'un changement inconsciemment Paramètres du CMS ou l'hébergement. La ligne suivante apparaît dans le code des pages du site :

5. Erreur avec robots.txt. Il est souvent conseillé de fermer tout ce qui est inutile dans robots.txt. La particularité du fichier robots.txt est qu'un caractère supplémentaire peut transformer un site ouvert à l'indexation en un site fermé. Même si vous avez fermé correctement une partie du site, vous pourriez par inadvertance attraper les éléments nécessaires qui se trouvent plus profondément. Votre site est fermé à l'indexation si vous voyez cette construction dans votre robots.txt :

Agent utilisateur : * Interdire : /

Conclusions

L’objectif du propriétaire du site Web est que toutes les pages ouvertes à l’indexation figurent dans l’index des moteurs de recherche. C’est difficile à réaliser. De plus, il est important de surveiller le processus de saisie des pages dans l'index : changements brusques dans le positif ou côté négatif- un signal concernant un problème. Nous avons décrit quatre manières de vérifier l'indexation des pages d'un site Web :

Dans les panneaux des webmasters Google et Yandex.
En utilisant opérateur de recherche"site:".
Utiliser des plugins comme Barre RDS et burkmarklets.
DANS services spéciaux, par exemple, Netpeak Spider.

Souvent, il ne s’agit pas d’indexation, mais plutôt d’une démarche d’optimisation. Si vous souhaitez être indexé et classé, répondez mieux que quiconque à la demande de l’utilisateur. Dans ce cas, tout ce qui est décrit ci-dessus ne sera nécessaire que pour enregistrer un bon résultat.

P.S. Bonus pour ceux qui ont fini de lire :)

Gardez un tableau avec lequel je travaille avec l'indexation de sites Web. Comment travailler avec une table ?

Faites une copie.
Sélectionnez une zone de domaine.
Chargez la colonne A avec une liste d'URL.
Attendez les résultats (plus il y a d'adresses, plus il faut attendre).

En conséquence, nous obtenons quelque chose comme ceci :

Ensuite, vous pouvez sélectionner les colonnes B, C et copier les données dans les deux colonnes adjacentes. De cette façon, vous enregistrerez les résultats dans date actuelle pour comparaison avec les résultats de l'indexation via certaine heure. Et voici un autre tableau pour enregistrer les résultats de recherche à l'aide de l'opérateur « site : » pour Yandex. Les instructions sont simples :

Sélectionnez une zone de domaine.
Sélectionnez la région.
Entrez votre requête (adresse du site Web).
Mettez "1" si vous souhaitez obtenir l'adresse et le titre.
Saisissez le nombre de SERP que vous souhaitez enregistrer (de 1 à 100).

En utilisant cette tablette, j'ai trouvé plus d'une fois un titre problématique ou pages supplémentaires dans l'index.

Google est le premier moteur de recherche au monde. Quelle que soit la région dans laquelle vous faites la promotion de votre site, vous devez absolument l'ajouter à ce moteur de recherche. Dans cet article, je vais vous montrer comment ajouter un site à Google et le faire indexer rapidement et correctement.

Et vous pouvez découvrir comment ajouter un site à Yandex.

Comment ajouter un site à Google

Soyez patient, car tous les moteurs de recherche sont très lents. Il faudra plusieurs semaines pour que le site soit indexé. Cela signifie que vous n’avez pas à retarder l’ajout de votre site à un moteur de recherche. Si vous venez de créer un site Web et qu'il ne contient encore aucune entrée, vous pouvez déjà les ajouter.

Pour ajouter un site à Google, vous devez disposer d'un compte dans ce moteur de recherche (si vous utilisez par Gmail, alors considérez que vous disposez d'un compte, grâce auquel vous pouvez accéder à tout Outils Google). Faire prochaines étapes en ordre:

Aller aux outils Webmasters Google, qui se trouvent, et cliquez sur le bouton " Ajouter une ressource" Entrez l'adresse du site que vous ajoutez et cliquez sur le bouton " Continuer».
Ajouter un site à Google
apparaîtra page suivante, où vous devez confirmer les droits sur votre site. Il existe plusieurs façons, mais la plus simple et la plus pratique consiste à utiliser un fichier HTML. Téléchargez le fichier qui vous est proposé à l'étape 1 Instructions Google, et téléchargez-le dans le répertoire racine de votre site. Si vous avez tout fait correctement, lorsque vous cliquerez sur le lien à l'étape 3 des instructions de Google, vous verrez le contenu de ce site. Sinon, cliquez sur la page 404. Confirmer».
Confirmation des droits sur le site
Pour ajouter un site à Google et obtenir le bon résultat indexation rapide, vous devez montrer aux robots de recherche où vous vous trouvez. Pour cela, rendez-vous dans le panneau de configuration du site dans Google Webmaster Tools, cliquez sur le bouton « Balayage" et sélectionnez le sous-élément " FichiersPlan du site" Cliquez sur le bouton Ajouter/vérifier un fichierPlan du site" et saisissez l'adresse de la carte dans la ligne, par exemple " ru/plan du site.XML" Veuillez noter que le domaine du site y est déjà écrit, vous devez donc le saisir sans lui - " plan du site.XML" Cliquez ensuite sur le " Envoyer le fichierPlan du site" Si vous souhaitez vérifier les erreurs avant de faire cela, cliquez sur " VérifierPlan du site».
Ajout d'un plan du site

Si vous avez tout fait sur ces points, alors considérez que vous avez réussi à ajouter votre site sur Google. Il faut maintenant attendre un peu pendant que le moteur de recherche indexe tout. En règle générale, cela prend 1 à 3 semaines. Vous pouvez contrôler l'ensemble du processus d'indexation dans

Dans cette instruction, nous examinerons la question de l'ajout de notre nouveau site pour l'indexation sur divers moteurs de recherche.

J'ai décidé de mentionner comment moteurs de recherche populaires, ainsi que ceux dont vous n'avez peut-être pas entendu parler.

Indexation du site dans Yandex

Pour ajouter un site à indexer, entrez simplement l'url page d'accueil et captcha. Le Captcha est constitué de quelques chiffres qui protègent contre inscriptions automatiques. Après avoir cliqué sur le bouton « ajouter », plusieurs options de développement d'événements sont possibles.

1) Le message « Votre site a été ajouté » signale l'ajout réussi d'une ressource à la file d'attente d'indexation dans Yandex.
2) Si le message « Votre hébergement ne répond pas » apparaît, cela signifie que votre serveur est en panne en ce moment. Vous pouvez essayer d'ajouter un site plus tard ou trouver un meilleur hébergement.
3) Mais si un message apparaît indiquant que « URL spécifiée interdit d’indexation », alors les choses vont mal. Cela indique que des sanctions ont été imposées à votre ressource sous la forme d'une interdiction de site. Il est fort possible que le domaine que vous avez acheté possédait déjà un site Web sanctionné. En utilisant addurl, les webmasters vérifient souvent les sites pour les interdictions dans Yandex.

Indexation de sites Web dans Google (Google)

Le deuxième élément le plus important pour notre site est moteur de recherche Google (Google). Le processus d'ajout d'un site à l'indexation dans Google est exactement le même que sur Yandex. Google possède également sa propre adurilka, située à l'adresse : https://www.google.com/webmasters/tools/submit-url.

Vous devez également saisir un captcha lors de l'ajout. Mais il y a deux différences. Si dans Yandex, vous pouvez simplement ajouter une URL sans mouvements inutiles, alors dans Google, vous devez être connecté à votre compte. Sinon ça ne marchera pas. Ainsi, si vous n’y avez pas encore de compte, vous devrez en créer un. Deuxième Différence Google de Yandex, c'est la vitesse d'indexation. Google indexe les sites Web très rapidement.

Indexation du site dans Rambler (Rambler.ru)

Bien sûr, Rambler n’est plus ce qu’il était, comme beaucoup le diront, et génère très peu de trafic. Et d’ailleurs, pourquoi les négliger ? Le processus d'indexation du site dans Rambler est le plus long parmi les autres moteurs de recherche nationaux. Et son adurilka ne fonctionne pas depuis longtemps, c'était sur : robot.rambler.ru/cgi-bin/addsite.cgi

Il l'utilise depuis longtemps base de données de recherche Yandex. Par conséquent, pour accéder à l'index Rambler.ru, il suffit d'ajouter à Yandex.

Indexation du site dans Mail.ru (Mail)

Le moteur de recherche Mail.ru dispose également d’un compte webmaster. L'ajout d'un site à indexer dans Mail.ru s'effectue via le formulaire addurl, situé à l'adresse : go.mail.ru/addurl

De plus, comme Google, pour demander une indexation, vous devez créer votre compte et vous y connecter. Autrement, ça ne marchera pas. Mile dans dernièrement essaie de développer son propres outils pour les webmasters.

Ci-dessus, nous avons examiné les principaux moteurs de recherche nationaux dans lesquels nous souhaitons indexer notre site. Je donnerai le PS suivant plus pour votre érudition générale en référencement que pour des actions spécifiques.

Moteur de recherche Aport.ru (Aport)

Aport.ru était autrefois un moteur de recherche, avec sa propre base de données d'index et son propre adurilka. Il est désormais devenu un moteur de recherche de produits dans lequel vous pouvez comparer les prix des biens et des services.

Moteur de recherche Nigma.ru (Nigma)

Nigma.ru est notre intellectuel russe moteur de recherche. Le volume total de son trafic est d'environ trois millions de requêtes par jour. Bien évidemment, le trafic en provenance de Nygma ne doit pas être négligé. Vous pouvez ajouter votre site pour l'indexation dans Nigma sur la page nigma.ru/index_menu.php?menu_element=add_site.

Navigateur multimédia Tagoo.ru

Le système Tagoo.ru est un moteur de recherche multimédia qui recherche des données multimédias. Ce contenu musical, vidéos et programmes. Pour que votre site soit indexé par le système Tagoo, vous devez utiliser le formulaire d'ajout : tagoo.ru/ru/webmaster.php?mode=add_site.

Moteur de recherche Turtle.ru (Tortue)

Le moteur de recherche international Turtle (Turtle) effectue des recherches dans les pays de la CEI dans n'importe quelle langue. Les ressources situées sur ces sites sont acceptées pour l'indexation zones de domaine comme : ru, su, ua, am, az, ge, by, kz, kg, uz, md. Pour ajouter un site à indexer dans Turtle, vous devez utiliser Aduril : http://www.turtle.ru/add.html. Il est conseillé d'attendre le message indiquant que votre site a été accepté. Cela ne sera peut-être pas ajouté, mais vous ne le saurez même pas.

Moteurs de recherche étrangers

Si les moteurs de recherche ci-dessus étaient des moteurs de recherche nationaux, vous trouverez ci-dessous une liste de moteurs de recherche étrangers.

Moteur de recherche Yahoo.com (Yahoo)

Moteur de recherche Bing.com (Bing)

Moteur de recherche Système Bing appartient Société Microsoft et a été créé pour remplacer Live Search. Microsoft espère que cette nouvelle idée sera beaucoup plus populaire que son prédécesseur. Si vous souhaitez que votre site Bing.com soit indexé, vous pouvez le faire sur http://www.bing.com/toolbox/submit-site-url.

Moteurs de recherche ukrainiens

Et en conclusion de mon examen, je citerai deux moteurs de recherche populaires en Ukraine.