Εργαλείο αφαίρεσης URL. Γιατί οι σελίδες εξαιρούνται από την αναζήτηση. Γιατί είναι κλειστές και διαγραμμένες σελίδες στην αναζήτηση;

Σχεδόν κάθε webmaster, ειδικά στο αρχικό στάδιοδημιουργώντας ένα έργο, αντιμετώπισα την ανάγκη να αφαιρέσω ιστοσελίδες από το ευρετήριο της μηχανής αναζήτησης. Παρόλο που η διαδικασία, με την πρώτη ματιά, είναι αρκετά απλή, πολλοί εξακολουθούν να έχουν δυσκολίες.

Μερικές φορές ο κάτοχος ενός πόρου Ιστού πρέπει να αποκρύψει ένα έγγραφο από τις μηχανές αναζήτησης για τους ακόλουθους λόγους:

• ο ιστότοπος είναι υπό ανάπτυξη και εμφανίστηκε στα αποτελέσματα αναζήτησης εντελώς τυχαία.
• το περιεχόμενο της σελίδας δεν είναι πλέον σχετικό.
• το έγγραφο αντιγράφει μια άλλη σελίδα που βρίσκεται ήδη στον ιστότοπο.
• Το ευρετήριο περιλαμβάνει σελίδες υπηρεσιών όπου βρίσκονται τα προσωπικά δεδομένα των πελατών.

Για να αποφύγουμε τέτοιες περιπτώσεις, σήμερα θα μιλήσουμε για 4 αποτελεσματικούς τρόπουςαφαιρώντας μια σελίδα από το ευρετήριο της μηχανής αναζήτησης.

Πώς να αποκλείσετε μια σελίδα από τις μηχανές αναζήτησης χρησιμοποιώντας τον πίνακα webmaster;

Αυτή η μέθοδος αποκλεισμού της πρόσβασης στις σελίδες του ιστότοπού σας για ρομπότ αναζήτησης θεωρείται μία από τις ευκολότερες. Επιπλέον, αυτό το εργαλείο είναι ιδανικό για τις περιπτώσεις που συγκεκριμένες διευθύνσεις URLπρέπει να αφαιρεθεί επειγόντως.

Yandex

Για να το κάνετε αυτό, θα χρειαστείτε την υπηρεσία Yandex.Webmaster. Σας είπαμε πώς να προσθέσετε έναν ιστότοπο σε αυτόν τον ιστότοπο για να επιταχύνετε τη δημιουργία ευρετηρίου. Ακολουθήστε τον σύνδεσμο https://webmaster.yandex.ru/tools/del-url/ και προσθέστε τη διεύθυνση στο κατάλληλο πεδίο συγκεκριμένη σελίδα, μετά κάντε κλικ στην Κατάργηση.


Με υψηλό βαθμό πιθανότητας, η Yandex θα σας ζητήσει να επιταχύνετε τη διαδικασία διαγραφής μιας σελίδας από τη βάση δεδομένων του συστήματος. Για να το κάνετε αυτό, πρέπει πρώτα να το κλείσετε από τα ρομπότ μέσω ενός αρχείου ή μιας μετα-ετικέτας ρομπότ ή βεβαιωθείτε ότι ο διακομιστής εκδίδει σφάλμα 404. Θα μιλήσουμε για το πώς να το κάνετε αυτό λίγο αργότερα.

Θα χρειαστούν αρκετές ώρες ή ακόμα και μέρες πριν τα bots αφαιρέσουν το έγγραφο από τη βάση δεδομένων. Αυτό οφείλεται στο γεγονός ότι το σύστημα θα πρέπει να παρακολουθεί την κατάστασή του και να βεβαιωθεί ότι δεν αλλάζει.

Google

Συνδεθείτε στον ιστότοπο Εργαλεία για Webmasters Google. Προσθέστε εκ των προτέρων τον ιστότοπό σας στο ευρετήριο, εάν δεν το έχετε κάνει ήδη. Στη συνέχεια, βρείτε την καρτέλα "Ευρετήριο Google" εκεί και κάτω από αυτήν "Διαγραφή Διευθύνσεις URL" Στο παράθυρο που εμφανίζεται, ορίστε την επιλογή δημιουργίας αιτήματος διαγραφής και πληκτρολογήστε τη διεύθυνση του εγγράφου που θα διαγραφεί στο πεδίο. Στη συνέχεια υποβάλετε το αίτημά σας.

Σφάλμα 404 στον διακομιστή

Σίγουρα κάθε χρήστης που ψάχνει απαραίτητες πληροφορίεςστο Διαδίκτυο, έφτασα σε μια σελίδα όπου έδωσε Σφάλμα 404 - Η σελίδα δεν βρέθηκε". Αυτό σημαίνει ότι το έγγραφο που αναζητάτε έχει αφαιρεθεί από τον πόρο.

Ο webmaster μπορεί να το κάνει αυτό στον πίνακα ελέγχου τοποθεσίας, για παράδειγμα. Για τις μηχανές αναζήτησης, αυτό σημαίνει ότι ρυθμίζετε τις παραμέτρους του διακομιστή απόκρισης αυτής της σελίδας έτσι ώστε συγκεκριμένη διεύθυνσηεμφανίστηκε ο κωδικός 404 δενβρέθηκαν. Και όταν το ρομπότ επισκέπτεται ξανά δεδομένη διεύθυνση URL, ο διακομιστής θα του πει ότι η σελίδα δεν υπάρχει πλέον. Αυτό καθιστά σαφές στις μηχανές αναζήτησης ότι το έγγραφο έχει αφαιρεθεί από τον ιστότοπο και θα το καταργήσουν Αποτελέσματα αναζήτησηςώστε οι επισκέπτες να μην πάνε σε αυτό και να διαβάσουν το σφάλμα 404.

Τα χαρακτηριστικά γνωρίσματα αυτής της μεθόδου περιλαμβάνουν:

1. Εύκολη ρύθμιση με λίγα μόνο κλικ.
2. Πλήρης εξαφάνιση ενός εγγράφου από έναν πόρο Ιστού. Εξαιτίας αυτού, δεν συνιστάται η χρήση αυτής της μεθόδου όταν πρέπει να αφαιρέσετε μια σελίδα υπηρεσίας από το ευρετήριο ( εμπιστευτικές πληροφορίεςπελάτες, κ.λπ.).
3. Αξίζει επίσης να καταφύγετε σε μια άλλη επιλογή για την απόκρυψη της σελίδας, για παράδειγμα, μια ανακατεύθυνση 301, εάν οι εισερχόμενοι σύνδεσμοι οδηγούν σε αυτήν.

Σπουδαίος!Η σελίδα πέφτει έξω ευρετήριο αναζήτησηςόχι λόγω της αφαίρεσής του από τον πόρο, αλλά λόγω περαιτέρω αναπροσαρμογής του ευρετηρίου. Επομένως, για να το αφαιρέσετε, θα πρέπει να περιμένετε περίπου 2 εβδομάδες έως ότου το bot επισκεφθεί ξανά τον πόρο.

Για τους webmasters, αυτή η μέθοδος είναι μία από τις πιο βολικές, αλλά ο επισκέπτης μπορεί να μην αρέσει το σφάλμα 404 και υπάρχει κίνδυνος ο χρήστης, μόλις το δει, να σταματήσει να επισκέπτεται τον ιστότοπο. Υπάρχει όμως διέξοδος από αυτή την κατάσταση.

Σε μια σημείωση.Πολύ συχνά οι κατασκευαστές τοποθεσιών το κάνουν ενδιαφέρον σχέδιοσελίδα με σφάλμα 404 δεν βρέθηκε. Το έβαλαν εκεί ΧΡΗΣΙΜΕΣ ΠΛΗΡΟΦΟΡΙΕΣκαι προσφέρετε να επισκεφτείτε άλλες σελίδες πόρων που σίγουρα θα τραβήξουν την προσοχή του επισκέπτη. Με αυτόν τον τρόπο θα κάνετε αυτή τη σελίδα πιο ελκυστική για τον χρήστη, κάτι που σίγουρα θα έχει θετική επίδραση στη βαθμολογία και την αναγνώρισή του.

Αλλαγή του αρχείου robots.txt

Μια άλλη κοινή μέθοδος στην οποία καταφεύγουν οι webmasters. Σας επιτρέπει να κρύβεστε μεμονωμένα έγγραφακαι ολόκληρα τμήματα. Στο αρχείο ρομπότ μπορείτε όχι μόνο να αρνηθείτε, αλλά και να επιτρέψετε ρομπότ αναζήτησηςευρετηρίαση ενός ιστότοπου ή συγκεκριμένων σελίδων. Παρόμοιες εντολέςδιασφαλίζονται με τη χρήση της οδηγίας Απαγόρευσης.

Για να κρύψετε μια σελίδα από μηχανές αναζήτησης, πρέπει να αποκτήσετε πρόσβαση στον ριζικό φάκελο του ιστότοπου. Το έγγραφο robots.txt περιέχει κυρίως 2 γραμμές:

1. Χρήστης-μέσο.Εδώ υποδεικνύετε το όνομα του ρομπότ μιας συγκεκριμένης μηχανής αναζήτησης, το οποίο απαγορεύετε να ανιχνεύσει τη σελίδα ή γράφεται ο κώδικας Πράκτορας χρήστη: *, ισχύει για όλα τα bot ταυτόχρονα.
2. Απαγορεύω.Εδώ εισάγεται η διεύθυνση URL της σελίδας που πρόκειται να διαγραφεί.

Μαζί δημιουργούν μια ομάδα για μηχανές αναζήτησης που σχετίζονται με καθορισμένη διεύθυνση URL. Εάν απαιτείται, μπορείτε να αποκρύψετε πολλά έγγραφα σε έναν πόρο σε ένα αρχείο ταυτόχρονα και δεν θα επηρεάσουν το ένα το άλλο με κανέναν τρόπο.

Για παράδειγμα, με αυτόν τον τρόπο θα πούμε σε όλα τα ρομπότ αναζήτησης να μην ευρετηριάζουν τις σελίδες ευρετηρίου και κωδικού πρόσβασης στον ιστότοπό μας

User-agent: * Disallow: /index Disallow: /password

Όταν εγγραφείτε αυτή την εντολή, θα χρειαστεί να περιμένετε για την επόμενη ευρετηρίαση. Θα πρέπει να γνωρίζετε ότι όλες οι αλλαγές στο αρχείο ρομπότ έχουν συμβουλευτικό χαρακτήρα για τις μηχανές αναζήτησης, επομένως μην εκπλαγείτε αν το αντικείμενο παραμένει στο ευρετήριο, αλλά με ένα σημάδι για απόκρυψη μέσω του robots.txt. Αλλά εάν μετά από ένα ορισμένο χρονικό διάστημα η κατάσταση του εγγράφου δεν αλλάξει, θα εξακολουθήσει να διαγράφεται από τη βάση δεδομένων της μηχανής αναζήτησης.

Σπουδαίος!Εάν οι διαγραμμένες σελίδες έχουν εξωτερικοί σύνδεσμοι, τότε θα παραμείνουν διαθέσιμα για πλοήγηση μέσω αυτών. Αυτό οφείλεται στο γεγονός ότι οι εντολές στο αρχείο ρομπότ δεν αφαιρούν πραγματικά το αντικείμενο από τα αποτελέσματα αναζήτησης, αλλά το κρύβουν μόνο από τα αποτελέσματα.

Μετα-ετικέτα ρομπότ

Χωρίς να μπούμε σε λεπτομέρειες, αυτή η μέθοδος είναι παρόμοια με την παραπάνω, μόνο όλες οι εντολές είναι γραμμένες στον κώδικα html του ιστότοπου μέσα στις ετικέτες κεφαλής:

Όλες οι αλλαγές θα γίνουν επίσης μετά την ευρετηρίαση. Το πλεονέκτημα της χρήσης της μετα-ετικέτας robots είναι ότι μπορεί να αφαιρέσει πολλές διευθύνσεις URL από τις αναζητήσεις χωρίς να χρειάζεται να αλλάξει η ίδια η μετα-ετικέτα. αρχείο ρομπότ. Αυτή η μέθοδος είναι ιδανική για αρχάριους κατασκευαστές ιστοσελίδων που σταδιακά δημιουργούν νέες σελίδες.

Αυτή είναι επίσης μια εξαιρετική επιλογή όταν πρέπει να κλείσετε μια σελίδα από το ευρετήριο Yandex, αλλά να την αφήσετε διαθέσιμη στο Google. Ή όταν θέλετε να αφαιρέσετε ένα στοιχείο από την αναζήτηση, αλλά αφήστε τις πληροφορίες διαθέσιμες στον ίδιο τον ιστότοπο.

Ένα παράδειγμα κλεισίματος μιας διεύθυνσης URL μόνο για το Yandex:

Σπουδαίος!Η σύνταξη μετα-ετικέτες διαφέρει από την αλλαγή του robots.txt στο ότι με τη βοήθειά τους μπορείτε να αφαιρέσετε ένα αντικείμενο από την αναζήτηση, ακόμα κι αν υπάρχουν εξωτερικοί σύνδεσμοι προς αυτό. Αυτό διευκολύνεται από τη μετα-ετικέτα noindex. Ωστόσο, εάν ο ιστότοπός σας δεν έχει δημιουργηθεί στο Βασισμένο στο WordPress, τότε η διαδικασία θα είναι πιο περίπλοκη. Το γεγονός είναι ότι το WP έχει ένα ειδικό πρόσθετο Yoast SEO, το οποίο σας επιτρέπει να διαγράφετε σελίδες χρησιμοποιώντας μετα-ετικέτες.

συμπέρασμα

Εάν ξαφνικά χρειαστεί να αφαιρέσετε μια ξεχωριστή σελίδα του ιστότοπού σας από το ευρετήριο αναζήτησης, μπορείτε εύκολα να χρησιμοποιήσετε όλες τις μεθόδους που υποδεικνύονται σε αυτό το άρθρο. Επιλέξτε αυτό που σας βολεύει περισσότερο, αλλά και λάβετε υπόψη Χαρακτηριστικάκαθένα από αυτά. Γενικά, εάν θέλετε να κλείσετε ένα έγγραφο όσο το δυνατόν γρηγορότερα, χρησιμοποιήστε πολλές επιλογές ταυτόχρονα.

Οι σελίδες του ιστότοπου ενδέχεται να εξαφανιστούν από τα αποτελέσματα αναζήτησης Yandex για διάφορους λόγους:

• Σφάλμα κατά τη φόρτωση ή την επεξεργασία μιας σελίδας από ένα ρομπότ - εάν η απόκριση διακομιστή περιείχε κατάσταση HTTP 3XX, 4XX ή 5XX. Το εργαλείο θα σας βοηθήσει να εντοπίσετε το σφάλμα Έλεγχος της απόκρισης του διακομιστή .
• Η δημιουργία ευρετηρίου σελίδων απαγορεύεται στο αρχείο robots.txt ή η χρήση μετα-ετικέτας με την οδηγία noindex.
• Η σελίδα ανακατευθύνει το ρομπότ σε άλλες σελίδες.
• Η σελίδα αντιγράφει το περιεχόμενο μιας άλλης σελίδας.
• Η σελίδα δεν είναι κανονική.

Το ρομπότ συνεχίζει να επισκέπτεται σελίδες που εξαιρούνται από την αναζήτηση και ένας ειδικός αλγόριθμος ελέγχει την πιθανότητα εμφάνισης τους στα αποτελέσματα αναζήτησης πριν από κάθε ενημέρωση βάση αναζήτησης. Έτσι, η σελίδα μπορεί να εμφανιστεί σε αναζήτηση εντός δύο εβδομάδων αφότου το ρομπότ μάθει για την αλλαγή της.

Εάν έχετε επιλύσει τον λόγο για τη διαγραφή της σελίδας, υποβάλετε τη σελίδα για εκ νέου ανίχνευση. Αυτό θα ενημερώσει το ρομπότ για τις αλλαγές.

Ερωτήσεις και απαντήσεις σχετικά με σελίδες που εξαιρούνται από την αναζήτηση

Οι μετα-ετικέτες Περιγραφή, Λέξεις-κλειδιά και στοιχείο τίτλου συμπληρώνονται σωστά στη σελίδα η σελίδα πληροί όλες τις απαιτήσεις. Γιατί δεν είναι στην αναζήτηση;

Ο αλγόριθμος ελέγχει τις σελίδες του ιστότοπου όχι μόνο για την παρουσία όλων των απαραίτητων ετικετών, αλλά και για τη μοναδικότητα, την πληρότητα του υλικού, τη συνάφεια και τη συνάφειά του, καθώς και πολλούς άλλους παράγοντες. Ταυτόχρονα, θα πρέπει να δώσετε προσοχή στις μετα-ετικέτες. Για παράδειγμα, Μετα-ετικέτα περιγραφήςκαι το στοιχείο τίτλου μπορεί να δημιουργηθεί αυτόματα και να επαναλαμβάνεται το ένα το άλλο.

Εάν στον ιστότοπο ένας μεγάλος αριθμός απόΣχεδόν πανομοιότυπα προϊόντα που διαφέρουν μόνο ως προς το χρώμα, το μέγεθος ή τη διαμόρφωση ενδέχεται επίσης να μην περιλαμβάνονται στην αναζήτηση. Σε αυτή τη λίστα μπορείτε επίσης να προσθέσετε σελίδες σελιδοποίησης, επιλογή προϊόντων ή συγκρίσεις, σελίδες εικόνων που δεν έχουν περιεχόμενο κειμένου.

Οι σελίδες που εμφανίζονται ως εξαιρούμενες σελίδες ανοίγουν κανονικά στο πρόγραμμα περιήγησης. Τι σημαίνει;

Αυτό μπορεί να συμβεί για διάφορους λόγους:

• Οι κεφαλίδες που ζητά το ρομπότ από τον διακομιστή είναι διαφορετικές από τις κεφαλίδες που ζητούνται από το πρόγραμμα περιήγησης. Επομένως, οι εξαιρούμενες σελίδες μπορούν να ανοίξουν σωστά στο πρόγραμμα περιήγησης.
• Εάν μια σελίδα εξαιρεθεί από την αναζήτηση λόγω σφάλματος κατά τη φόρτωσή της, θα εξαφανιστεί από τη λίστα των εξαιρούμενων σελίδων μόνο εάν γίνει διαθέσιμη όταν γίνει ξανά πρόσβαση στο ρομπότ. Ελέγξτε την απόκριση του διακομιστήστη διεύθυνση URL που σας ενδιαφέρει. Εάν η απάντηση περιέχει την κατάσταση HTTP 200 OK, περιμένετε να επισκεφθεί ξανά το ρομπότ.

Η λίστα "Εξαιρούμενες σελίδες" εμφανίζει σελίδες που δεν βρίσκονται πλέον στον ιστότοπο. Πώς να τα αφαιρέσετε;

Στην ενότητα Σελίδες στην αναζήτηση, στη λίστα Εξαιρούμενες σελίδες, εμφανίζονται οι σελίδες στις οποίες είχε πρόσβαση το ρομπότ αλλά δεν ευρετηριάστηκε (μπορεί να είναι ήδη ανύπαρκτες σελίδες, εάν ήταν προηγουμένως γνωστά στο ρομπότ).

Μια σελίδα αφαιρείται από τη λίστα εξαιρούμενων εάν:

• είναι απρόσιτο στο ρομπότ για κάποιο χρονικό διάστημα.
• δεν αναφέρεται από άλλες σελίδες ιστότοπου ή εξωτερικές πηγές.

Η παρουσία και ο αριθμός των εξαιρούμενων σελίδων στην υπηρεσία δεν πρέπει να επηρεάζει τη θέση του ιστότοπου στα αποτελέσματα αναζήτησης.

Πολλοί webmasters, αργά ή γρήγορα, αντιμετωπίζουν την ανάγκη να αφαιρέσουν σελίδες ιστότοπου από τη μηχανή αναζήτησης που έφτασαν εκεί κατά λάθος, δεν είναι πλέον σχετικές, είναι διπλότυπες ή περιέχουν εμπιστευτικές πληροφορίες πελατών (μπορεί να υπάρχουν διαφορετικοί λόγοι). Ένα εντυπωσιακό παράδειγμα αυτού είναι η ήδη συγκλονιστική κατάσταση με το Megafon, του οποίου οι χρήστες SMS ευρετηριάστηκαν από το Yandex, η κατάσταση με τα ηλεκτρονικά καταστήματα, όταν μπορούσατε να βρείτε προσωπικές πληροφορίεςπελάτες και λεπτομέρειες των παραγγελιών τους, η κατάσταση με τις τράπεζες και μεταφορικές εταιρείεςκαι ούτω καθεξής…

Δεν θα θίξουμε τους λόγους για τα περιστατικά που περιγράφονται παραπάνω σε αυτό το άρθρο, αλλά θα εξετάσουμε τον τρόπο κατάργησης απαιτούμενες σελίδες. Υποτίθεται ότι ανήκουν στον ιστότοπό σας, διαφορετικά θα πρέπει να επικοινωνήσετε με τον ιδιοκτήτη τον απαιτούμενο πόρομε το αντίστοιχο αίτημα.

5 τρόποι για να αφαιρέσετε σελίδες από τα αποτελέσματα αναζήτησης

1. Σφάλμα 404

Ενας από απλούς τρόπουςΗ διαγραφή μιας σελίδας από την αναζήτηση σημαίνει τη διαγραφή της από τον ιστότοπό σας, με την προϋπόθεση ότι στο μέλλον, κατά την πρόσβαση στην παλιά διεύθυνση, ο διακομιστής δημιούργησε ένα σφάλμα 404, που σημαίνει ότι η σελίδα δεν υπάρχει.

HTTP/1.1 404 Δεν βρέθηκε

ΣΕ σε αυτήν την περίπτωσηθα πρέπει να περιμένετε μέχρι το ρομπότ να επισκεφθεί ξανά τη σελίδα. Μερικές φορές αυτό απαιτεί σημαντικό χρόνο, ανάλογα με το πώς μπήκε στον δείκτη.

Εάν μια σελίδα πρέπει να υπάρχει στον ιστότοπο όταν αφαιρείται από την αναζήτηση, τότε αυτή τη μέθοδοδεν ταιριάζει, είναι καλύτερο να χρησιμοποιήσετε άλλα που παρουσιάζονται παρακάτω.

2. Αρχείο Robots.txt

Μια πολύ δημοφιλής μέθοδος είναι να κλείσετε ολόκληρες ενότητες από την ευρετηρίαση ή μεμονωμένες σελίδεςαυτή είναι η χρήση ριζικό αρχείο robots.txt. Υπάρχουν πολλά εγχειρίδια για το πώς να ρυθμίσετε σωστά αυτό το αρχείο. Εδώ δίνουμε μόνο μερικά παραδείγματα.

Κλείστε την ενότητα του πίνακα διαχειριστή ώστε να μην περιλαμβάνεται στο ευρετήριο της μηχανής αναζήτησης:

User-Agent: *
Απαγόρευση: /admin/

Κλείσε συγκεκριμένη σελίδααπό την ευρετηρίαση:

User-Agent: *
Disallow: /my_emails.html # κλείσιμο της σελίδας my_emails.html
Disallow: /search.php?q=* # κλείσιμο σελίδων αναζήτησης

Στην περίπτωση του robots.txt, θα πρέπει επίσης να περιμένετε για την εκ νέου δημιουργία ευρετηρίου έως ότου το ρομπότ αφαιρέσει μια σελίδα ή μια ολόκληρη ενότητα από το ευρετήριο. Ταυτόχρονα, ορισμένες σελίδες ενδέχεται να παραμείνουν στο ευρετήριο, εάν ο λόγος που έφτασαν εκεί οφειλόταν σε πολλούς εξωτερικούς συνδέσμους.

Αυτή η μέθοδος δεν είναι βολική για χρήση εάν πρέπει να αφαιρέσετε διαφορετικές σελίδεςαπό διαφορετικές ενότητες, εάν είναι αδύνατο να δημιουργηθεί ένα κοινό πρότυπο για την οδηγία Disallow στο robots.txt.

3. Meta robots tag

Αυτή είναι μια εναλλακτική στην προηγούμενη μέθοδο, μόνο ο κανόνας ορίζεται απευθείας στον κώδικα HTML της σελίδας, μεταξύ των ετικετών .

Η ευκολία της μετα-ετικέτας είναι ότι μπορεί να προστεθεί σε όλες τις απαραίτητες σελίδες (χρησιμοποιώντας το σύστημα διαχείρισης), οι οποίες δεν είναι επιθυμητό να συμπεριληφθούν στο ευρετήριο της μηχανής αναζήτησης, ενώ αφήνει το αρχείο robots.txt απλό και κατανοητό. Ελάττωμα αυτή τη μέθοδομόνο ότι είναι δύσκολο να το εφαρμόσετε για έναν δυναμικό ιστότοπο χρησιμοποιώντας ένα πρότυπο header.tpl, εάν δεν έχετε ειδικές δεξιότητες.

4. X-Robots-Tag Headers

Αυτή η μέθοδος χρησιμοποιείται από ξένους μηχανές αναζήτησης, συμπεριλαμβανομένης της Google, ως εναλλακτική στην προηγούμενη μέθοδο. Η Yandex δεν έχει ακόμη επίσημες πληροφορίες σχετικά με την υποστήριξη αυτής της κεφαλίδας http, αλλά ίσως θα το κάνει στο εγγύς μέλλον.

Η ουσία της χρήσης του μοιάζει πολύ με τη μετα-ετικέτα robots, με τη διαφορά ότι η καταχώρηση πρέπει να είναι σε κεφαλίδες http, οι οποίες δεν είναι ορατές στον κώδικα της σελίδας.

X-Robots-Tag: noindex, nofollow

Σε ορισμένες, συχνά ανήθικες, περιπτώσεις, η χρήση του είναι πολύ βολική (για παράδειγμα, κατά την ανταλλαγή συνδέσμων και την απόκρυψη της σελίδας ένδειξης σφαλμάτων συνδέσμων).

5. Μη αυτόματη αφαίρεση από τον πίνακα webmaster

Επιτέλους το τελευταίο και το πιο γρήγορος τρόποςΗ κατάργηση σελίδων από το ευρετήριο σημαίνει μη αυτόματη διαγραφή τους.

Η μόνη προϋπόθεση για χειροκίνητη αφαίρεσησελίδες - πρέπει να κλείσουν από το ρομπότ με προηγούμενες μεθόδους (στο robots.txt, μετα-ετικέτα ή σφάλμα 404). Έχει παρατηρηθεί ότι η Google επεξεργάζεται αιτήματα διαγραφής εντός αρκετών ωρών, ενώ η Yandex θα πρέπει να περιμένει επόμενη ενημέρωση. Χρησιμοποιήστε αυτήν τη μέθοδο εάν πρέπει επειγόντως να αφαιρέσετε έναν μικρό αριθμό σελίδων από την αναζήτησή σας.

Η βελτίωση της χρηστικότητας των 404 σελίδων μειώνει τα ποσοστά εγκατάλειψης. Το άρθρο παρέχει πολλές συμβουλές που θα σας βοηθήσουν να κάνετε τη σελίδα 404 πιο αποτελεσματική.

Όλα για το αρχείο robots.txt
Για όσους δεν έχουν αντιμετωπίσει ακόμα τη ρύθμιση του αρχείου robots.txt, αυτόν τον πόροθα ήταν ένα χρήσιμο σημείο εκκίνησης. Υπάρχουν πολλά παραδείγματα και άλλες χρήσιμες πληροφορίες που συλλέγονται εδώ.

Yandex: Χρήση robots.txt
Επίσημα παραδείγματα χρήσης του αρχείου robots.txt από το Yandex. Οδηγίες και άλλες συμβουλές που λαμβάνονται υπόψη από την Yandex παρουσιάζονται επίσης εκεί.

Ένα παράδειγμα χρήσης της κεφαλίδας HTTP X-Robots-Tag στον Apache.

Απελευθερώσαμε καινούργιο βιβλίο«Μάρκετινγκ περιεχομένου σε στα κοινωνικά δίκτυα: Πώς να μπείτε στο μυαλό των συνδρομητών σας και να τους κάνετε να ερωτευτούν την επωνυμία σας."

Οποιοσδήποτε webmaster αργά ή γρήγορα μπορεί να χρειαστείαφαιρέστε τον ιστότοπο από τη μηχανή αναζήτησηςή διαγράψτε μία σελίδα . Αν και το θέμα μπορεί να φαίνεται απλό, υπάρχουν κάποιες επιπλοκές που προκύπτουν. Για παράδειγμα, όταν κάνετε κλικ στο κουμπί "διαγραφή" στον πίνακα webmaster, το Yandex μπορεί να απαντήσει "Δεν υπάρχουν λόγοι για διαγραφή". Αλλά μόνο ο webmaster έχει τον έλεγχο της τύχης των σελίδων.

Ας το καταλάβουμε.

Πώς να αφαιρέσετε περιττές σελίδες από την αναζήτηση;

Αρχικά, ας δούμε πώς μπαίνει ο ιστότοπος στην αναζήτηση.

Ας υποθέσουμε ότι δημιουργήσατε τον ιστότοπό σας, τον γεμίσατε με περιεχόμενο και κάνατε κάποια βελτιστοποίηση. Περιμένετε να έρθει το ρομπότ της μηχανής αναζήτησης και να ανιχνεύσει τον ιστότοπό σας. Η σάρωση ενός ιστότοπου σημαίνει ότι το ρομπότ θα κοιτάξει τον ιστότοπό σας και θα θυμάται περί τίνος πρόκειται, χονδρικά μιλώντας. Μετά την ανίχνευση του ιστότοπου, περιλαμβάνεται στο ευρετήριο. Με άλλα λόγια, ο ανιχνευμένος ιστότοπος καταλήγει στα αποτελέσματα των μηχανών αναζήτησης.

Για να διαχειριστείτε την ευρετηρίαση των σελίδων στον ιστότοπό σας, πρέπει να πληροίτε τις ακόλουθες προϋποθέσεις:

1. Έχετε καταχωρήσει τον ιστότοπό σας στο Yandex.Webmaster και έχετε πρόσβαση στον πίνακα webmaster.
2. Ο ιστότοπος διαθέτει αρχείο robot.txt.

Μεταβείτε στο Yandex.Webmaster. Για να το κάνετε αυτό, πρέπει να εισαγάγετε το Yandex Webmaster στην αναζήτηση ή να ακολουθήσετε τον άμεσο σύνδεσμο.

Επιλέξτε την καρτέλα "Οι ιστότοποί μου". Εάν έχετε περισσότερους από έναν, θα εμφανιστεί μια λίστα με τους ιστότοπούς σας, εδώ επιλέξτε τον ιστότοπο που θέλετεαφαιρέστε από την αναζήτηση

Στη γραμμή διαφανειών στα δεξιά, βρίσκουμε τον σύνδεσμο "Διαγραφή URL".

Εισαγάγετε τον σύνδεσμο προς τη σελίδα στη φόρμα και κάντε κλικ στο "διαγραφή". Η Yandex πιστεύει ότι γνωρίζετε την ακριβή διεύθυνσητη σελίδα που θέλετε να διαγράψετε. Υποτίθεται ότι η σελίδα που εισαγάγατε θα διαγραφεί και αυτό είναι. Αλλά αυτό δεν λειτουργεί πάντα. Τις περισσότερες φορές αυτό συμβαίνει επειδή το url που καταχωρίσατε στη φόρμα δεν ταιριάζει με τη διεύθυνση της σελίδας που θέλετεαφαιρέστε από την αναζήτηση Yandex.

Πώς να μάθετε την ακριβή διεύθυνση URL μιας σελίδας;

Για να μάθετε τις διευθύνσεις όλων των ευρετηριασμένων σελίδων του ιστότοπου στο Yandex υπάρχει ειδική ομάδα"πλήθος". Στη γραμμή αναζήτησης πρέπει να γράψετε "host:site.ru". Ιστότοπος – εδώ γράφουμε τη διεύθυνση του ιστότοπού σας. Μετά την εκτέλεση αυτής της εντολής, εμφανίζεται μια λίστα με όλες τις ευρετηριασμένες σελίδες του εισαγόμενου ιστότοπου.

Τι γίνεται αν υπάρχουν περισσότερες σελίδες στα αποτελέσματα αναζήτησης από αυτές που υπάρχουν στον ιστότοπο;

Εάν υπάρχουν περισσότερες σελίδες στα αποτελέσματα αναζήτησης από αυτές που υπάρχουν στον ιστότοπό σας, αυτό σημαίνει ότι ορισμένες σελίδες έχουν διπλότυπες - αυτός είναι ένας από τους πιο συνηθισμένους λόγους. Υπάρχουν δύο λύσεις για την κατάργηση τέτοιων σελίδων:

• Κλείσιμο στο robots.txt και στο ίδιο το Yandex με την πάροδο του χρόνουθα διαγραφεί περιττές σελίδεςαπό αναζήτηση. Αλλά αυτό μπορεί να πάρει πολύ χρόνο.
• Καταργήστε τα διπλότυπα με μη αυτόματο τρόπο.

Ωστε να αφαιρέστε μια σελίδα από την αναζήτηση Yandexχειροκίνητα:

1. Πηγαίνουμε στη σελίδα (διπλό).
2. Αντιγράφουμε τη διεύθυνσή της.
3. Μεταβείτε στο Yandex Webmaster.
4. Κάντε κλικ στο "Οι ιστότοποί μου".
5. Επιλέξτε την τοποθεσία που θέλετε.

Κάντε κλικ στο «Διαγραφή διεύθυνσης URL» στη γραμμή διαφανειών και εισαγάγετε τη διεύθυνση της διπλότυπης σελίδας στη φόρμα.

Μπορεί να δείτε ένα μήνυμα όπως αυτό:

Τι να κάνετε σε αυτή την περίπτωση; Αυτό το μήνυμασηματοδοτεί ότι η σελίδα δεν έχει αποκλειστεί από την ευρετηρίαση στο robots.txt ή ότι δεν υπάρχει παράμετρος noindex. Κλείστε το και δοκιμάστε ξανά. Εάν όλα γίνονται σωστά, θα δείτε ένα τέτοιο μήνυμα.

"Η διεύθυνση URL προστέθηκε στην ουρά διαγραφής." Είναι δύσκολο να πούμε πόσο χρόνο θα διαρκέσει η αφαίρεση μπορεί να εξαρτάται τόσο από τον αριθμό των σελίδων στον ιστότοπο όσο και από το ίδιο το Yandex.

Μοιραστείτε αυτό το άρθρο:

Αποκτήστε μια επαγγελματική εξωτερική οπτική για το έργο σας

Οι ειδικοί του στούντιο της SEMANTICA θα πραγματοποιήσουν μια ολοκληρωμένη ανάλυση του ιστότοπου σύμφωνα με το ακόλουθο σχέδιο:

– Τεχνικός έλεγχος.
– Βελτιστοποίηση.
– Εμπορικοί παράγοντες.
- Εξωτερικοί παράγοντες.

Δεν λέμε μόνο ποια είναι τα προβλήματα. Βοηθάμε στην επίλυσή τους

Ας περάσουμε κατευθείαν από τα λόγια στην πράξη. Για να καταργήσετε διευθύνσεις URL από τα αποτελέσματα αναζήτησης στο Google, πρέπει να επικοινωνήσετε με την υπηρεσία webmaster και να μάθετε σε ποιες περιπτώσεις πρέπει να χρησιμοποιήσετε την υπηρεσία - καταργήστε διευθύνσεις URL και σε ποιες περιπτώσεις όχι:

Πρώτα από όλα, θέλω να σας προειδοποιήσω ότι τι γίνεται αν έχετε σχόλια δέντρων, .Πριν καταργήσετε τις παραμέτρους URL και αποτρέψετε εντελώς την πρόσβαση του προγράμματος ανίχνευσης εσωτερικούς συνδέσμουςσελίδες που περιέχουν: /?replytocom= πρέπει να αφαιρεθούν από τα αποτελέσματα αναζήτησης - αυτές οι σελίδες που περιέχουν /?replytocom= .

Για κατάργηση διεύθυνσης URLδιευθύνσεις από τη μηχανή αναζήτησης Αποτελέσματα Googleπρέπει να πάτε στη διεύθυνση https://www.google.com/webmasters/tools/, επιλέξτε τιμή -βελτιστοποίηση -> κατάργηση διευθύνσεων URL:

Εάν πρώτα διαγράψετε τις παραμέτρους URL, τότε όταν επικοινωνήσετε με την υπηρεσία καταργήστε διευθύνσεις URL από τα αποτελέσματα αναζήτησης Google, θα εμφανιστεί το ακόλουθο παράθυρο, υποδεικνύοντας έτσι ότι έχετε ήδη εισέλθει replytocom στις παραμέτρους URL.Κάντε κλικ - αποστολή αιτήματος και διαγράψτε την απαιτούμενη διεύθυνση URL σελίδας:

Αφού διαγράψετε μια διεύθυνση URL, μπορείτε να δείτε μια λίστα με διαγραμμένες σελίδες:

Όπου το βέλος δείχνει το κουμπί "αναμονή", όταν κάνετε κλικ σε αυτό, θα εμφανιστεί μια λίστα επιλογών που περιλαμβάνει "διαγράφηκε" - μπορείτε να ελέγξετε εάν η διεύθυνση έχει διαγραφεί επικολλώντας αυτήν τη διεύθυνση URL στη γραμμή του προγράμματος περιήγησης.

Όταν ΔΕΝ πρέπει να χρησιμοποιήσετε ένα εργαλείο αφαίρεσης URL

Το εργαλείο αφαίρεσης URL έχει σχεδιαστεί για επείγουσα κατάργηση σελίδων, για παράδειγμα, σε περιπτώσεις όπου κατά λάθος περιέχουν ευαίσθητα δεδομένα. Η χρήση αυτού του εργαλείου για σκοπούς άλλους από τον προορισμό του μπορεί να έχει ως αποτέλεσμα αρνητικές επιπτώσειςγια τον ιστότοπό σας.

Μην χρησιμοποιείτε το εργαλείο αφαίρεσης URL στις ακόλουθες περιπτώσεις:

• Για να αφαιρέσετε τα "σκουπίδια", όπως παλιές σελίδες που εμφανίζουν σφάλμα 404 Εάν έχετε αλλάξει τη δομή του ιστότοπού σας και ορισμένες διευθύνσεις URL Ευρετήριο Googleαπαρχαιωμένος, ρομπότ αναζήτησηςθα το εντοπίσει και θα τις ανιχνεύσει ξανά και οι παλιές σελίδες θα αποκλείονται σταδιακά από τα αποτελέσματα αναζήτησης. Δεν χρειάζεται να ζητήσετε επείγουσα αφαίρεση.

• Για να καταργήσετε σφάλματα ανίχνευσης από τον λογαριασμό σας στα Εργαλεία για Webmasters.Το Εργαλείο κατάργησης διευθύνσεων URL εξαιρεί διευθύνσεις URL από τα αποτελέσματα αναζήτηση Google, και όχι από τον λογαριασμό σας στα Εργαλεία για Webmasters. Δεν χρειάζεται να καταργήσετε μη αυτόματα διευθύνσεις URL από αυτήν την αναφορά. Με την πάροδο του χρόνου θα αποκλείονται αυτόματα.

• Για να δημιουργήσετε έναν ιστότοπο από την αρχή.Εάν ανησυχείτε ότι ο ιστότοπός σας ενδέχεται να υπόκειται σε κυρώσεις ή θέλετε να ξεκινήσετε από την αρχή μετά την αγορά ενός τομέα από τον προηγούμενο κάτοχο, σας συνιστούμε να υποβάλετε ένα αίτημα εκ νέου επαλήθευσης με λεπτομέρειες για τις αλλαγές που έχετε κάνει και γιατί ανησυχείτε .

• Για να μεταφέρετε τον ιστότοπο στο λειτουργία εκτός σύνδεσηςμετά το χακάρισμα.Εάν ο ιστότοπός σας έχει παραβιαστεί και θέλετε να αφαιρέσετε σελίδες με κακόβουλο κώδικα από το ευρετήριο, χρησιμοποιήστε ένα εργαλείο αφαίρεσης URL για να αφαιρέσετε νέες διευθύνσεις URL που δημιουργήθηκαν από τον εισβολέα, όπως http://www.example.com/buy-cheap-cialis -skq3w598.html. Ωστόσο, δεν συνιστούμε να διαγράψετε όλες τις σελίδες σε έναν ιστότοπο ή τις διευθύνσεις URL που θα χρειαστεί να ευρετηριαστούν στο μέλλον. Αντίθετα αφαιρέστε κακόβουλος κώδικας, προς την Ρομπότ της Googleμπορεί να έχει ανιχνεύσει ξανά τον ιστότοπό σας. Διαβάστε περισσότερα σχετικά με την εργασία με παραβιασμένους ιστότοπους...

• Για ευρετηρίαση σωστή έκδοσηη ιστοσελίδα σου.Σε πολλούς ιστότοπους μπορείτε να βρείτε το ίδιο περιεχόμενο από διαφορετικές διευθύνσεις URL. Εάν δεν θέλετε να εμφανίζεται διπλότυπο περιεχόμενο στα αποτελέσματα αναζήτησης, ελέγξτε τις βέλτιστες πρακτικές για τον ορισμό κανονικών εκδόσεων σελίδων. Μην χρησιμοποιείτε το εργαλείο αφαίρεσης URL για να αφαιρέσετε ανεπιθύμητες εκδόσεις διευθύνσεων URL. Αυτό δεν θα σας βοηθήσει να εξοικονομήσετε χρήματα προτιμώμενη έκδοσησελίδες. Εξάλλου, όταν διαγράφετε μία από τις εκδόσεις URL (http/https, με ή χωρίς το πρόθεμα www), όλες οι άλλες θα διαγραφούν.

Για να αφαιρέσετε μια διεύθυνση URL από το Yandex, Πληκτρολογήστε μπαρα αναζήτησης http://webmaster.yandex.ua/delurl.xml, πληκτρολογήστε τη διεύθυνση και ακολουθήστε τις έξυπνες οδηγίες.