Οι καλύτερες πρακτικές για την ρύθμιση των Meta Robots Tags και του Robots.txt

Είναι πολύ σημαντικό να γνωρίζουμε το πως καταχωρεί τις σελίδες μια μηχανή αναζήτησης και να κάνουμε ότι καλύτερο για να τις βοηθήσουμε να κάνουν το γνωστό crawl και να καταχωρήσουν τα sites σωστά. Σε αυτή την προσπάθεια δίνουμε χρόνο και πόρους για την βελτιστοποίηση on-page και off-page, όπως το περιεχόμενο, συνδέσμους, tags, meta descriptions, βελτιστοποίηση εικόνων, δομή ιστοσελίδας και ούτω καθ’ εξής.

Αλλά όσο σημαντικά και βασικότατα να είναι όλα τα παραπάνω, δεν πρέπει να ξεχνάμε τα τεχνικά κομμάτια του SEO. Αν δεν έχετε ξανακούσει για το robots.txt, τα meta robots tags, τα XML sitemaps, τα microformats και τα X-Robot tags, τότε ίσως μπελάδες να έρχονται προς το μέρος σας.

Πιο κάτω θα σας αναλύσω το τι είναι και πως λειτουργούν robots.txt και τα meta robots tags!

Τι είναι το robots.txt?

Το robots.txt είναι ένα αρχείο κειμένου που περιέχει οδηγίες για τα bots των μηχανών αναζήτησης (ή αλλιώς θα τα ακούσετε crawlers, robots, ή spiders) για το πως θα προσπελάσουν (crawl) και θα καταχωρήσουν (index) της σελίδες του site σας. Συνήθως το τοποθετούμε στον αρχικό κατάλογο του site για να το διαβάσουν αμέσως τις οδηγίες του τα bots.

Για τις οδηγίες που περιέχει το αρχείο robots.txt, και να μπορεί να επικοινωνεί σωστά με τον κάθε crawler, έχει οριστεί το πρωτόκολλο Robots exclusion protocol (REP), που δημιουργήθηκε το 1994 και ανανεώθηκε το 1996, το 1997, και το 2005.

Μέσα σε όλα αυτά τα χρόνια, η δομή του αρχείου σταδιακά βελτιώθηκε για να υποστηρίζει συγκεκριμένα crawler directives, URI-pattern extensions, indexer directives (αλλιώς ονομάζονται REP tags ή robots meta tags), και το microformat rel=“nofollow.”.

Επειδή αυτό το αρχείο παρέχει όλες τις εντολές και τις οδηγίες για το πως θα γίνει ή οχι το crawl και σε ποια μέρη του website, είναι πολύ σημαντικό να γνωρίζει κανείς να τα χρησιμοποιεί και να μπορεί να τα ρυθμίσει.

Οπότε όταν θέλετε να ελεγξετε το robots.txt που φτιάξατε, μπορείτε να πάτε εδώ Google’s robots texting tool. Και μην ξεχνάτε ότι αν αυτό λειτουργεί σωστά, θα βελτιώσει πάρα πολύ την indexing διαδικασία.

Τι μπορείτε να κρύψετε με το robots.txt

Μπορείτε να απομονώσετε και να κρύψετε συγκεκριμένους καταλόγους, κατηγορίες και σελίδες από τις μηχανές αναζήτησης. Για αυτό το λόγο υπάρχει το “disallow”.

Για παράδειγμα θα έπρεπε να κρύψετε σελίδες όπως:

• Σελίδες με διπλότυπο περιεχόμενο (duplicate content)
• Σελίδες σελιδοποίησης (Pagination pages)
• Σελίδες λογαριασμών
• Σελίδες διαχείρισης
• Το καλάθι αγορών
• Chats

Και θα ήταν κάπως έτσι:

Αλλά μην ξεχνάτε ότι το robots.txt είναι δημόσια προσβάσιμο. Αν απλά πατήσετε

Κάτι που σημαίνει ότι δεν μπορείτε να κρύψετε ή να φυλάξετε δεδομένα εκεί μέσα. Επίσης, κακόβουλα robots μπορούν να χρησιμοποιήσουν το robots.txt και έτσι να έχουν ένα λεπτομερή χάρτη της ιστοσελίδας σας.

Σημαντικό είναι να γνωρίζετε ότι οι οδηγίες που περιέχονται σε αυτό το αρχείο δεν είναι εντολές. Το οποίο σημαίνει ότι οι crawlers μπορούν να προσπέλασουν οτιδήποτε, είτε το αναφέρετε να μην το κάνει είτε όχι. Αλλά οι μεγαλύτερες μηχανές αναζήτησης σέβονται (like Google, Bing, Yahoo, and Yandex) τις οδηγίες του robots.txt.

Αν και έχει διάφορα μειονεκτήματα, είναι αναπόσταστο κομμάτι της SEO καμπάνιας.

Πως να το χρησιμοποιήσετε

Το robots.txt είναι αρκετά ευέλικτο και μπορεί να χρησιμοποιηθεί με πολλούς τρόπους. Το κυριότερο όμως είναι ότι μπορεί να επιτρέψει (allow) ή να αποκλείσει (disallow) την προσπέλαση πολλών σελίδων με μία μόνο οδηγία, χωρίς να χρειάζεται να αποκτήσει πρόσβαση στον κώδικα κάθε σελίδας.

Για να αποκλείσει κανείς εντελώς τους crawlers:

Και για να αποκρύψει συγκεκριμένους καταλόγους και συγκεκριμένες κατηγορίες:

Αρκετές φορές είναι αναγκαίο να αποκλείσουμε πολλές σελίδες μαζί. Φτιάχνοντας μία λίστα όπως παρακάτω, θα γίνουν “αόρατες” για τις μηχανές αναζήτησης:

What’s more important, though, is that a robots.txt file allows you to prioritize certain pages, categories, and even bits of CSS and JS code. Have a look at the example below:

Πρέπει να προσέξει κανείς να μην εμποδίσει τους crawlers από το να προσπελάσει αρχεία js και css, γιατί παίζουν ρόλο για το πως βλέπουν οι μηχανές το site σας. Για παράδειγμα, για τον έλεγχο του mobile-friendliness είναι απολύτως απαραίτητα. Δείτε και το άρθρο του Moz που τα εξηγεί πιο αναλυτικά. useful code

Μια ακόμη σημαντική λειτουργία είναι ότι στο τέλος του αρχείου μπορούμε να δηλώσουμε που βρίσκεται το sitemap.xml:

Επίσης, μπορεί κανείς να προσθέσει χειροκίνητα το robots.txt του στο Google Search Console ή στο Bing Webmaster Tools, για να προστατέψει από αντιγραφές το περιεχόμενο του.

Τέλος, αν και η δομή του robots.txt είναι αρκετά απλή, καλό θα ήταν να ελέγξετε καλά τις οδηγίες που έχετε βάλει, γιατί ένα λάθος θα μπορούσε να καταστρέψει όλη την SEO στρατηγική σας. Πολύ εύκολα θα μπορούσε κανείς να κάνει “Disallow” ολόκληρο το site του κατά λάθος, και να περιμένει άσκοπα organic traffic.

Τι είναι τα Robots Tags?

Τα Meta robots tags (REP tags) είναι στοιχεία ενός indexer directive που λέει στους crawlers πως να προσπελάσουν και να καταχωρύσουν συγκεκριμένες σελίδες του ιστοτόπου. Δίνουν την δυνατότητα να στοχεύσουμε μεμονωμένες σελίδες και να καθοδηγήσουμε τους crawlers για το τι να ακολουθήσουν (follow) ή όχι.

Πως χρησιμοποιούμε τα Meta Robots Tags?

Τα Meta robots tags είναι πάρα πολύ απλά για να τα χρησιμοποιήσουμε.

Πρώτα απ’ όλα δεν υπάρχουν πολλά τέτοια tags. Υπάρχουν 4 κύριες παράμετροι: Follow, Index, Nofollow, Noindex.

Και δεν παίρνει πολύ χρόνο για να ρυθμιστούν. Το μόνο που χρειάζεστε, είναι πρόσβαση στο της σελίδας και να προσθέσετε το tag που χρειάζεστε. Για παράδειγμα:

Και το βασικότερο, τα meta robots tags αναγνωρίζονται από όλες τις μεγάλες μηχανές αναζήτησης, Google, Bing, Yahoo και Yandex. Κατά κύριο λόγο δεν χρειάζεται να κάνετε κάτι διαφορετικό για την κάθεμια διαφορετικά, ή για τον κάθε browser διαφορετικά.

Οι κύριοι Meta Robots Tags παράμετροι

Όπως είπαμε πιο πάνω, υπάρχουν 4 κύριες παράμετροι: Follow, Index, Nofollow, Noindex. Και χρησιμοποιούνται έτσι:

• index, follow: επιτρέπει στα bots να καταχωρύσουν την σελίδα και ακολουθούν τους συνδέσμους της
• noindex, nofollow: δεν επιτρέπει να καταχωρυθεί η σελίδα ούτε να ακολουθηθούν οι σύνδεσμοι της
• index, nofollow: επιτρέπει στα bots να κατοχυρώσουν την σελίδα αλλά δεν θα ακολουθήσουν τους συνδέσμους της
• noindex, follow: δεν επιτρέπει να καταχωρυθεί η σελίδα αλλά ακολουθούνται οι σύνδεσμοι

REP tag parameters vary. Here are some of the rarely used ones Εκτός από αυτούς υπάρχουν και κάποιοι που χρησιμοποιούνται σπάνια, όπως: none, noarchive, nosnippet, unavailabe_after, noimageindex, nocache, noodp, notranslate.

Εάν έχετε κάποιο CMS (OpenCart,PrestaShop) ή έχετε κάποιο plugin (π.χ. WP Yoast), μπορείτε να προσθέσετε meta tags και τις παράμετρους τους απ’ευθείας στο πρότυπο των σελίδων (page template). Αυτό επιτρέπει να κάνετε τις αλλαγές σας σε πολλές σελίδες με την μία.

Βασικοί Κανόνες

Ένας λάθος σε κάτι από τα παραπάνω μπορεί να διαλύσει ολόκληρη την SEO στρατηγική. Πολλοί έχουν κάνει κάποιο λάθος στο robots.txt και απέκλεισαν όλο ή μέρος του site τους και έγινε άφαντο στις αναζητήσεις, ή κάποιοι έκαναν κατάχρηση του “nofollow” που έχασαν κάποια backlinks.

Υπάρχουν και κάποιοι βασικοί κανόνες που μπορούν να μας βοηθήσουν.

Robots.txt

1. Μπαίνει στον κεντρικό κατάλογο του site για να είναι άμεσα προσβάσιμο
2. Η δομή του είναι: User-agent → Disallow → Allow → Host → Sitemap
3. Κάθε URL που θέλουμε να συμπεριλάβουμε είτε με “Allow:” είτε με “Disallow:” μπαίνει σε ξεχωριστή γραμμή.
4. Το όνομα του αρχείου είναι με μικρά γράμματα “robots.txt”. Είναι καλύτερα από το να έχουμε “Robots.TXT”. Τα ονόματα των αρχείων είναι case sensitive (διάκριση πεζών-κεφαλαίων).
5. Μην διαχωρίσετε τις παραμέτρους με κενό. Για παράδειγμα, αν βάλετε σε μία γραμμή “/pc/ /graphics-card/” θα δημιουργήσει λάθη στο robots.txt
6. Αποδεκτοί ειδικοί χαρακτήρες είναι οι * και $, όλοι οι υπόλοιποι δεν αναγνωρίζονται
7. Για ξεχωριστα subdomains, βάζουμε και ξεχωριστά robots.txt
8. Για σχόλια βάζουμε στην αρχή της γραμμής τον χαρακτήρα #
9. Για κανένα λόγο δεν στηριζόμαστε σε αυτό το αρχείο για την ενίσχυση της ασφάλειας του site

Meta Robots Tags

1. Οι παράμετροι δεν είναι case sensitive, οι μηχανές αναζήτησης αναγνωρίζουν τις παραμέτρους και τις τιμές τους είτε με μικρά είτε με κεφαλαία, αλλά καλό θα ήταν να κρατήσετε μία μορφή για να είναι πιο ευανάγνωστος ο κώδικας.
2. Αποφύγετε τα πολλάtags, για να αποφύγετε και προβλήματα μέσα στον κώδικα. Βάλτε τις τιμές σε ένα tag:.
3. Μην βάζετε αντικρουόμενα tags σε μια σελίδα. Αν έχετε σε μια γραμμήκαι πιο κάτω αυτή, μόνο το “nofollow” θα ακολουθηθεί. Τα robots βάζουν σε πρώτη προτεραιότητα τις περιοριστικές οδηγίες.

 

Βασικός κανόνας είναι ότι πρώτη προτεραιότητα έχουν οι περιοριστικές οδηγίες. Αν για κάποιο URL έχουμε δώσει στο robots.txt την οδηγία “Allow:” αλλά έχουμε και το meta tag “noindex”, τότε τα bots δεν θα την καταχωρήσουν.

Αν βέβαια θελήσουμε να δώσουμε οδηγίες σε συγκεκριμένο bot, για παράδειγμα στο googlebot, από το robots.txt έχουμε User-agent: googlebot, και με τα meta tags, .

To Search Engine Optimization δεν είναι μόνο αναζήτηση και ανάλυση των keywords, του traffic, των links και του περιεχομένου. Υπάρχει και το τεχνικό κομματι που είναι εξίσου σημαντικό όπως είδαμε.

Μοιραστείτε το άρθρο