Mauvaise surprise : votre site en construction est indexé par Google. Explications et corrections à mettre en place.

 

erreur indexation site développementUne erreur que l’on retrouve souvent sur les sites en cours de développement : les pages sont accessibles aux moteurs de recherche et se retrouvent indexées, alors qu’elles ne sont pas dans leur version finale.

Dans cet article, nous allons vous expliquer en quoi l’indexation des pages en construction pose problème et comment corriger le tir.

 

Pourquoi l’indexation d’un site en construction est problématique ?

Page en développement indexéeSi le site est indexé, cela veut dire qu’il a déjà été parcouru par Google et lui présente des contenus de mauvaise qualité. Si les textes et titles présents sur le site n’ont pas encore de rapport avec le site final, Google risque de le classer dans une thématique différente de celle visée.
Exemple : je veux lancer un site immobilier et, durant la phase de développement, je rajoute des contenus « test » reprenant la description de l’iPhone 6. Si Google l’indexe, il classera le site en tant que site de vente d’iPhones et non pas d’annonces immobilières. On part sur de mauvaises bases en référencement.

De la même manière, les internautes qui tomberaient sur votre site seraient perplexes et pourraient ne pas comprendre pourquoi cette version de site s’affiche (dans le cas d’une refonte par exemple).

De manière moins problématique, le site web archive.org, avec sa « Way back Machine » va archiver cette version du site ! Un référenceur, un webmaster ou un concurrent curieux pourraient donc remonter aux débuts de votre site et retrouver ses versions en construction, ce qui n’est pas très professionnel !

 

Comment prévenir le risque d’avoir un site en développement, ou en pré-production, indexé par Google ?

La solution pour éviter que son site se retrouve dans l’index de Google, alors qu’il est encore en construction, est de bloquer son indexation. Il existe plusieurs méthodes pour bloquer cette indexation.

L’utilisation d’un mot de passe

C’est la méthode la plus sécurisée.  Il suffit de mettre une restriction d’accès identifiant/mot de passe dans votre fichier .htaccess.  Les robots des moteurs de recherche n’ayant pas accès, ils ne pourront donc pas parcourir votre site web.

Passer par le robots.txt

C’est une méthode simple et peu compliquée. Il suffit de bloquer le parcours du site pour les moteurs de recherche dans le fichier robots.txt. Pour cela, une simple ligne « Disallow: / » suffira.

Cela donnera donc :
User-agent: *
Disallow: /

La limite de cette méthode ? Si un site externe fait un lien vers une de vos pages en développement, votre page pourra quand même être indexée. De la même manière, si Google a déjà indexé une page, bloquer l’indexation avec le robots.txt après coup n’aura pas d’incidence. Quand les contenus sont indexés, il faut demander la suppression de ces contenus à Google, sur Google Search Console.

Utiliser la balise Noindex

Pour la mettre en place, il faut rajouter sur toutes les pages du site en développement la balise <META NAME= »ROBOTS » CONTENT= »NOINDEX, NOFOLLOW »>.

Elle évite aux robots de parcourir la page et de l’indexer. C’est une excellente méthode, mais elle présente le risque d’oublier de supprimer cette balise lors de la mise en ligne du site. On se retrouve donc parfois avec des pages en ligne dont on interdit l’accès à Google. On perd toute chance de se référencer sur ces pages tant que la balise est toujours en place.

 

Comment corriger une indexation du site en construction ?

Corriger page en développement indéxéeTout d’abord, récupérez la liste des urls indexées avec la requête site:UrlDuSiteEnConstruction.com. Allez ensuite dans Google Search Console (> Index Google > Url à supprimer) et rajoutez vos urls à masquer temporairement.

Attention, dans le cas où la version en développement de votre site est sur le même domaine que votre future version quand elle sera en ligne, il faudra bien penser à faire supprimer les demandes d’urls à masquer et les faire indexer (Exploration -> Explorer comme Google. Ensuite faites explorer les urls à Google puis cliquez pour les envoyer pour indexation).

Astuce : vous pouvez également automatiser cette action en récupérant la liste des urls de la pré-production avec un crawler comme Screaming Frog SEO, puis en automatisant leur correction sur Google Search Console avec l’extension iMacros.

 

Ce billet vous a inspiré ? Vous avez des questions sur le sujet ou souhaitez-nous confier la résolution de ces problèmes ?
N’hésitez pas à nous en faire part en commentaire !

One thought on “Mauvaise surprise : votre site en construction est indexé par Google. Explications et corrections à mettre en place.

  • 7 avril 2016 à 14 h 00 min
    Lien Permanent

    Bonjour,
    Je dis cela très quand l’occasion se présente, et là je dois dire que c’est un très bel article. Les explications certes un peu technique mais sont très faciles à comprendre, tout en marquant les points importants dans la phase d’indexation. Les non- initiés sont souvent confrontés à ce genre de problème mais une fois les bases acquis: tout devient logique et simple.

    Merci pour l’article

    Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *