Sélectionner une page
Publié par Olivier Andrieu | 18 Oct 2022 | | Temps de lecture : 8 minutes
Lorsqu’on met en place un nouveau site web ou dans le cadre d’une refonte/migration, on utilise la plupart du temps un site de test (appelé « préprod » pour pré-production, donc avant la mise en production) sur lequel on vérifie que tout se passe bien. Et une fois que tout est OK, on bascule ce site vers le site réel, dit « de production ».
Bien évidemment, ce site de préprod n’a pas vocation à être indexé par les moteurs de recherche comme Google ou Bing. Pourtant, cela arrive parfois, à cause d’un bug ou d’une erreur humaine. Il faut donc corriger cela et désindexer ce site intrus, mais cela ne se fait pas obligatoirement très simplement. Bref, il faut suivre une procédure.
Cette semaine, nous allons déjà voir, dans un premier temps, ce qu’il faut faire au départ, lors de la création de ce site de préprod, afin de le protéger de la visite des robots des moteurs. La semaine prochaine, nous verrons comment faire si cela n’a pas été mis en place au départ et si le site de préprod se retrouve dans les SERP.
Vous en saurez donc plus à ce sujet en regardant cette vidéo numéro 229 :
Oops, mon site de préprod est indexé, comment faire ? – Vidéo N°229 proposée par Olivier Andrieu (Abondance). Source : Abondance
« Bonjour et bienvenue dans cette 229ème vidéo Abondance dans laquelle je voulais vous parler d’un sujet dont on entend souvent parler sur les réseaux sociaux d’une façon générale et sur lequel j’ai pas mal de questions : lorsqu’on a un site de test, un site de “préprod” – je vais expliquer ce que c’est – lorsqu’il se retrouve à un moment donné, par erreur le plus souvent, indexé par les moteurs de recherche, comment faire pour réagir et le faire sortir de Google Bing et autres ?
Déjà, qu’est-ce qu’un site de préprod ? C’est un site de pré-production. Vous avez bien sûr un site web qui va être en production : www.exemple.fr ici et vous allez avoir un site de test, un site sur lequel vous allez faire tous les tests pour vérifier que ce que vous voulez mettre en place plus tard fonctionne bien et il sera nommé preprod.exemple.fr ou test.exemple.fr ou v4.exemple.fr, vous lui donnez l’adresse que vous voulez et une fois que ça fonctionne bien, que vous êtes sûr que ça fonctionne bien, vous le passez en production sur le site réel que les internautes verront. Évidemment, le site de pré-prod, ce site de test, on ne doit pas le voir indexé par les moteurs de recherche comme Google ou Bing. Vous pouvez tester la requête [allinurl:] sur les moteurs comme Google et vous allez trouver un certain nombre de sites de préprod, qui n’ont rien à faire là. Il y aura pas que des sites de pré-prod, puisque il y aura également des articles qui parlent des sites de pré-prod et tous les sites de préprod ne s’appellent pas “preprod point quelque chose” mais ça va vous permettre d’identifier quelques exemples. Un site de test, ça ne s’indexe pas sur Google donc à un moment donné il y a eu un bug ou une erreur et le site s’est retrouvé indexé et ça c’est pas bon.
Donc déjà dans un premier temps, et on verra les remèdes dans la vidéo de la semaine prochaine, dans un premier temps qu’est-ce qu’il faut faire pour que le site de pré-prod ne soit pas indexé, pour qu’on soit sûr que, à l’avenir, il ne soit pas indexé lorsqu’on le mettra en ligne ? Première chose, au niveau du site global, on va faire un fichier robots.txt donc l’adresse de votre site de preprod / robots.txt avec le contenu donc User-agent:* – je m’adresse à tous les robots – Disallow: / – il est interdit de crawler ce site. Donc déjà normalement, ça devrait suffire.
On va quand même assurer le coup parce que les moteurs ne lisent pas tout le temps le robots.txt, il peut y avoir un souci à ce niveau-là bref on va doubler avec une balise meta robot à “noindex” dans toutes les pages HTML donc meta robots content=noindex, là on est sûr que s’il y a un problème avec le robots.txt au moins il y a le noindex qui rentrera en ligne de compte.
Si vous avez des fichiers PDF ou Word ou Excel ou autre bref des fichiers qui ne sont pas HTML, vous pouvez utiliser la directive X-Robots-tag que vous allez mettre à noindex – voir la vidéo numéro 153 dans laquelle j’explique ce que c’est que ce X-robots-tag, cette directive du protocole HTTP. Alors voilà donc au niveau du site global, un robots.txt et au niveau de chaque élément du site du noindex, donc normalement là on est on est blindé.
On va quand même encore compléter, pourquoi pas enfin vous pouvez le faire en tout cas, en mettant un mot de passe sur le site. À ce moment-là c’est clair qu’il y a un mot de passe donc le robot n’a pas le mot de passe donc ça ne fonctionnera pas et le site ne sera pas indexé. Vous pouvez aussi faire une white list, c’est-à-dire n’autoriser au niveau du serveur l’accès au site que pour certaines adresses IP – les développeurs, enfin les gens qui ont logiquement accès à ce site. Si l’adresse IP n’est pas dans la white list, on ne peut pas accéder, on renvoie un message d’erreur type 403 ou autre.
Voilà donc vraiment il y a plein de choses qu’il est possible de faire, elles sont toutes complémentaires donc n’hésitez pas à le faire lorsque vous mettez en place un site de preprod. Ensuite que faire si un site de pré-prod a été indexé parce qu’il y a eu une erreur, il y a eu quelque chose qui s’est passé qui fait qu’on retrouve le site de préprod indexé, et je le répète c’est quelque chose qui arrive très très très très très souvent ? Vous le saurez la semaine prochaine puisque ce sera le sujet de la seconde vidéo. Si votre site de préprod a été indexé par erreur, quelle est la procédure à mettre en place – elle existe bien sûr ? Il faudra attendre une petite semaine pour avoir accès à la vidéo numéro 230 🙂
Merci donc pour avoir suivi cette vidéo, je vous engage à revoir déjà, en attendant celle de la semaine prochaine, un petit peu tout ce que ce dont j’ai parlé – c’est vraiment un échantillon des vidéos que j’ai faites déjà sur la désindexation, il y en a bien d’autres, donc n’hésitez pas à regarder tout ça sur le site Abondance. Merci de votre attention, rendez-vous la semaine prochaine pour la suite de cette vidéo, à très bientôt et merci pour votre fidélité. Merci et au revoir 🙂 »
Partager :
Note :
Merci Olivier,
Très enrichissant !
Bonjour, en faisant quelques recherches (notamment « allinurl:staging.*.fr »), on se rend assez vite compte du nombre de sites en préprod qui sont indexés (le site de cnews !).
Bonjour Olivier,
Merci d’avoir fait cette vidéo et aussi pour les explication.
En cas d’indexation massive de la préprod… Peut-on ajouter rapidement le ss-domaine préprod à la search console et demande une suppression en bulk du ss-domaine ?
Merci d’avance
Laurent
Oui, avec un compte « Domaine » si la preprod n’utilise pas un sous-domaine spécifique.
Laisser un commentaire (*** Cliquez ici pour lire la charte de saisie de commentaire ***)
Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *
La charte Abondance.com pour la soumission de commentaires est la suivante :
– Champ Nom : obligatoire. Seuls les noms de famille et/ou prénoms sont acceptés. Un commentaire n’est pas écrit par une entreprise, mais par une personne physique. Les textes d’ancre (sur)optimisés et les noms d’entreprises indiqués dans ce champ verront automatiquement l’URL associée supprimée et la mention [Anonyme] indiquée à cet endroit.
– Champ E-mail : obligatoire. L’adresse mail n’est pas affichée si le commentaire est validé.
– Champ Site web : facultatif. Uniquement affiché si le champ “Nom” contient le patronyme d’une personne (voir ci-dessus). Le mieux est certainement d’y indiquer l’URL de votre compte Facebook, Twitter ou Google+. Mais vous pouvez également y indiquer l’URL de votre site web (page d’accueil uniquement).
Merci !!!
Consultez le site Livre Référencement !
© Abondance | Toute l'actualité sur le SEO et les moteurs de recherche