Comment désindexer n’importe quelle page, images ou fichier de Google en 2022 ? Voici les différentes astuces qui marchent.
Google l’a annoncé en 2019, la désindexation de pages, fichiers et groupes de pages par l’intermédiaire de la commande « Noindex: » du robots.txt n’est plus prise en compte par le moteur de recherche numéro 1 dans le monde (depuis le 1er Septembre 2019).
Voici donc un aperçu de toutes les alternatives à cette méthode simple de désindexation.
ATTENTION 1 : avant d’effectuer vous-même toute modification de votre site qui touche à l’indexation, je vous conseille vivement de vous entourer de professionnels (développeurs et référenceurs) pour éviter tout impact lourd sur votre site internet et votre activité. Ces techniques ne doivent dans l’idéal pas être gérées par des débutants.
ATTENTION 2 : l’indexation est à dissocier du crawl. En effet, si une page dispose d’une directive de non indexation, elle pourra toujours être crawlée par les moteurs de recherche. Ainsi, si votre objectif est d’économiser votre budget de crawl, vous devrez coupler vos directives de non indexation avec un blocage de ces mêmes pages (seulement après désindexation effective des pages) via le robots.txt.
Accès rapide (Sommaire) :
Le meta noindex est la méthode la plus utilisée par les webmasters, développeurs et référenceurs quand il s’agit de désindexer (ou d’empêcher l’indexation future) des pages web dans les moteurs de recherche comme Google. C’est aussi la méthode préférée des moteurs de recherche car supportée par l’intégralité d’entre eux.
De son côté, Google estime que c’est LA méthode la plus efficace de désindexation ou blocage d’indexation (qu’il s’agisse d’utiliser le meta noindex dans le code html ou via les entêtes http).
Très facile à mettre en place lorsque placée dans le code html, elle ne nécessite que peu de connaissances techniques mais doit être utilisée uniquement sur des pages que l’on souhaite voir désindexer sous peine de voir son référencement et son trafic drastiquement chuter !
Sur les pages que vous souhaitez voir bloquées à l’indexation ou retirées de l’index de Google, il vous faudra donc ajouter ce code simple dans la partie <head> de votre page web :
Vous Souhaitez Recevoir Nos Meilleurs Articles ?
(Vous pourrez vous désinscrire à tout moment.)
Si vous souhaitez uniquement bloquer l’indexation pour Google, vous pouvez le faire avec une directive de ce type :
Si vous souhaitez automatiser l’ajout de ce type de balises sur un groupe de pages spécifique, il vous faudra obligatoirement passer par un développeur. Pour vérifier la bonne mise en place de ces balises, des extensions Chrome pourront vous être utiles si vous n’êtes pas un adepte du CTRL + U pour analyser vous-même le code source des pages.
Attention : si vous souhaitez que la balise robots noindex soit correctement crawlée et interprétée par Google et les autres moteurs de recherche, il faut impérativement que le robots.txt ne bloque pas l’accès aux pages qui disposent de cette balise html dans le head.
En effet, si vous empêcher un crawler de crawler la page et donc la directive d’indexation mise à jour, il ne sera pas en mesure de la découvrir et donc de l’interpréter.
Une fois les balises meta noindex en place, la désindexation se fera lorsque Google sera repassé sur vos pages. Ceci peut prendre quelques jours à plusieurs semaines en fonction de votre site et de la profondeur des pages passées en noindexe.
C’est aussi pour cela qu’il ne faut absolument pas que les pages avec un noindex soient bloquées dans le robots.txt avant désindexation ! Ceci empêcherait totalement Google de découvrir les balises noindex et donc de les prendre en compte.
Une fois la balise noindex en place, pour accélérer le processus sur une sélection de pages que vous souhaitez voir désindexer rapidement, vous pouvez utiliser la Search Console pour rechercher la page en question puis demander à Google de la crawler.
Cette action permettra de réduire le temps de prise en compte de la meta noindex par le moteur de recherche cependant vous ne pourrez pas le faire pour l’intégralité de vos pages.
Si vous souhaitez désindexer des fichiers qui ne disposent pas de code source, vous n’aurez d’autre choix que d’utiliser les entêtes HTTP X-Robots-Tag noindex pour les désindexer des moteurs de recherche.
Pour se faire, vous allez devoir faire obligatoirement appel à un développeur si vos connaissances techniques ne vous permettent pas de modifier sans risque le fichier .htaccess ou httpd.conf.
Concrètement, pour désindexer, une page web, un fichier pdf ou encore une image à l’aide de l’entête http X-Robots-Tag, il suffira d’ajouter « noindex » à la suite de cette dernière.
Voici à quoi cela doit ressembler dans les entêtes http des pages et fichiers à désindexer :
Pour le mettre en place, vous allez devoir modifier votre fichier .htaccess en incluant des directives de ce type :
Exemple 1 : code à placer dans le .htaccess à la racine du site pour désindexer tous les fichiers pdf d’un site :
Exemple 2 : code pour désindexer tous les fichiers images (png, jpeg, gif) d’un site entier :
Pour mettre en place un noindex sur un groupe de pages générées via PHP, il vous faudra gérer cela via le header.php avec un code de ce type :
Si vous souhaitez que les moteurs de recherche ne suivent pas les liens présents sur une page (pas très logique dans la plupart des cas), vous pouvez associer au « noindex » la directive « nofollow ».
Si vous souhaitez consulter la documentation officielle de Google au sujet du X-Robots-Tag, c’est par ici : https://developers.google.com/search/reference/robots_meta_tag?hl=fr
Si une page web ou un fichier n’existe plus sur votre site et qu’aucun élément ne vient le remplacer, renvoyer un code de réponse 404 (not found) ou 410 (gone) est une bonne pratique permettant la désindexation à terme de cette page ou ressource.
Pour Google, les deux codes indiquent que la ressource n’existe pas en revanche la 410 confirme que cette dernière a existé dans le passé mais qu’elle n’existera plus à l’avenir, elle est donc plus précise qu’un code de réponse 404.
Si vous souhaitez bloquer l’indexation de pages ou fichiers d’un nouveau site ou d’un site qui n’a jamais été indexé ou crawlé par les moteurs de recherche, dans cet unique cas, bloquer le crawl via le robots.txt impliquera que ces pages et ressources ne seront pas indexables et donc indexées (car non crawlable).
Pour se faire, il vous suffit d’ajouter dans votre fichier robots.txt (disponible à la racine de votre site), des directives de ce type :
Exemple 1 : pour bloquer le crawl (et l’indexation si nouveau site) de fichiers .pdf)
Exemple 2 : pour bloquer le crawl (et l’indexation si nouveau site) de pages d’une catégorie spécifique)
Avant de mettre en place des directives de ce type sur votre site, je vous recommande vivement d’utiliser l’outil de test de robots.txt de Google afin de les tester enamont avant mise en production.
Très utilisé pour bloquer l’indexation d’une preprod ou d’un serveur de dev, cette technique est également efficace si les moteurs de recherche n’ont jamais pu crawler et indexer par le passé un site et les pages.
Pour mettre en place cela, il suffit de configurer une protection par mot de passe via le fichier .htaccess et le fichier .htpasswd
Voici à quoi un code d’exemple ressemble dans le .htaccess :
Vous Souhaitez Recevoir Nos Meilleurs Articles ?
(Vous pourrez vous désinscrire à tout moment.)
Bonjour,
La balise meta noindex est difficile à mettre en place, surtout si la page n’existe plus.
Amicalement.
D’où les autres propositions et possibilités mais si la page n’existe plus et dispose d’une autre page intéressante / proche / similaire, pourquoi ne pas mettre en place une redirection 301 ?
Vincent
Noindex n’est plus pris en compte depuis le 1er septembre ? .. du coup ça ne sert plus a rien de placer la balise ?
Bonjour,
J’ai eu la mauvaise idée de développer un site web A depuis une url de test (www.test.fr). Depuis j’ai migré le site développé sur une url propre (www.nouveausite.fr) mais Google continue à référencer le nouveau site sur l’URL de test et ce malgré les demandes d’Indes depuis googlesearch… une idée pour résoudre ce souci ? Merci d’avance.
Bonjour Jakub, le mieux est dans ce cas de faire des redirections 301 de ton site test.fr vers ton nouveausite.fr. Chaque page doit rediriger vers son équivalent sur le nouveau domaine. Bonne journée
Bonjour,
J’ai utilisé cette méthode de noindex il y a deux semaines pour supprimer l’indexation des pages sur Google, puis j’ai réalisé une demande de suppression sur Search Console.
Je ne bloque pas l’accès à ces urls avec le fichier robots.txt, toutefois elles n’apparaissent pas sur mon sitemap.
Est-ce que Google finira tout de même par crawler les pages et à désindexer ?
Cordialement.
Bonjour,
Si Google n’y a pas accès dans le sitemap, sont-elles maillées à un endroit du site ou sont-elles orphelines ? Si ces dernières sont orphelines, le processus de désindexation sera nettement plus long. En fonction du volume de pages à traiter et de la volumétrie de votre site, la désindexation sera plus ou moins longue.
Disposez-vous d’un outil d’analyse de logs ? Ils sont très utiles pour suivre le passage de GoogleBot sur vos pages.
Bonne journée
Bonjour,
Je fais suite à votre dernier message.
Depuis le mois de juillet, je constate que Google n’a pas désindexé mes pages. Toutes ces pages apparaissent désormais dans l’onglet « Pages non envoyées uniquement » sur Google Search Console. J’ai 300 pages dont j’aimerais que Google oublie et la moitié d’entre elles sont des pages avec redirection.
À comprendre votre réponse, j’en déduis que la réalisation d’un sitemap contenant toutes ces pages est indispensable. Mais est-ce que Google les supprimera réellement ? Je pense plutôt que Google m’affichera les 300 pages en « Exclues via la balise noindex »…
Pour répondre à vos questions, mon site n’est pas si volumétrique comparé à d’autres je pense. Et je n’utilise pas d’outil pour analyser le parcours de GoogleBot.
Cordialement.
Bonjour Brice,
Je pense que le plus rapide serait que vous m’envoyiez la liste des URLS concernées et votre site (je vous ai envoyé un email).
C’est surement un problème de robots.txt + noindex + sitemap.
Il faut réaliser les choses dans l’ordre pour que cela fonctionne.
Bonne journée
Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *
Lancé en 2014 et aujourd’hui visité chaque mois par plusieurs centaines de milliers de professionnels du numérique, LEPTIDIGITAL est un media marketing digital vous proposant le meilleur de l’actualité digitale (SEO, Webmarketing, Social Media, SEA, Emailing, E-commerce, Growth Hacking, UX …) en plus d’astuces et tutoriels détaillés.
Vous souhaitez…
Recevoir notre newsletter marketing digital ?
Annoncer sur leptidigital ?
C