Sélectionner une page
Publié par Olivier Andrieu | 17 Mar 2022 | Actualité | | Temps de lecture : 7 minutes
On le sait, Google connait de très gros problèmes d’indexation des pages web depuis de nombreux mois :
Sur de nombreux sites donc, soit les pages sont crawlées mais non indexées, soit elles ne sont tout simplement pas crawlées. Dans la Search Console, les URL sont indiquées comme « Exclues », dans le rapport « Couverture », avec les messages « Détectée, actuellement non indexée » lorsqu’elles sont en attente de crawl ou « Explorée, actuellement non indexée » lorsqu’elles sont crawlées et en attente d’indexation. Ce phénomène est devenu suffisamment important pour se rendre compte que ce n’est pas un bug isolé pour un site web donné. C’est une vraie tendance forte du crawl et de l’indexation Google en ce moment.
De nombreux webmasters m’ont posé des questions à ce sujet ces dernières semaines en m’indiquant l’adresse de leur site qui n’arrivait pas à être visité ou pris en compte par les robots du moteur. Il faut bien dire que, parmi ces sources d’informations, nombreuses étaient celles qui étaient de très faible qualité :
Pour ce type de page, il est normal que Google ait mis en place un algorithme permettant de trier le bon grain de l’ivraie. Il faut l’assumer. Mais pour d’autres pages (et surtout d’autres sites), pourtant tout à fait valables et de bonne qualité, le problème est également et toujours présent.
Bon nombre d’outils, la plupart utilisant l’API d’indexation de Google, se sont alors mis en place. Je vous engage à lire l’article de Daniel Roch publié cette semaine sur Réacteur, qui les a testés et où il nous dit ce qu’il en pense.
En les utilisant, et même si la situation n’est pas idéale, on arrive cependant à améliorer un peu la situation. Et le fait que ces outils d’indexation forcée fonctionnent (au moins un peu) montre bien l’incohérence totale de Google à ce niveau. En effet :
Il s’agirait donc bien soit d’un bug du moteur et de ses robots, soit d’une faille dans son système de crawl, l’empêchant de crawler de façon propre et efficace les sites web, notamment récents. Un point gravissime, vous en conviendrez, pour un moteur qui se veut leader mondial du domaine !
(Notons ici cependant que certaines URL sont acceptées via les outils de soumission API, mais parfois désindexées par la suite par le moteur).
On peut faire actuellement le constat de la dégénérescence des capacités de crawl depuis plusieurs années : tout d’abord les multiples bugs qui ont jalonné les derniers mois au niveau de l’indexation et maintenant cette impossibilité à crawler et indexer des contenus récents. On peut même dire qu’à l’heure actuelle, Bing indexe bien mieux le Web que son concurrent historique. Qui aurait osé dire cela il y a quelques années ? Il est même beaucoup plus innovant à ce niveau, notamment avec le protocole IndexNow, proposé depuis quelques mois.
Qu’en est-il donc aujourd’hui ? Après avoir analysé de nombreux sites ayant du mal à se référencer et fait mes propres tests en internes, voici mes conclusions :
Il faut en tout cas espérer que la situation évolue rapidement, car celle-ci ne donne clairement pas une image positive de la firme de Mountain View et de sa capacité à maîtriser son moteur de recherche et la croissance actuelle du Web. Il faut bien avouer que ce n’était jamais le cas il y a quelques années de cela. Mais le Web était différent, et le niveau de spam à traiter le moteur très différent aussi (rappelons que Google découvre 40 milliards de pages de spam chaque jour !, et l’évolution actuelle des méthodes SEO n’y est pas pour rien).
Le moteur est-il dépassé par l’évolution exponentielle du Web et du nombre de pages et d’informations disponibles en ligne, et donc du spam dont il est bombardé ? Ou n’est-ce finalement qu’une péripétie temporaire et une situation qui sera rapidement corrigée par les équipes techniques de Google ? L’avenir proche nous en dira certainement plus à ce sujet… Une chose est sûre en tout cas : la situation actuelle doit absolument évoluer si Google tient à son hégémonie actuelle…
Exemple-type d’une (petit) site récent voyant de nombreuses pages – pourtant de bonne qualité et sans aucun signe de spam – non crawlées ou indexées. Source : Abondance
Pas d’articles similaires.
Partager :
Note :
Bonjour,
Merci pour cet article et ces commentaires très instructifs.
J’ai le même souci sur le site e-commerce de ma cliente sorti en septembre 2021 sous la solution Square (assez connue aux US) et qui compte 221 Urls et seulement 15 indexées…
Savez-vous si le fait de faire une campagne Google Ads pourrait améliorer le référencement du dit site ?
Merci !
Peu de chances. Mais tout se tente ! Test and learn ! 🙂
Hello, j’utilise par moment des services tiers comme indexation.fr ou indexmenow mais je me demande comment ces sites peuvent faire une indexation aussi rapide, dans 50% des cas les urls que j’envoie sont indexées en moins d’une heure. Ca reste un service qui peut être cher si on utilise des requête avec des noms de villes en France. J’ai testé pas mal de chose mais rien d’aussi concluant que ces sites. L’API GOOGLE INDEX est bien si on a la propriété du site, mais quand c’est pour indexé des backlincks c’est embêtant. Quelqu’un a une idée sur le fonctionnement de ces outils?
Expliqué ici https://www.reacteur.com/2022/03/les-outils-daide-a-lindexation-de-pages-dans-google-sont-ils-efficaces.html 🙂
Ce type de problème se rencontre aussi avec des Noms de Domaine expirés de haute autorité. J’ai rédigé des artiocles de blog de parfois plus de 2000 mots (qualitatifs), avec requête pertinente aux yeux de l’internaute. Pourtant certains d’entre eux ne sont à ce jour pas indexés ! Je précise que pour les articles indexés, ces derniers apparaissent régulièrement sur la 1ère page de la SERP.
Un axe dont il faut parler aussi c’est la charge d’exploitation de google et sa consommation en energie… Si on veut maitriser son budget on doit aussi faire de concessions… J’avais une source disant que google na dans son index que moins de 1% du web… J’imagine meme pas la facture s’il passait à 2 %
Bjr. oui sujet traité sur Réacteur récemment : https://www.reacteur.com/2022/01/rechauffement-climatique-le-machine-learning-de-google-peut-il-se-mettre-au-service-du-climat.html
Quant à la taille du Web, je pense vraiment qu’il n’est pas dimensionnable à une Temps T. Donc 1 ou 2%, en soi, cela n’a pas vraiment de sens à mes yeux…
Bonjour Olivier, je suis pas d’accord avec le côté « invasion de contenu spam » avec gpt3.
Cet algo de création de contenu peut être utilisé pour faire des belles trames et je penses que 95% de SEO ou éditeurs de sites ne sont pas au courant du potentiel hors rédaction de GPT3 et l’apport très intéressant que cela peut avoir pour un site et qu’un rédacteur ne pourrait pas amener.
De plus, les problèmes d’indexation ne se limitent pas que au contenu. Combien de SEO vont voir les rapports des urls que sont détectées, crawlées mais non indexées ?
A mon avis très peu…..
Dans beaucoup de cas, on se retrouve avec des sites qui ont des erreurs de codages, des erreurs js, css, trop lent, micro data mal implémentées ou autre, même pour les sites soit disant au top….
Ce constat des problèmes d’indexation ne peut être imputé que au contenu (de part le constat de l’article)
Et sincèrement je préfère, à certain moment, avoir un contenu fait par l’IA (où je contrôle tout, trame, etc), plutôt que part un pseudo rédacteur SEO qui est fraichement sorti du moule grâce à la dernière formation rédaction SEO à la mode et qui va me faire payer (cher) un article qui ne se positionnera pas sur les moteurs de recherche.
Je rejoins Cyril sur quelques points.
Il ne faut pas tout mettre sur le dos de la « sacro-sainte » qualité du contenu que Google dit vouloir absolument. Un site lent avec du code médiocre,mauvais (voire obsolète) voit ses chances de crawl et d’indexation s’amoindrir. Par extension, le côté technique (dette) joue un rôle importante pour résoudre les soucis d’indexation à la longue.
J’en ai ma claque de voir des webmasters avec des images de plus de 1MO sur leur site en pagaille sur une même page. (avec des frameworks, des plugins, des bibliothèques… de programmation qui datent de mathusalem) et une mauvaise intégration de media. Il n’y a pas besoin d’être un développeur chevronné pour le voir. Et après, le webmaster en herbe ne comprend pas pourquoi, cela ne s’indexe pas. 🙂
Il y a un test à faire : demander une indexation manuelle d’une page qui s’indexe pas. Si au bout de 24 heures, elle est indexée et qu’elle le reste longtemps alors le site ne souffre peut-être pas des soit-disant « bugs » d’indexation de Google. (A mon avis) Le problème est ailleurs. Le contenu n’est pas forcement à remettre en cause. Par contre, si une URL s’indexe puis se désindexe rapidement. Alors, oui, là, il faut revoir le contenu. (Pas seulement de la page mais aussi du site dans sa globalité).
Ca, c’est un fait. De plus, tout n’est pas à jeter du côté de GPT3. Cependant, il faut un minimum de bon sens avant de vouloir s’intéresser à cette technologie. Elle n’est pas à mettre dans toutes les mains.
bonjour Olivier
Article très pertinent sur un sujet très problématique pour la plupart d’entre nous.
Heureusement qu’il existe des outils comme celui de Stephane Madaleno.
Par contre, je me demande si vous n’avez pas fait une inversion dans votre phrase « les URL sont indiquées comme « Exclues », dans le rapport « Couverture », avec les messages « Détectée, actuellement non indexée » lorsqu’elles sont crawlées et en attente d’indexation ou « Explorée, actuellement non indexée » lorsqu’elles ne sont pas crawlées »
Pour moi, ce que j’avais compris , c’est que « Détectée, actuellement non indexée , c’était la première étape de l’indexation: l’URL a bien été vue par Google, mais pas encore crawlée et de facto non indexée.
Et que la deuxième étape de l’indexation « Explorée, actuellement non indexée », c’était que l’URL avait été vue, détectée ET crawlée par Google mais pas encore indexée.
Merci d’avance de votre réponse pour m’enlever ce doute
Cordialement
Bernard
Oui, oui, c’est bien ça, pardon. j’avais inversé dans la rédaction. C’est corrigé, merci 🙂
De rien Olivier.
J’avais eu, à l’époque, un bon professeur en référencement 🙂
Comme quoi Formaseo est une très bonne formation.
Excellent article Olivier ! Merci !
On savait que le SEO n’est pas une science exacte mais avec cette problématique d’indexation chez Google, c’est carrément le grand flou artistique en ce moment. Pas facile d’expliquer ça aux clients en effet 😉
Difficile en effet de trouver une explication logique à ce qui se passe actuellement tant les cas diffèrent d’un site à l’autre et même sur un même site.
Ça sent quand même le « gros remaniement » du côté de l’algo de Google… Enfin, c’est mon sentiment.
Attendons de voir si les choses se stabilisent un peu dans les prochains mois / semaines.
Le triptyque [contenu de qualité + popularité + SEO Technique] va-t-il muter vers quelque chose d’encore plus quali ?
Ce qui est sûr, tu as raison, c’est que Google sait sûrement ce qu’il se passe.
Franchement sur des sites récents, L’indexation est devenu un vrai souci même avec du contenu long et de qualité…
Pour bing, c’est cool que l’indexation se passe bien mais pour ma part le trafic est toujours proche de 0 .
Payer pour faire indexer ses urls pourquoi pas mais quand on voit la M… qui passe sur Google actu en indexation ultra rapide y’a de quoi etre jaloux :/
Merci pour cet article qui synthétise bien ma hantise de ces derniers mois.
Comme beaucoup ici, j’ai fait des tests et j’ai encore du mal à voir ce qui arrive à être indexé de ce qui ne l’est pas.
Première chose : la demande d’indexation manuelle dans Google Search Console n’aide pas beaucoup.
Ensuite, le contenu original, de qualité ou non, ne semble pas être un critère.
Sur un site, j’ai ajouté 15 pages en décembre : elles ne sont toujours pas indexées.
Sur un autre site que l’on m’a confié, j’ai du ajouter du contenu sur la seule et unique page du site et créer une fiche d’établissement Google. Une fois la fiche d’établissement validée, le site a été indexé (et honnêtement son contenu est très léger).
Sur un site tout beau tout neuf au contenu assez pauvre (en quantité) mais pertinent (de qualité) : il a été indexé en 3 jours. Ici l’astuce c’est que le site a été créé avec Wix et que le site a été connecté à Google Search Console via api (depuis le tableau de bord Wix).
Bref, un site Wix qui s’indexe mieux qu’un site propre sous WordPress, c’est un peu le monde à l’envers cette année 2022 en termes de SEO.
Je pense qu’Olivier a mis le doigts sur un truc important :
Google n’arrive plus à crawler. Du coup, faute d’arriver à « contrôler » les robots d’indexation Google depuis la Search Console, il faut passer par autre chose : fiche d’établissement, backlinks ou autres ruses (redirections 301 ?).
Des articles que je rédige moi-même sur un site A ne sont pas indexés, même au bout de 2 mois.
D’autres articles sur un site B sont indexés dans la journée.
Je suis la même personne, avec le même style de rédaction.
Ma théorie : mon site A est peut-être pénalisé en ce qui concerne les nouveaux contenus. En revanche, si je met à jour un ancien contenu, pas de souci pour prendre en compte la maj de la part de Google.
J’ajoute que je soumets systématiquement mes nouvelles pages ou mes majs du site A à Google via la GSC.
Bonjour Olivier, cela décrédibilise aussi fortement les agences web : comment expliquer à un client que son site vitrine est introuvable sur Google ? Parfaitement indexé par Bing par contre…
Nous créons des sites Internet depuis 2005, le métier se complique…
Je pense que Google est un peu dépassé par la taille du web et qu’il ne peut pas tout crawler. Il fait un tri entre site nouveaux qui mettent à jour et ceux qui ajoutent du contenu et les nouveaux sites qui peuvent attendre un peu l’indexation avant d’être plus pertinents sur certaines requêtes. Google est là pour vendre de la pub. Donc en toute logique, un nouveau site (nouvelle entreprise ?), aura besoin de faire de la pub pour se faire connaître rapidement. Gagnant gagnant.
Je confirme absolument. Du contenu de qualité sur un site d’autorité et présent dans la sitemap, non indexé pendant des mois, puis indexé en moins de 24h en demandant une reindexation via la search console.
Je garde un œil avec mon outil IndexCheckr et ces pages demeurent bien indexées. Il s’agit bien de problèmes techniques à mon sens et cela fait des mois que cela dure.
À noter que Google est responsable en premier lieu de cette course au contenu.
Pour le coup, ta dernière phrase manque d’arguments 🙂
Bonjour et merci pour cet article. Je rencontre des problèmes d’indexation de produits sur un site e-commerce mais sur un site d’offres d’emploi très récent, aucun soucis.
Ça fait plus d’un an que le problème est apparu sur Google et il concerne en effet surtout les nouveaux contenus. .
Le moteur semble être flemmard et si il vient bien re-scanner les pages existantes, il ne suit pas les nouveaux liens tout seul..;
On a beau insister sur la console, il faut parfois plusieurs mois pour référencer un article.
Pour bing, il obéit plutôt bien aux demandes de référencement mais pour ce qui concerne la pertinence des résultats….
Pour les images,
il est capable d’afficher parfois dans les résultats les 20 ou 30 premières images provenant d’un même site, ce qui n’est pas un signe de pertinence ni d’un bon algorithme
Même problème sur un petit site, dont les nouvelles pages ne sont pluss indexées depuis novembre 2021 au moins… En termes de qualité, il y a un peu de tout, dont un long article de + de 2500 mots sur une requête pertinente. J’ai fait du maillage depuis des pages indexées, le contenu est diffusé via plusieurs sitemaps, et malgré tout, rien !
Je confirme pour le timing de novembre 2021 et le début des soucis.
Personnellement j’ai ce problème sur des articles de plus de 2000 mots rédigés avec amour et basés sur une bonne connaissance du sujet qu’ils traitent. Je suis rassuré de voir que je ne suis pas le seul. Merci pour cet article Olivier !
Laisser un commentaire (*** Cliquez ici pour lire la charte de saisie de commentaire ***)
Votre adresse e-mail ne sera pas publiée.
La charte Abondance.com pour la soumission de commentaires est la suivante :
– Champ Nom : obligatoire. Seuls les noms de famille et/ou prénoms sont acceptés. Un commentaire n’est pas écrit par une entreprise, mais par une personne physique. Les textes d’ancre (sur)optimisés et les noms d’entreprises indiqués dans ce champ verront automatiquement l’URL associée supprimée et la mention [Anonyme] indiquée à cet endroit.
– Champ E-mail : obligatoire. L’adresse mail n’est pas affichée si le commentaire est validé.
– Champ Site web : facultatif. Uniquement affiché si le champ “Nom” contient le patronyme d’une personne (voir ci-dessus). Le mieux est certainement d’y indiquer l’URL de votre compte Facebook, Twitter ou Google+. Mais vous pouvez également y indiquer l’URL de votre site web (page d’accueil uniquement).
Merci !!!
Consultez le site Livre Référencement !
© Abondance | Toute l'actualité sur le SEO et les moteurs de recherche