La détection des crawlers (ou robots) des moteurs de recherche n’est pas toujours aisée, notamment à cause des faux bots qui pullulent sur la Toile. Google a décidé de publié directement des listes d’adresses IP de GoogleBot pour aider les webmasters à s’assurer qu’il s’agit bien du crawler du leader de la recherche. John Mueller a également évoqué que Google pouvait se permettre de fournir les listes d’IP maintenant que le cloaking (pages satellites essentiellement ici) est bien moins présent…
Google a dévoilé deux listes d’adresses IP pour les webmasters, accessibles au format JSON ou en ligne (interrogeable en direct via une API à venir ?) :
L’objectif de ces deux listes est de pouvoir vérifier l’exploration via les crawlers, de suivre la fréquence de crawl pour chaque page ou encore de pouvoir filtrer par IP dans des outils statistiques afin de repérer les robots de Google… Il existe pléthores de raisons d’avoir accès à ces listes d’IP, il ne reste plus qu’à des développeurs/référenceurs de les exploiter correctement (ces listes seront régulièrement mises à jour).
Google estime que ces listes d’adresses IP de GoogleBot vont faciliter la vie des webmasters plutôt que d’utiliser d’autres méthodes parfois plus lourdes ou moins pratiques pour en arriver au même point. Dans tous les cas, c’est plutôt une bonne nouvelle que ces listes soient officielles et on peut même espérer que d’autres moteurs suivent cette voie…
Auteur : Alexandra Martin / Mathieu Chartier
Editeur : Eyrolles
Prix : 32,00 € (345 pages)
Auteur : Alexandra Martin / Mathieu Chartier
Editeur : Eyrolles
Prix : 32,00 € (570 pages)
Auteur : Alexandra Martin / Mathieu Chartier
Editeur : Eyrolles
Prix : 29,90 € (522 pages)
Auteur : Mathieu Chartier
Editeur : First Interactive
Prix : 19,90 € (411 pages)
Auteur : Mathieu Chartier
Editeur : First Interactive
Prix : 29,90 € (622 pages)
Ce blog est le résultat de plusieurs années de travail mais il ne fait pas manger son homme. Découvrez l’agence web et l’organisme de formation géré par Mathieu Chartier et n’hésitez pas à prendre contact pour suivre des formations personnalisées.
Tous droits réservés © Blog Internet-Formation 2009 – 2022
G