WebRankInfo : la plus grande communauté francophone du référencement
Olivier Duffez
Créateur de WebRankInfo,
consultant en référencement
Ce tuto montre une astuce permettant de tester n'importe quel fichier robots.txt sans même avoir besoin de le mettre en ligne ! C'est utile pour vérifier que le fichier robots.txt est bien fait pour le référencement de votre site.
Publié le . Auteur : Olivier Duffez
Je ne vais pas décrire le fonctionnement complet du fichier robots.txt, si besoin lisez cet article.
En résumé, par défaut les robots des moteurs de recherche s'autorisent à crawler ("explorer") toutes les URL. Si vous souhaitez leur interdire certaines pages ou rubriques de votre site, il faut ajouter des directives dans le fichier robots.txt.
La syntaxe est définie sur robotstxt.org mais sachez que certains moteurs prennent en compte des instructions spécifiques. Par exemple Googlebot tient compte des caractères * et $ ainsi que de la directive Allow, et de son côté Bing tient compte de Crawl-delay. Il ne s'agit que de quelques exemples non exhaustifs.
Une erreur dans un fichier robots.txt peut avoir des conséquences importantes sur votre référencement. Vous ne risquez pas de faire désindexer des pages (pour cela il faut la balise meta robots noindex), mais de bloquer le crawl des nouvelles pages.
Pour ne pas vous tromper, le mieux est de faire des tests !
Pour ça, je vous recommande de suivre mon tuto :
Retrouvez ce tuto de test du fichier robots.txt sur YouTube
Explications :
Google vous indique le résultat :
Exemple d'URL bloquée :
Exemple d'URL autorisée :
Rappelez-vous qu'il faut tester aussi pour d'autres robots que ceux de Google (Bingbot et les autres).
Une fois que vous avez validé que votre fichier robots.txt est correct, n'oubliez pas de l'uploader sur votre serveur !
Si jamais votre fichier robots.txt a changé et que vous souhaitez que Google vienne le crawler rapidement, cliquez sur Envoyer :
Puis, une fois que vous avez bien vérifié que votre fichier en ligne est OK, cliquez à nouveau sur Envoyer afin que Googlebot vienne le consulter et en tenir compte au plus vite :
En préparant ce dossier et ce tutoriel, j'ai remarqué que Google tient compte de la directive "Disalow" (écrite avec un seul L)…
Des questions ? Posez-les en commentaires !
Cet article vous a-t-il plu ?
Remarques :
Si vous souhaitez poser une question ou détailler un problème technique, il ne faut pas utiliser le formulaire ci-dessous qui est réservé aux avis. Posez votre question directement dans le forum Gmail de WebRankInfo. L'inscription est gratuite et immédiate.
En postant un avis, vous acceptez les CGU du site WebRankInfo. Si votre avis ne respecte pas ces règles, il pourra être refusé. Si vous indiquez votre adresse email, vous serez informé dès que votre avis aura été validé (ou refusé…) ; votre adresse ne sera pas utilisée pour vous envoyer des mailings et ne sera pas revendue ou cédée à des tiers.
4 commentaires
Bonjour ,
j'ai un fichier bloqué : Disallow: /app/
est ce grave ?? est ce que je peu y remedier ?
Salutations Fabien
si /app/ a besoin d'être bloqué ce n'est pas gênant, sinon il suffit de retirer la ligne (pour éditer ce fichier, demandez à celui qui vous a fait le site)
bonjour, je veux ajouter une nouvelle page web au Site maps pour suivre son référencement mais j'arrive pas à ajouter l'URL à la liste des URL que j'avais
@ Haydi : il faut utiliser un outil qui génère automatiquement le sitemap, ça ne doit pas se gérer manuellement…
Inscription à la newsletter
Catégories
Consulting SEO
Envie d'améliorer votre référencement ?
Consultant SEO depuis 2003, j'ai une très grande expérience en audit et consulting. Que ce soit pour une demande ponctuelle, pour un audit ou du long terme, je peux vous aider.
WebRankInfo / Tous droits réservés 2022 – Mentions légales – Me contacter
S