Outil gratuit · exécuté côté serveur
Tester un fichier robots.txt
L'outil récupère le robots.txt du domaine, liste les groupes de règles et les sitemaps déclarés, puis indique si une URL donnée serait autorisée pour l'agent choisi.
Utiliser l'outil
Limites de cet outil
- Un robots.txt n'empêche pas l'indexation : une URL bloquée mais liée ailleurs peut apparaître sans son contenu.
- Le fichier lu est celui servi au moment du test ; un fichier généré dynamiquement peut varier.
- Seul le robots.txt de la racine du host est pris en compte, conformément à la spécification.
Bloquer n'est pas désindexer
C'est la confusion la plus coûteuse autour de ce fichier. Un
Disallow empêche l'exploration ; il
n'empêche pas l'indexation. Si une URL bloquée reçoit
des liens, elle peut apparaître dans les résultats sans son contenu,
puisque le robot n'a jamais pu la lire.
Pire : en bloquant l'exploration, vous empêchez aussi le robot de lire la
balise noindex ou la canonical que la page
contient peut-être. Les deux directives entrent alors en conflit, et
c'est le blocage qui gagne — à l'inverse de l'intention.
Le bon mécanisme selon l'objectif
| Objectif | Mécanisme | Pourquoi |
|---|---|---|
| Retirer une page de l'index | noindex sur une URL explorable | Le robot doit pouvoir lire la directive pour l'appliquer |
| Économiser du budget de crawl | Disallow | C'est exactement ce que fait ce fichier |
| Consolider des URL dupliquées | canonical | Transmet les signaux vers l'URL de référence |
| Protéger du contenu privé | Authentification serveur | Le robots.txt est public et n'est pas un contrôle d'accès |
Les robots d'IA
L'outil teste aussi quelques agents de fournisseurs d'IA. Autoriser ou bloquer est un arbitrage d'entreprise : bloquer réduit la probabilité d'être utilisé comme source dans les assistants, autoriser expose vos contenus à la reformulation. Ce qui importe, c'est que la décision soit explicite dans le fichier, et non subie par défaut.
Le respect de ces directives repose sur la bonne volonté des opérateurs : le robots.txt est une convention, pas une mesure technique contraignante.
Diagnostic
Aller plus loin qu'un contrôle automatique
Cet outil vérifie un point précis. Un diagnostic complet identifie lequel de ces points bloque réellement votre acquisition, et dans quel ordre les corriger.