Le fichier robots.txt est un petit fichier texte placé à la racine d’un site, par exemple à l’adresse https://www.exemple.fr/robots.txt. Il indique aux robots d’exploration quelles zones ils peuvent parcourir ou éviter. Bien utilisé, il aide à limiter l’exploration de ressources inutiles. Mal configuré, il peut empêcher Google et d’autres moteurs d’accéder à des pages importantes.
Son rôle est souvent mal compris : robots.txt ne sert ni à protéger des données privées ni à retirer automatiquement une page de l’index. Voici comment le construire, quand l’utiliser et comment contrôler ses effets avant de le publier.
À quoi sert réellement le fichier robots.txt ?
Lorsqu’un robot arrive sur un domaine, il peut demander le fichier situé à sa racine. Celui-ci contient des règles associées à un ou plusieurs robots, identifiés par leur nom. Les consignes portent principalement sur les URL que le robot est autorisé à explorer.
Cette distinction entre exploration et indexation est fondamentale. Une URL interdite dans robots.txt peut parfois être connue par un moteur grâce à des liens externes ou internes. Le moteur peut alors conserver son adresse dans ses résultats sans avoir pu lire son contenu. Le fichier ne constitue donc pas une méthode fiable pour demander la disparition d’une page.
Robots.txt peut être pertinent pour éviter l’exploration de zones sans intérêt SEO, comme certains paramètres d’URL, des espaces techniques ou des répertoires contenant beaucoup de variantes. Il ne doit pas être utilisé pour masquer un tableau de bord, un document confidentiel ou une page que vous souhaitez désindexer.
La structure minimale d’une règle

Une règle associe un robot à une ou plusieurs directives. La syntaxe repose notamment sur les éléments suivants :
- User-agent désigne le robot concerné ;
- Disallow indique un chemin que le robot ne doit pas explorer ;
- Allow peut autoriser un chemin plus précis dans une zone interdite, selon la prise en charge du moteur ;
- Sitemap indique l’adresse du ou des sitemaps XML du site.
Un fichier simple peut donc contenir une règle générale et la déclaration du sitemap. Une ligne vide sépare généralement les groupes de directives, tandis que les lignes commençant par un dièse servent de commentaires.
La règle la plus ouverte consiste à ne rien interdire au robot ciblé. À l’inverse, une directive Disallow: / bloque l’accès à l’ensemble du site pour le robot visé. Cette dernière peut être utile temporairement sur un environnement de préproduction, mais elle devient critique si elle est transférée par erreur sur le site public.
Quelles zones peut-on bloquer sans risque inutile ?
Il n’existe pas de liste universelle à copier. La bonne règle dépend de la structure et du fonctionnement du site. Commencez par identifier les espaces qui génèrent beaucoup d’URL sans apporter de valeur dans les résultats de recherche.
Les espaces d’administration
Un répertoire d’administration, comme celui utilisé par un CMS, n’a généralement pas vocation à être exploré comme une page éditoriale. Le bloquer peut réduire les requêtes inutiles, mais cela ne remplace pas la sécurisation de l’accès. Un robot n’est pas obligé de respecter robots.txt et le chemin reste visible publiquement.
Les résultats de recherche internes
Les pages produites par la recherche interne peuvent créer un grand nombre de combinaisons pauvres ou redondantes. Si elles ne constituent pas une fonctionnalité SEO volontairement travaillée, leur exploration peut être limitée. Vérifiez toutefois que le blocage ne masque pas des contenus importants accessibles uniquement par ce mécanisme.
Les paramètres et filtres générant des variantes
Un catalogue, un agenda ou un site de petites annonces peut produire des URL différentes pour un même contenu : tri, pagination, filtres ou suivi de campagne. Bloquer un paramètre au hasard peut empêcher l’exploration d’une page utile. Avant d’ajouter une règle, observez les URL réellement générées et déterminez si elles sont indexables, canoniques ou simplement fonctionnelles.
Les fichiers qui participent au rendu
Les feuilles de style, les scripts et certaines ressources nécessaires à l’affichage ne doivent pas être bloqués sans vérification. Les moteurs ont besoin de comprendre la présentation et le fonctionnement d’une page pour l’évaluer correctement. Une ancienne habitude consistant à interdire systématiquement les répertoires de ressources peut donc dégrader l’analyse du site.
Les erreurs robots.txt qui provoquent le plus de dégâts
La plupart des problèmes viennent d’une règle trop large ou d’une confusion avec une autre méthode de contrôle. Ces vérifications méritent une attention particulière avant chaque modification.
- Bloquer tout le site par accident : une règle générale trop restrictive peut empêcher l’exploration de toutes les pages publiques.
- Utiliser un chemin incorrect : les majuscules, les sous-répertoires et les barres obliques doivent correspondre à la structure réelle des URL.
- Croire que Disallow désindexe une page : il limite l’exploration, mais ne remplace pas une instruction noindex lorsque la page doit sortir des résultats.
- Placer le fichier au mauvais endroit : un fichier installé dans un sous-dossier ne s’applique pas à l’ensemble du domaine.
- Bloquer le sitemap : l’adresse déclarée dans Sitemap doit être accessible au robot et cohérente avec les URL canoniques du site.
- Copier une configuration trouvée en ligne : une règle adaptée à une boutique ou à un autre CMS peut bloquer des ressources utiles sur votre propre site.
Le caractère d’un chemin compte aussi. Une règle visant /admin peut ne pas avoir le même effet qu’une règle visant /admin/, selon les URL concernées et l’interprétation du robot. Testez toujours le résultat sur des adresses concrètes plutôt que de vous fier uniquement à l’intention supposée de la règle.
Robots.txt, noindex et protection des données : trois usages différents
Pour choisir la bonne méthode, partez de l’objectif recherché.
| Objectif | Mécanisme à privilégier | Point de vigilance |
|---|---|---|
| Réduire l’exploration d’une zone peu utile | Robots.txt | Ne pas bloquer une page ou une ressource indispensable |
| Retirer une page des résultats | Instruction noindex accessible au robot | Le robot doit pouvoir consulter la page pour lire l’instruction |
| Empêcher l’accès à une donnée privée | Authentification et contrôle d’accès côté serveur | Robots.txt est public et n’est pas une barrière de sécurité |
| Supprimer définitivement une ressource | Suppression côté serveur ou réponse adaptée | Prévoir les redirections ou les erreurs appropriées si nécessaire |
Cette séparation évite une erreur fréquente : interdire une page dans robots.txt tout en attendant qu’un moteur lise sa balise noindex. Si le robot ne peut pas accéder à la page, il ne peut généralement pas constater la présence de cette balise.
Une méthode de vérification avant et après publication
Une modification de robots.txt doit être traitée comme un changement technique susceptible d’affecter l’ensemble du site. La vérification peut rester simple si elle suit un ordre précis.
- Recenser les zones sensibles : pages d’accueil, catégories, fiches produits, articles, fichiers CSS et JavaScript, espace de recherche et sitemap.
- Écrire la règle la plus étroite possible : préférez un chemin ciblé à un blocage global lorsque l’objectif concerne une seule zone.
- Contrôler l’adresse publique : ouvrez le fichier à la racine du domaine et vérifiez qu’il est servi comme un fichier texte, sans redirection inattendue ni erreur serveur.
- Tester plusieurs URL : choisissez au moins une page importante, une URL située dans la zone bloquée et une ressource nécessaire au rendu.
- Comparer avec le sitemap : une page importante présente dans le sitemap ne devrait pas être simultanément bloquée par une règle générale.
- Surveiller après déploiement : consultez les rapports d’exploration et d’indexation disponibles dans les outils pour webmasters afin de repérer une baisse ou un blocage inhabituel.
Sur un site WordPress, vérifiez aussi le réglage global qui demande ou non aux moteurs de ne pas indexer le site. Ce paramètre n’est pas robots.txt, mais une configuration de visibilité mal conservée après une mise en ligne peut avoir des conséquences comparables.
Faut-il modifier souvent robots.txt ?
Non. Un fichier stable et lisible vaut mieux qu’une succession de corrections improvisées. Modifiez-le lorsque l’architecture du site évolue, lorsqu’un problème d’exploration est identifié ou lorsqu’une fonctionnalité produit trop de variantes inutiles.
Conservez une trace des changements : date, objectif, règle ajoutée et URL vérifiées. Cette habitude facilite le diagnostic après une refonte ou l’intervention d’un prestataire. Elle permet également de revenir rapidement à la version précédente si une page stratégique cesse d’être explorée.
La règle la plus prudente reste simple : ne bloquez jamais une zone dont vous n’avez pas vérifié le contenu et le rôle dans le parcours du site. Robots.txt doit accompagner une stratégie d’indexation claire, pas servir de solution universelle aux problèmes de visibilité ou de confidentialité.