GEO & IA · Guide technique
Robots.txt et bots IA : le réglage qui décide si ChatGPT et Perplexity peuvent vous citer
💡 En résumé — ce que vous allez apprendre
Vous pouvez avoir le meilleur contenu de votre secteur : si votre robots.txt bloque les robots des IA, ni ChatGPT, ni Perplexity, ni Gemini ne pourront vous lire — et donc jamais vous citer. C’est le premier verrou technique du GEO (Generative Engine Optimization), et c’est aussi le plus souvent mal réglé.
Le robots.txt est un simple fichier texte placé à la racine de votre site (votre-site.fr/robots.txt) qui indique aux robots ce qu’ils ont le droit de visiter. Historiquement pensé pour Googlebot, il gère désormais une nouvelle famille de visiteurs : les bots des moteurs génératifs.
1. Pourquoi le robots.txt décide de votre visibilité IA
Quand un utilisateur pose une question à ChatGPT ou Perplexity, l’IA ne « connaît » pas forcément votre site par cœur. Pour répondre, elle envoie souvent un robot lire des pages web en temps réel, puis en cite certaines comme sources. Si ce robot reçoit une consigne de blocage dans votre robots.txt, il fait demi-tour : votre page n’entre jamais dans la réponse.
Autrement dit : autoriser les bons bots n’est pas une optimisation avancée, c’est une condition d’entrée. Tant que le verrou est fermé, tout le reste du travail GEO est invisible.
2. Deux familles de bots IA à ne pas confondre
C’est la nuance que tout le monde manque. Les robots des IA ne font pas tous la même chose, et vous n’avez pas forcément intérêt à les traiter de la même façon.
Les bots d’entraînement
Ils collectent du contenu pour entraîner les futurs modèles. Les autoriser nourrit l’IA avec votre expertise, mais sans bénéfice de citation immédiat et garanti. Certaines entreprises choisissent de les bloquer pour des raisons de propriété intellectuelle. Exemples : GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl, utilisé par de nombreux modèles).
Les bots de récupération et de citation
Ils vont chercher une page au moment où l’IA répond à un utilisateur, pour la citer comme source. Ce sont eux qui décident si vous apparaissez dans une réponse. Les bloquer, c’est se rendre invisible. Exemples : OAI-SearchBot et ChatGPT-User (OpenAI), PerplexityBot et Perplexity-User (Perplexity), Google-Extended (grounding de Gemini).
La règle simple : pour le GEO, autorisez toujours les bots de récupération/citation. Pour les bots d’entraînement, c’est un choix stratégique — mais sachez qu’autoriser l’entraînement augmente vos chances d’être « connu » par défaut des modèles.
3. Les user-agents exacts à connaître (mai 2026)
| Éditeur | User-agent | Rôle |
|---|---|---|
| OpenAI | GPTBot | Entraînement |
| OpenAI | OAI-SearchBot | Index de recherche ChatGPT |
| OpenAI | ChatGPT-User | Récupération à la demande |
| Perplexity | PerplexityBot | Index de recherche |
| Perplexity | Perplexity-User | Récupération à la demande |
| Anthropic | ClaudeBot | Entraînement |
| Anthropic | Claude-User | Récupération à la demande |
| Google-Extended | Entraînement / grounding Gemini | |
| Common Crawl | CCBot | Entraînement (multi-IA) |
Bon à savoir sur Google-Extended : il ne contrôle que l’usage IA de Google (Gemini, Vertex). Le bloquer n’a aucun effet sur votre référencement Google classique, qui dépend de Googlebot. Vous pouvez donc régler l’un sans toucher à l’autre.
4. L’erreur que commettent 80% des sites
Le scénario que nous voyons le plus souvent en audit : un site active une option « bloquer les robots d’IA / scrapers » dans un plugin de sécurité (type Wordfence) ou via une règle serveur, en pensant protéger son contenu. Résultat : il bloque aussi les bots de citation, et disparaît des réponses de ChatGPT et Perplexity.
À vérifier en priorité : votre robots.txt, mais aussi votre plugin de sécurité et d’éventuelles règles au niveau de l’hébergeur (.htaccess, pare-feu, CDN). Un blocage peut venir de n’importe laquelle de ces couches, même si votre robots.txt est parfait.
Sous WordPress, autre piège fréquent : le robots.txt « virtuel » généré automatiquement. Avec Rank Math, vous pouvez le reprendre en main via Rank Math → Réglages généraux → Modifier robots.txt (à condition qu’aucun fichier physique robots.txt ne soit déjà présent à la racine, sinon c’est lui qui prime).
5. Le robots.txt recommandé pour une PME qui veut être citée
Voici une base saine pour un site WordPress qui cherche la visibilité IA tout en gardant le contrôle. Adaptez l’URL du sitemap à votre domaine.
Si vous souhaitez refuser l’entraînement tout en restant citable, remplacez simplement Allow: / par Disallow: / sous GPTBot, ClaudeBot et CCBot — et laissez les bots de récupération en Allow.
Important : le robots.txt est une consigne, pas un mur. Les robots sérieux (OpenAI, Perplexity, Google, Anthropic) la respectent. Pour empêcher techniquement l’accès à une zone sensible, utilisez une vraie protection (authentification, blocage serveur), pas seulement le robots.txt.
6. Comment vérifier que les bots IA passent vraiment
Une fois le fichier en place, ne vous fiez pas qu’à la théorie. Trois vérifications concrètes :
- Tester l’accès à
votre-site.fr/robots.txtdans le navigateur : le contenu doit correspondre à ce que vous avez publié (pensez à vider le cache, LiteSpeed inclus). - Lire les logs serveur : cherchez les passages des user-agents
OAI-SearchBot,PerplexityBot, etc. S’ils n’apparaissent jamais alors que votre contenu est publié depuis des semaines, un blocage subsiste quelque part. - Faire le test ultime : posez à ChatGPT et Perplexity une question type de vos prospects (« quelle agence SEO à La Roche-sur-Yon ? ») et regardez si vous êtes cité, et avec quelle source.
Ce dernier test est aussi la meilleure façon de mesurer vos progrès dans le temps : c’est votre taux de citation IA, l’indicateur central du GEO.
À retenir :
· Autorisez toujours les bots de citation (OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Google-Extended, Claude-User).
· Les bots d’entraînement (GPTBot, ClaudeBot, CCBot) sont un choix : autoriser = plus de notoriété, bloquer = plus de contrôle.
· Vérifiez aussi votre plugin de sécurité et les règles de l’hébergeur, pas seulement le robots.txt.
· Mesurez avec un test réel dans ChatGPT et Perplexity.
Votre site est-il lisible par les IA ?
Nous testons 10 prompts sur votre secteur dans ChatGPT et Perplexity et vous renvoyons votre taux de citation actuel — gratuitement et sans engagement.
Analyser ma visibilité IA →