Robots d’IA : ouvrir votre site ou leur fermer la porte ?
Entraînement, réponses des assistants, aperçus IA de Google : trois usages, trois réglages. Ce que chaque blocage protège, ce qu’il coûte, et que choisir.
Par L’équipe Alliancce
Partager sur LinkedIn (nouvelle fenêtre)
Votre prestataire web vous pose la question au détour d’une réunion : « On bloque les robots des IA, ou on les laisse passer ? » La réponse paraît technique ; elle ne l’est pas. Derrière une ligne de fichier se cachent deux intérêts qui tirent en sens inverse : protéger ce que vous avez publié, et rester présent là où vos clients cherchent désormais leurs réponses. C’est un arbitrage de direction, et il se prend mieux quand on sait ce que chaque robot fait réellement de vos pages.
L’essentiel : les robots d’IA ne servent pas tous à la même chose. Ceux qui collectent des pages pour entraîner les modèles peuvent être bloqués sans effet sur votre présence dans Google ; ceux qui alimentent les réponses des assistants, eux, vous rendent visible. Google est un cas à part : ses fonctions d’IA se règlent dans Search Console, pas dans le fichier robots.txt. Pour la plupart des PME de services, la bonne décision est de rester ouvert ; les éditeurs dont le contenu est le produit ont de vraies raisons de fermer l’entraînement.
Qui vient lire votre site, et pour quoi faire ?
Trois familles de robots visitent votre site pour le compte des IA, et c’est leur usage, pas leur éditeur, qui doit guider votre décision.
- Les robots d’entraînement collectent des pages pour construire les prochaines versions des modèles. GPTBot pour OpenAI, ClaudeBot pour Anthropic en font partie. Ce qu’ils lisent aujourd’hui peut nourrir une réponse dans un an, sans lien vers vous.
- Les robots de recherche des assistants constituent l’index dans lequel l’assistant puise quand il cite ses sources : OAI-SearchBot pour la recherche de ChatGPT, Claude-SearchBot, PerplexityBot. Ce sont eux qui permettent qu’un assistant affiche un lien vers votre page.
- Les visites déclenchées par un utilisateur ont lieu quand quelqu’un demande à l’assistant de consulter une page précise, ou quand l’assistant va vérifier une information pour répondre : ChatGPT-User, Claude-User, Perplexity-User.
Chaque éditeur publie la liste de ses robots et leur usage (OpenAI, Anthropic, Perplexity). Le fichier robots.txt, placé à la racine du site, est l’outil commun à tous : il indique, robot par robot, les pages qu’il peut explorer. Son fonctionnement est normalisé depuis 2022 (IETF, RFC 9309).
La collecte pour l’entraînement domine largement. Sur le réseau de Cloudflare, qui achemine le trafic d’une part importante des sites web, elle représentait 79 % de l’activité des robots d’IA en juillet 2025 (Cloudflare, 2025).
Ce que chaque fermeture protège, et ce qu’elle coûte
Chaque famille se règle séparément, et chaque blocage a un prix différent. OpenAI le précise : ses réglages sont indépendants, on peut refuser GPTBot et accepter OAI-SearchBot (OpenAI).
| Ce que vous bloquez | Ce que vous protégez | Ce que vous perdez |
|---|---|---|
| Robots d’entraînement (GPTBot, ClaudeBot, Google-Extended) | Vos textes ne serviront plus à entraîner les futurs modèles de ces éditeurs | Presque rien en visibilité immédiate ; à long terme, les modèles connaîtront moins bien votre offre |
| Robots de recherche des assistants (OAI-SearchBot, Claude-SearchBot, PerplexityBot) | Vos pages ne servent plus à composer les réponses de ces assistants | Vos citations et vos liens dans ces réponses : OpenAI indique qu’un site qui refuse OAI-SearchBot n’apparaît plus dans les réponses de sa recherche, hormis de simples liens de navigation |
| Visites déclenchées par un utilisateur (ChatGPT-User, Claude-User, Perplexity-User) | Peu de chose : ces robots peuvent ne pas appliquer robots.txt | La possibilité, pour un prospect, de faire lire votre page par son assistant |
Anthropic formule le même avertissement pour ses propres robots : bloquer Claude-SearchBot ou Claude-User « peut réduire » la visibilité du site dans les réponses (Anthropic).
Un point est souvent oublié : pour les visites déclenchées par un utilisateur, robots.txt ne garantit rien. OpenAI écrit que les règles de robots.txt « peuvent ne pas s’appliquer » à ChatGPT-User, et Perplexity que Perplexity-User les ignore généralement, puisque c’est une personne qui a demandé la page (Perplexity).
Google, un cas à part
Chez Google, le robot qui indexe votre site pour la recherche est le même qui alimente ses aperçus IA. Bloquer Googlebot, c’est donc disparaître de Google tout entier. Google le dit sans détour : ses fonctions d’IA font partie de la recherche, et les consignes robots.txt adressées à Googlebot en sont le moyen de contrôle (Google Search Central).
Trois réglages permettent pourtant d’agir sans quitter la recherche :
- Google-Extended est une consigne, pas un robot distinct. L’ajouter à robots.txt refuse que vos pages servent à entraîner les futurs modèles Gemini et à étayer les réponses des applications Gemini. Google précise qu’elle n’a aucun effet sur votre présence ni sur votre classement dans la recherche (Google, robots d’exploration courants). Elle ne vous retire pas non plus des aperçus IA.
- Le réglage « Search generative AI » de Search Console, l’outil gratuit de Google pour les propriétaires de sites, exclut le site des aperçus IA, du mode IA et des fonctions d’IA de Discover. Google indique qu’il n’est pas utilisé comme signal de classement pour le reste de la recherche (Aide Search Console, 2026). Annoncé le 3 juin 2026 pour une partie des sites britanniques, il est ouvert à tous les sites du monde depuis le 31 août 2026 (Google, 2026).
- Les consignes d’extrait (
nosnippet,max-snippet), placées dans le code d’une page, limitent ce que Google reprend de cette page, dans ses résultats comme dans ses réponses IA.
Pour une PME française, l’enjeu est récent : les aperçus IA, ces résumés rédigés au-dessus des résultats, et le mode IA sont proposés en France depuis le 22 juillet 2026 (Google France, 2026). S’en exclure ne supprime pas l’aperçu : il s’affiche quand même, avec d’autres sources que vous.
Ce que dit le droit, et ce qu’il ne garantit pas
Le droit français vous donne un moyen de refuser la collecte, et robots.txt en est la forme reconnue.
L’opposition à la fouille de textes et de données. Le code de la propriété intellectuelle autorise quiconque à copier des contenus accessibles pour les analyser automatiquement, « sauf si l’auteur s’y est opposé de manière appropriée, notamment par des procédés lisibles par machine » lorsque ces contenus sont publiés en ligne (article L122-5-3, Légifrance). Une consigne robots.txt visant les robots d’entraînement est un tel procédé.
Les engagements des fournisseurs de modèles. Depuis le 2 août 2025, le règlement européen sur l’IA impose aux fournisseurs de modèles d’IA à usage général de mettre en place une politique de respect du droit d’auteur, qui doit repérer et respecter ces refus (règlement (UE) 2024/1689, article 53). Le code de bonne pratique publié par la Commission européenne le 10 juillet 2025 va plus loin pour ses signataires : utiliser des robots qui lisent et suivent robots.txt selon la norme de 2022 (Commission européenne).
La position de la Cnil. Lorsque la collecte porte sur des données personnelles, la Cnil demande à ceux qui moissonnent le web pour entraîner une IA d’exclure les sites qui s’y opposent « par l’utilisation des protocoles d’exclusion robots.txt ou la mise en place de CAPTCHA » (Cnil, 2025).
La limite. La norme elle-même le rappelle : ces règles « ne sont pas une forme d’autorisation d’accès » et ne doivent pas servir de mesure de sécurité (RFC 9309). Robots.txt exprime votre refus ; il ne l’impose pas techniquement. Un robot peu scrupuleux peut l’ignorer, et le fichier, public, affiche même la liste des pages que vous voulez tenir à l’écart.
La charge sur le serveur et la protection réelle des contenus
Deux sujets se glissent souvent dans la discussion sans relever du même réglage : le poids de ces robots sur votre hébergement, et la protection des informations sensibles.
La charge. Les robots d’IA explorent beaucoup de pages pour peu de visites en retour. En juillet 2025, Cloudflare comptait environ 38 000 pages explorées par les robots d’Anthropic pour une visite renvoyée, 1 091 pour OpenAI, 195 pour Perplexity et 5,4 pour Google (Cloudflare, 2025). Ces ratios varient fortement d’un mois à l’autre et sous-estiment les visites venues des applications, qui ne signalent pas toujours leur provenance. Ils montrent néanmoins qu’un site très volumineux, comme un catalogue de dizaines de milliers de fiches, peut subir une charge réelle. La réponse est alors du ressort de l’hébergement : limiter le rythme d’exploration, dimensionner le serveur. Au sein du groupe, Nuubo traite ce volet.
La protection. Des documents confidentiels, des tarifs réservés ou un espace client ne se protègent pas avec robots.txt, mais avec un mot de passe et des droits d’accès. C’est une question de sécurité, que Kerbiik traite au sein du groupe, pas de référencement.
Et le fichier llms.txt ?
On vous le proposera peut-être : un fichier llms.txt, placé à la racine du site, qui présenterait votre entreprise aux IA sous une forme résumée. C’est une proposition publiée en septembre 2024 sur un site dédié, ouverte aux contributions, et non une norme (llmstxt.org).
Google a tranché pour sa recherche : il n’est pas nécessaire de créer des fichiers lisibles par machine, des fichiers texte pour l’IA ou un balisage particulier pour apparaître dans ses fonctions d’IA (Google Search Central, 2026). Les documentations d’OpenAI, d’Anthropic et de Perplexity sur leurs robots n’en font pas mention. Le créer ne nuit pas ; en attendre de la visibilité serait un pari.
Ce qui compte davantage pour être lu, c’est que vos pages le soient vraiment. Une étude de Vercel, hébergeur de sites, a constaté fin 2024 qu’aucun des principaux robots d’IA, dont ceux d’OpenAI, d’Anthropic et de Perplexity, n’exécutait le JavaScript ; seul Gemini, qui s’appuie sur l’infrastructure de Googlebot, en profitait (Vercel, 2024). Un site dont le texte n’apparaît qu’après exécution d’un script reste donc en partie invisible pour eux, quel que soit le réglage de robots.txt.
Quel choix selon votre profil ?
La bonne décision dépend de ce que votre site vend : l’accès à ses contenus, ou ce que ses contenus font connaître.
| Profil | Entraînement | Recherche des assistants | Fonctions d’IA de Google |
|---|---|---|---|
| PME de services (conseil, artisanat, industrie, B2B) | Ouvert, sauf contenu original à forte valeur | Ouvert | Ouvert |
| Éditeur de contenus (média, formation, études payantes) | Fermé, si le contenu est le produit | Au cas par cas : ouvert si les citations amènent des abonnés | À peser : exclusion possible si les aperçus IA remplacent la lecture |
| E-commerce | Ouvert, en général | Ouvert | Ouvert |
La PME de services a tout à gagner à être comprise et citée. Ses pages décrivent une offre, des zones, une méthode : les voir reprises dans une réponse, c’est être présenté à un prospect. Fermer l’entraînement n’a de sens que pour un contenu réellement original, comme une étude ou une méthode que l’entreprise vend par ailleurs.
L’éditeur vit de la lecture de ses textes. Si un assistant peut résumer l’article, le lecteur n’a plus de raison de venir. Refuser l’entraînement relève alors de la protection de l’actif, et le droit le permet. Pour la recherche des assistants et les aperçus IA, la question est comptable : les citations amènent-elles des abonnés, ou seulement des lecteurs perdus ?
Le site marchand a besoin que ses produits, ses prix et ses conditions soient repris correctement. Le risque, pour lui, n’est pas d’être lu mais d’être mal lu : des informations obsolètes reprises par un assistant. La réponse passe par des fiches produits à jour et lisibles sans script, pas par un blocage.
Une décision de direction, à revoir chaque semestre
Ce choix ne doit pas être laissé à une extension installée par défaut ou à un réglage d’hébergeur que personne n’a regardé. Quatre étapes suffisent.
- Constater l’existant. Demandez à votre prestataire le contenu actuel de votre fichier robots.txt et, le cas échéant, les règles de blocage de votre hébergeur ou de votre pare-feu. Certains ferment les robots d’IA par défaut, sans que l’entreprise l’ait décidé.
- Décider, famille par famille. Entraînement, recherche des assistants, fonctions d’IA de Google : une décision pour chacune, justifiée par votre profil.
- Consigner la décision. Une ligne dans le compte rendu du comité de direction suffit : ce qui est ouvert, ce qui est fermé, pourquoi.
- Revoir tous les six mois. Les éditeurs créent de nouveaux robots et Google fait évoluer ses réglages ; une décision prise en 2026 ne vaut pas pour toujours.
Une fois la porte ouverte, reste à savoir si vous êtes réellement repris dans les réponses. Le test de visibilité IA vérifie en dix points que votre site est prêt, et notre article sur la façon de mesurer sa visibilité dans les IA décrit le suivi à installer ensuite.
Au sein du groupe, Authoria inclut l’accès des robots dans ses corrections techniques : vérifier ce que les robots peuvent lire, et formuler les consignes pour vos développeurs. C’est l’une des premières étapes de la démarche pour être visible sur Google et dans les IA.
Questions fréquentes
Bloquer GPTBot fait-il baisser mon référencement sur Google ?
Non. GPTBot est le robot d’entraînement d’OpenAI : Google ne le voit pas et n’en tient pas compte. Le seul blocage qui touche votre référencement Google est celui de Googlebot. Même la consigne Google-Extended, qui concerne Google, est sans effet sur la recherche selon sa documentation.
Si je bloque les robots d’entraînement, les IA m’oublieront-elles ?
Pas immédiatement. Ce qui a déjà été collecté reste dans les modèles existants, et les robots de recherche des assistants, si vous les laissez passer, continuent de lire vos pages pour citer des sources à jour. Votre visibilité dans les réponses dépend surtout de ces derniers.
Puis-je sortir des aperçus IA de Google sans sortir de Google ?
Oui, depuis le 31 août 2026, avec le réglage « Search generative AI » de Search Console. Google annonce un effet sous un à deux jours, parfois plus, et aucun effet sur le classement dans le reste de la recherche. Pour la plupart des PME, ce n’est pas souhaitable : l’aperçu reste affiché, avec les liens de vos concurrents.
Mes textes ont déjà servi à entraîner des modèles. Puis-je revenir en arrière ?
Robots.txt ne vaut que pour l’avenir : il empêche les collectes suivantes, pas l’utilisation de ce qui a déjà été recueilli. Pour un litige sur un usage passé, c’est un avocat en propriété intellectuelle qu’il faut consulter.
Ce qu’il faut retenir
- Trois familles de robots d’IA, trois usages : l’entraînement, la recherche des assistants, les visites demandées par un utilisateur. Seule la deuxième conditionne directement vos citations.
- Google se règle à part : Googlebot pour la recherche et ses IA, Google-Extended pour Gemini, et désormais un réglage de Search Console pour les aperçus IA.
- Robots.txt exprime un refus reconnu par le droit, mais ne protège rien techniquement.
- Pour une PME de services, rester ouvert est presque toujours le bon choix ; un éditeur a de vraies raisons de fermer l’entraînement.
La prochaine étape : demandez cette semaine à votre prestataire le contenu de votre fichier robots.txt, et vérifiez qu’il correspond à une décision que vous avez prise. Si vous voulez un regard extérieur sur ce réglage et sur la place de votre site dans les réponses des IA, parlons-en sur la page travailler avec nous.


