La politique du site vis-à-vis des IA

Si en théorie on peut limiter l’entraînement des robots IA sur un site, il est difficile et d’une certaine façon contre-productif de vouloir bloquer toute visite d’IA. Le blog d’O2switch rappelle que refuser les robots d’entraînement et refuser les robots de citation sont deux décisions distinctes.

Aborder la question sans dogmatisme

Au début je pensais utile et efficace de poser des verrous. Il y a un chemin entre vouloir tout bloquer (ne plus être « trouvable ») et ne rien faire. Il faut également tenir compte des évolutions permanentes.

Si une grande partie des visiteuses et visiteurs du site viennent du Fédiverse, sont déjà abonné·es au flux RSS, certaines personnes vont le découvrir à l’occasion d’une recherche via un moteur.

• Oui mais, le public confie de plus en plus la recherche à l’IA et d’ailleurs la plupart des grands moteurs de recherche intègrent l’IA.

Là où autrefois un moteur de recherche indexait plus ou moins bien les pages et les listait explicitement, aujourd’hui les réponses aux questions posées s’effectuent de plus en plus avec le recours à l’IA ce qui a pour conséquence d’invisibiliser les sites.

Les résultats sont donnés sans référence aux sites où ils ont été pourtant prélevés. Les visites sur les sites en question peuvent baisser. De plus les réponses peuvent être faussées par un prélèvement partiel.

La politique du site vis-à-vis des IA

Pour rappel voici les principes qui sont en usage ici :

Les textes sont écrits par un humain, sans IA.

• j’ai déjà expliqué que cela me priverait du plaisir d’écrire, ça n’aurait pas de sens pour moi.

WordPress n’est pas connecté à l’IA

• je refuse de donner la main à un tiers

Je peux utiliser ponctuellement des « bouts de code » produits par de l’IA

• pour des usages limités, précis, testés (je mets souvent les IA en compétition pour choisir). C’est souvent une façon empirique pour moi de mieux comprendre comment fonctionne le code et j’adapte et modifie en fonction de mes besoins.

Je ne veux pas que mon site serve à l’entraînement de modèles

• sur mes textes sans accord préalable.
• même si je sais sans naïveté que cela a pu se faire sur le premier corpus du site et que certains robots vont passer outre les consignes

J’accepte la lecture, le résumé et ou la citation brève

• à condition de citer la source (titre et lien), pour que les lecteurs puissent remonter jusqu’au site.

• L’idée c’est de préserver tout de même le droit d’auteur.

Deux « familles » de robots, deux réponses

Pour les uns je vais refuser l’entraînement et pour d’autres autoriser la citation.

En ce moment :

Entraînement :

GPTBot → refusé
ClaudeBot → refusé
CCBot → refusé
Google-Extended → refusé
Applebot-Extended → refusé
Meta-ExternalAgent → refusé
Bytespider → refusé

Recherche / citation :

OAI-SearchBot → autorisé
ChatGPT-User → autorisé
Claude-SearchBot → autorisé
Claude-User → autorisé
PerplexityBot → autorisé
Perplexity-User → autorisé

à noter : Le refus de Google-Extended empêche l’usage des textes pour entraîner les modèles Gemini, mais il ne contrôle pas les réponses IA de la recherche Google (AI Overviews), qui s’appuient sur Googlebot.

J’ai configuré deux fichiers (vous pouvez vous en inspirer pour les adapter à votre site)

Le fichier robots.txt

• https://vincentbreton.fr/robots.txt

Le fichier llms.txt

• https://vincentbreton.fr/llms.txt

À savoir :

Un fichier robots.txt estdestiné aux robots qui visitent un site, indiquant lesquels sont autorisés ou interdits d’explorer certaines parties du site. Il permet notamment de contrôler l’accès des robots des moteurs de recherche et des IA.
Un fichier llms.txt est destiné aux systèmes d’IA et il présente les règles et indications du site concernant l’utilisation de ses contenus : lecture, citation, résumé, entraînement, etc. Il sert surtout à exprimer clairement la politique éditoriale du site envers les IA.

Notamment concernant robots.txt, tout ça repose sur le bon vouloir des robots : les scrapers qui ne s’annoncent pas l’ignorent.
ChatGPT-User par exemple ne respecterait pas toujours le robots.txt.
Aucun de ces fichiers n’est un contrat : ils expriment une position et laissent des traces consultables.

On est sur du « déclaratif » et d’une certaine manière, le pauvre quidam que je suis reste bien fragile face à ces machines « dévoratrices ».