Fichier llms.txt : utilité réelle et mise en place

Le fichier llms.txt est un fichier texte, écrit en Markdown, que l'on place à la racine d'un site pour donner aux modèles de langage un résumé de ce que contient ce site et où trouver ses pages les plus utiles. L'idée a été proposée en 2024 par Jeremy Howard, cofondateur d'Answer.AI, sur le modèle de robots.txt : un point d'entrée unique, lisible par une machine comme par un humain, qui remplace la navigation par un lien direct vers les ressources jugées importantes par le propriétaire du site.

Le problème, c'est que la proposition n'a jamais été adoptée officiellement par les fournisseurs de modèles de langage. Aucun signal ne confirme qu'OpenAI, Anthropic ou Google lisent ce fichier pour entraîner leurs modèles ou pour répondre à une requête. Ce guide explique ce que contient réellement un fichier llms.txt, en quoi il diffère de robots.txt et du sitemap XML, qui le consulte aujourd'hui dans les faits, et si sa création est un investissement justifié pour votre temps.

Ce que contient un fichier llms.txt

Techniquement, llms.txt est un fichier .txt hébergé à la racine du domaine, à l'adresse exemple.com/llms.txt, et rédigé en Markdown plutôt qu'en XML ou en JSON. La spécification proposée par Answer.AI définit une structure simple : un titre de niveau 1 avec le nom du site, une courte phrase en citation qui résume sa raison d'être, puis une ou plusieurs sections de niveau 2 regroupant des liens vers les pages considérées comme prioritaires, chacun accompagné d'une brève description.

Certains sites publient en complément un fichier llms-full.txt, qui ne se contente pas de lister des liens mais reproduit le contenu texte complet des pages citées, concaténé dans un seul document. L'intention est d'épargner à un modèle l'étape de suivre chaque lien et de récupérer chaque page une par une : tout est déjà rassemblé, prêt à être copié dans une fenêtre de contexte.

• Un titre de niveau 1 avec le nom du site ou du produit
• Une phrase courte qui résume ce que fait le site
• Des sections de niveau 2 par thème, comme documentation, produit ou blog
• Des liens Markdown accompagnés d'une description d'une ligne chacun

En quoi llms.txt diffère de robots.txt

robots.txt existe depuis 1994 et répond à une question précise : quels robots ont le droit d'explorer quelles adresses. C'est un protocole reconnu par tous les moteurs de recherche, avec une syntaxe standardisée, User-agent, Disallow, Allow, Sitemap, que Google, Bing et les autres respectent parce qu'ils s'y sont engagés, pas parce qu'une loi les y oblige. Son rôle est restrictif : il dit à un robot où il n'a pas le droit d'aller.

llms.txt fait l'inverse. Il ne restreint rien et n'a aucune valeur contraignante : ce n'est pas une directive de crawl, c'est une suggestion de lecture. Rien n'empêche un modèle de langage d'ignorer totalement ce fichier, de lire des pages qu'il ne mentionne pas, ou de ne jamais le charger. Là où robots.txt est appliqué par convention entre l'éditeur du site et le robot, llms.txt n'a, à ce jour, aucun robot connu qui s'engage formellement à le consulter.

En quoi llms.txt diffère du sitemap XML

Le sitemap XML a un objectif d'exhaustivité : il liste, dans un format machine strict, la totalité des adresses qu'un site souhaite voir indexées, avec des métadonnées comme la date de dernière modification. Un sitemap de plusieurs milliers d'adresses est normal, et les moteurs de recherche s'en servent pour découvrir des pages qu'un simple suivi de liens n'aurait pas trouvées.

llms.txt fait le choix inverse : la curation plutôt que l'exhaustivité. Un fichier llms.txt qui reproduit les dix mille adresses du sitemap perd tout son intérêt, puisque sa seule valeur ajoutée est de dire, parmi tout ce que contient ce site, voici ce qui compte vraiment. C'est un résumé édité par un humain, pas un export automatique de base de données. Les deux fichiers ne sont donc pas concurrents : un sitemap sert l'indexation exhaustive, un llms.txt sert l'orientation sélective, et un site peut publier les deux sans contradiction.

Qui lit réellement ce fichier aujourd'hui

C'est la question qui détermine tout le reste, et la réponse honnête est qu'on ne sait pas avec certitude, et que ce qu'on sait n'est pas très encourageant pour qui espère un effet direct sur son trafic. Aucun des grands fournisseurs de modèles de langage n'a publié de documentation confirmant que ses systèmes de récupération de contenu, qu'il s'agisse de l'entraînement, de la navigation en temps réel ou de la génération augmentée par récupération, consultent llms.txt de façon systématique.

Ce qui existe, en revanche, ce sont des outils tiers : des générateurs qui créent le fichier automatiquement à partir d'un sitemap, des annuaires qui recensent les sites en disposant d'un, et quelques frameworks de documentation qui l'ajoutent par défaut aux sites qu'ils génèrent. Cela crée une adoption visible côté producteurs de contenu, sans qu'on puisse en déduire une adoption équivalente côté consommateurs, c'est-à-dire les modèles eux-mêmes. Publier un llms.txt aujourd'hui, c'est parier sur une convention qui pourrait s'installer plus tard, pas répondre à une demande déjà confirmée.

La comparaison utile est celle des méta-mots-clés au début des années 2000 : un champ que n'importe quel site pouvait remplir, que certains moteurs ont ignoré dès le départ, et que d'autres ont fini par déprioriser une fois l'usage abusif constaté. Rien ne garantit que llms.txt suivra le même chemin, mais l'histoire du web est pleine de propositions de standards qui n'ont jamais dépassé le stade de la proposition.

Faut-il créer un fichier llms.txt pour son site

La réponse dépend moins de la technologie que du rapport entre le coût et le bénéfice pour votre contexte. Le coût est faible : rédiger un llms.txt correct prend entre trente minutes et deux heures selon la taille du site, et il n'y a aucun risque technique à le publier, contrairement à une erreur dans robots.txt qui peut bloquer l'indexation de pages entières sans que personne ne le remarque immédiatement.

Le bénéfice, lui, reste hypothétique. Si vous gérez un site de documentation technique, une API ou un produit dont les utilisateurs interrogent déjà des assistants pour comprendre comment s'en servir, l'exercice de rédaction a une valeur indépendante de son adoption par les modèles : il vous oblige à identifier vos dix ou quinze pages réellement essentielles, ce qui est aussi un bon exercice d'architecture de l'information pour vos visiteurs humains. Si votre site est un blog généraliste sans documentation structurée, le temps investi rapporte probablement plus ailleurs, du côté de l'accessibilité, de la vitesse de chargement, ou simplement d'un article de plus.

• Site avec documentation technique ou API : l'exercice de curation est utile en soi, indépendamment de son adoption
• Petit site vitrine sans page de référence claire : l'intérêt reste marginal
• Site marchand avec des milliers de fiches produit : ne pas chercher à tout lister, choisir les pages pivots comme les catégories ou les guides d'achat
• Aucun cas où publier un llms.txt correctement rédigé présente un risque pour le référencement existant

Comment créer et structurer son fichier llms.txt

La structure reprend le format Markdown proposé par Answer.AI. Commencez par un titre de premier niveau avec le nom exact du site ou de l'organisation, suivi d'une ligne en citation qui résume en une phrase ce que fait le site, la même discipline que pour une meta description, mais destinée à un lecteur automatique plutôt qu'à un internaute.

Organisez ensuite le contenu en sections de niveau 2 : une section Documentation avec les liens vers les guides principaux, une section Produit avec les pages qui expliquent ce qui est proposé, une section Blog si certains articles sont vraiment centraux pour comprendre le site. Chaque lien suit la syntaxe Markdown classique, titre de la page entre crochets suivi de l'adresse entre parenthèses puis d'une courte description après deux points, qui explique en une ligne pourquoi cette page est citée plutôt que de résumer son contenu.

Placez le fichier à la racine du domaine, exactement comme robots.txt, à l'adresse slash llms.txt. Vérifiez qu'il est accessible sans authentification et qu'il renvoie un code 200, puis ajoutez sa mise à jour à votre check-list de publication : un lien mort dans un llms.txt n'a pas le même effet immédiat qu'une erreur dans un sitemap, mais il envoie le même signal de négligence si quelqu'un finit par le consulter.

Gardez la liste courte : dix à vingt liens suffisent presque toujours, même pour un grand site. Un fichier qui s'allonge sans discipline recrée le problème qu'il était censé résoudre, celui d'un site où tout semble aussi important que le reste et où rien ne se distingue vraiment. Revoyez son contenu au même rythme que votre plan du site ou votre page d'accueil, par exemple à chaque trimestre ou à chaque changement de structure majeur, plutôt que de le traiter comme un document figé une fois publié et oublié dans un coin du serveur.

Erreurs courantes à éviter

La première erreur est de traiter llms.txt comme un second sitemap et d'y copier toutes les adresses du site : cela dilue exactement l'information que le fichier est censé apporter. La deuxième est de le rédiger une fois puis de l'oublier ; un llms.txt qui pointe vers des pages supprimées ou vers une version périmée de votre offre est pire qu'aucun fichier, puisqu'il transmet une information fausse à quiconque le lit.

La troisième erreur, la plus fréquente, est de le présenter en interne comme un levier de référencement garanti. Ce n'est pas ce que ce guide affirme, et ce n'est pas non plus ce qu'affirme la proposition originale d'Answer.AI : c'est un point d'entrée optionnel, pas un facteur de classement reconnu par un moteur de recherche. Le présenter autrement à une direction qui attend des résultats chiffrés crée une attente que rien ne vient étayer, et qui finira par retomber sur la personne qui l'a formulée.

• Dupliquer l'intégralité du sitemap dans le fichier llms.txt
• Laisser le fichier devenir obsolète après une refonte du site ou un changement d'offre
• Confondre llms.txt avec une directive de crawl comme le sont Disallow ou Allow dans robots.txt
• Promettre un gain de visibilité mesurable en s'appuyant sur ce seul fichier

Ce qui a plus d'impact que llms.txt aujourd'hui

Si l'objectif est d'être visible dans les réponses générées par un assistant, ce qui a un effet démontré aujourd'hui n'est pas llms.txt mais des éléments beaucoup plus prosaïques. Vérifier que les robots identifiés, GPTBot, ClaudeBot, PerplexityBot ou OAI-SearchBot entre autres, ne sont pas bloqués dans robots.txt en est un : plusieurs sites bloquent ces agents sans le savoir, à cause d'une règle générique héritée d'un autre contexte, ce qui empêche toute lecture du contenu quelle que soit la présence d'un llms.txt à côté.

Le rendu du contenu compte tout autant : une page dont le texte n'apparaît qu'après exécution de JavaScript n'est lisible ni par un robot d'indexation classique ni par la plupart des agents qui alimentent ces assistants, qui privilégient un HTML déjà rempli au moment où ils le récupèrent. Une structure de titres claire, des réponses explicites en début de paragraphe et un balisage sémantique correct servent à la fois le lecteur humain, les moteurs de recherche classiques et ces nouveaux agents, sans dépendre d'un fichier dont l'adoption reste, à ce jour, incertaine.