llms.txt Uitgelegd: De Specificatie, Werkelijke Adoptie en Hoe te Publiceren

llms.txt belooft AI een duidelijke kaart van je site te geven. Hier is wat de specificatie echt vereist, een eerlijke kijk op of crawlers het al gebruiken, en hoe je er een kunt publiceren.

llms.txt is een eenvoudig idee dat veel aandacht krijgt: een markdown bestand in de root van je site dat grote taalmodellen een duidelijke, samengestelde kaart geeft van wat je aanbiedt, in plaats van dat ze betekenis moeten halen uit met advertenties beladen HTML. Het is de moeite waard om precies te begrijpen - omdat er echte inhoud is in de specificatie, en echte overbelofte in de marketing eromheen. Deze gids behandelt wat het formaat daadwerkelijk vereist, een eerlijke kijk op of AI crawlers het vandaag respecteren, en hoe je er een kunt publiceren.

Waarom het bestand bestaat

Het voorstel, geïntroduceerd door Answer.AI in september 2024, begint vanuit een echte beperking: LLM contextvensters zijn te klein om de meeste websites in hun geheel te verwerken, en het omzetten van complexe HTML - navigatie, advertenties, scripts - in duidelijke tekst is verliesgevend en onnauwkeurig. llms.txt omzeilt dat door modellen beknopte, expert-niveau informatie te geven op één voorspelbare plek. Het sleutelwoord is inference: dit bestand is bedoeld om een model te helpen op het moment dat een gebruiker het iets vraagt, niet om trainingsruns te voeden. Het is een samengestelde overzicht, handmatig geschreven, geen dump van alles.

De specificatie, precies

Het bestand bevindt zich op /llms.txt en is geschreven in markdown, in een vaste sectievolgorde zodat het zowel programmatisch kan worden geparsed als door een model kan worden gelezen:

Een H1 met de project- of sitenaam. Dit is de enige verplichte sectie.
Een blockquote samenvatting die de belangrijkste context geeft die nodig is om de rest te begrijpen.
Nul of meer markdown secties (paragrafen, lijsten - geen koppen) met verdere details.
Nul of meer H2 'bestandslijsten': elk item is een markdown link [naam](url) gevolgd door een optionele : en een korte notitie.
Een speciale ## Optioneel sectie waarvan de links kunnen worden overgeslagen wanneer een kortere context nodig is.

Er is een begeleidend voorstel: serveer een schone markdown versie van elke pagina op dezelfde URL met .md toegevoegd (en index.html.md voor directory URL's), zodat een model de leesbare versie direct kan ophalen. Hier is een minimaal, geldig bestand:

# QuantumProxies

> Residential, ISP, datacenter, mobile and IPv6 proxies plus SERP, Scraper and
> Extract APIs for web data collection at scale.

Stable API endpoints, per-request rotation, and 200+ country geo-targeting.

## Docs

- [Scraper API](https://quantumproxies.io/scraper-api): Markdown/JSON/HTML output, JS rendering on demand
- [SERP API](https://quantumproxies.io/serp-api): Google, Bing and DuckDuckGo plus verticals

## Guides

- [Feeding LLMs fresh web data](https://quantumproxies.io/blog/feeding-llms-fresh-web-data-2026): grounding and RAG patterns

## Optional

- [All blog posts](https://quantumproxies.io/blog): the full archive, skip for short context

Vergelijking van robots.txt, sitemap.xml en llms.txt die laat zien dat elk rootbestand een andere functie heeft — llms.txt vult robots.txt en sitemaps aan - het vervangt geen van beide. Verschillende bestanden, verschillende functies.

Hoe het verschilt van robots.txt en sitemap.xml

Het staat naast de twee bestanden die je al kent, volgens dezelfde root-path conventie. robots.txt geeft toegangsregels aan - wie wat mag crawlen - en we behandelen dat in onze robots.txt gids. sitemap.xml somt elke indexeerbare menselijke pagina op voor zoekmachines. Geen van beide vervangt llms.txt: een sitemap linkt zelden naar de markdown versies van pagina's, wijst nooit naar nuttige externe bronnen, en is in zijn geheel veel te groot om in een contextvenster te passen. llms.txt is het samengestelde, LLM-grootte overzicht dat die twee nooit bedoeld waren te zijn.

Respecteren AI crawlers het daadwerkelijk? Een eerlijk antwoord

Hier is waar openhartigheid ertoe doet. llms.txt is een voorstel, geen officiële standaard, en de adoptie is ongelijk. Vanaf 2025 heeft geen enkele grote AI crawler publiekelijk bevestigd dat het llms.txt gebruikt om te rangschikken of te antwoorden - Google heeft duidelijk gezegd dat het het bestand niet gebruikt, en de documentatie van Chrome beschrijft het als 'een opkomende conventie'. De eerlijke positie: het publiceren ervan is goedkoop en onschadelijk, het kan hulpmiddelen helpen die wél documentatie opnemen (sommige ontwikkelaarsgerichte assistenten en documentatieplatforms gebruiken het), en het kost je niets om toekomstbestendig te zijn. Maar verwacht geen SEO of AI-verkeerswinst. Iedereen die llms.txt verkoopt als een rangschikkingstruc overdrijft een voorstel. Behandel het als een laagdrempelige hygiëne, niet als een groeimotor.

Hoe er een te publiceren

Schrijf het bestand met de hand voor een kleine site - het is bedoeld om samengesteld te zijn, en een doordacht bestand van 30 regels is beter dan een automatisch gegenereerd bestand van 300 regels. Voor grotere sites bestaan er plugins voor VitePress, Docusaurus, Mintlify en Drupal die het genereren vanuit je content, en directories zoals llmstxt.site catalogiseren gepubliceerde bestanden. De referentie tooling, llms_txt2ctx, breidt je bestand uit tot een enkele context blob die je kunt testen tegen echte modellen - het produceert een slanke versie zonder de Optionele links en een volledige versie met hen:

# Install the reference CLI and expand your file into an LLM context blob
pip install llms-txt

# Lean context (skips the ## Optional links)
llms_txt2ctx llms.txt > llms-ctx.txt

# Full context (includes Optional)
llms_txt2ctx --optional true llms.txt > llms-ctx-full.txt

De schrijf-eenmaal valkuil is veroudering. Een llms.txt die verwijst naar hernoemde of verwijderde pagina's misleidt actief. Als de jouwe gegenereerd is vanuit documenten, verbind het dan met je build; als het handmatig is geschreven, bekijk het dan op dezelfde frequentie als je sitemap. Het up-to-date houden van de gelinkte .md versies is dezelfde discipline achter elke grounding pipeline - onze gids voor RAG pipelines die niet verouderen is direct van toepassing.

Diagram van een llms.txt bestandstructuur: H1 naam, blockquote samenvatting, H2 bestandslijst secties en een optionele sectie — De structuur is vast en klein: een verplichte H1, een samenvattende blockquote, dan H2 lijsten van geannoteerde links.

Waar schone webdata binnenkomt

llms.txt gaat over het publiceren van een schone context voor je eigen site. Het spiegelprobleem - het verkrijgen van schone, LLM-klaar markdown van andermans sites voor je eigen model of agent - is waarvoor onze web data voor LLMs dienst bestaat. De Scraper API kan elke pagina als markdown retourneren, wat precies de vorm is die zowel een llms.txt .md spiegel als een RAG opnamepipeline willen. Als je een assistent bouwt die de live web moet lezen, is die markdown-eerste output het ontbrekende stuk; ons overzicht van het voeden van LLMs met verse webdata brengt het samen.

Verkrijg schone, LLM-klaar webdata

Veelgestelde vragen

Wat is llms.txt?

Het is een voorgesteld markdown bestand dat op de root van je site wordt geplaatst (/llms.txt) en grote taalmodellen een beknopt, samengesteld overzicht geeft van je inhoud en links naar gedetailleerde markdown versies van belangrijke pagina's. Het is bedoeld om modellen te helpen op inferentietijd - wanneer een gebruiker een vraag stelt - in plaats van bij training, en vereist alleen een H1 naam als zijn enige verplichte sectie.

Gebruiken AI modellen llms.txt daadwerkelijk?

Inconsistent. Het is een voorstel, geen geaccepteerde standaard; vanaf 2025 heeft geen enkele grote AI crawler bevestigd het te gebruiken om te rangschikken of te antwoorden, en Google heeft gezegd dat het dat niet doet. Sommige ontwikkelaarsgerichte assistenten en documentatietools nemen het wel op. Het publiceren ervan is goedkoop en maakt je site toekomstbestendig, maar behandel het als hygiëne, niet als een bewezen verkeers- of rangschikkingshefboom.

Hoe verschilt llms.txt van robots.txt?

Ze dienen tegenovergestelde bedoelingen. robots.txt stelt toegangsregels in - welke bots welke paden mogen crawlen - en wordt vaak gebruikt om crawlers buiten te houden. llms.txt nodigt AI uit en geeft het een samengestelde kaart van wat te lezen. Ze volgen dezelfde root-path conventie en bestaan naast elkaar; llms.txt vervangt robots.txt of je XML sitemap niet.

Hoe maak ik een llms.txt bestand?

Voor een kleine site, schrijf het met de hand: een H1 naam, een blockquote samenvatting, dan H2 secties met geannoteerde markdown links, met een ## Optioneel sectie voor overslaande extra's. Voor grotere sites, gebruik een generator plugin voor je platform. Test het door het uit te breiden met de llms_txt2ctx CLI en een model vragen te stellen over je inhoud.

llms.txt is een klein, verstandig idee dat de moeite waard is om te adopteren voor wat het is - een samengesteld contextbestand - en om sceptisch over te zijn voor wat het wordt verkocht als. Publiceer een schone, houd het fris, en combineer het met echt LLM-klaar webdata, en je hebt beide kanten gedekt: wat je blootstelt, en wat je modellen consumeren.

Verander elke pagina in LLM-klaar markdown