llms.txt Explicado: A Especificação, Adoção Real e Como Publicar
llms.txt promete entregar à IA um mapa limpo do seu site. Aqui está o que a especificação realmente exige, uma leitura honesta sobre se os crawlers já a utilizam, e como publicar um.
llms.txt é uma ideia simples que está recebendo muita atenção: um arquivo markdown na raiz do seu site que oferece aos modelos de linguagem uma visão limpa e curada do que você oferece, em vez de fazê-los lutar para extrair significado de um HTML carregado de anúncios. Vale a pena entender precisamente - porque há substância real na especificação e promessas exageradas no marketing em torno dela. Este guia cobre o que o formato realmente exige, uma leitura honesta sobre se os crawlers de IA a respeitam hoje, e como publicar um.
Por que o arquivo existe
A proposta, introduzida pela Answer.AI em setembro de 2024, parte de uma restrição real: as janelas de contexto dos LLMs são muito pequenas para engolir a maioria dos sites inteiros, e converter HTML complexo - navegação, anúncios, scripts - em texto limpo é impreciso e perde informações. llms.txt evita isso ao fornecer aos modelos informações concisas e de nível especialista em um local previsível. A palavra-chave é inferência: este arquivo é destinado a ajudar um modelo no momento em que um usuário lhe pergunta algo, não para alimentar execuções de treinamento. É uma visão geral curada, escrita à mão, não um despejo de tudo.
A especificação, precisamente
O arquivo está em /llms.txt e é escrito em markdown, em uma ordem de seções fixa para que possa ser analisado programaticamente, bem como lido por um modelo:
- Um H1 com o nome do projeto ou site. Esta é a única seção obrigatória.
- Um resumo em blockquote fornecendo o contexto chave necessário para entender o restante.
- Zero ou mais seções em markdown (parágrafos, listas - sem cabeçalhos) com mais detalhes.
- Zero ou mais H2 'listas de arquivos': cada item é um link em markdown
[nome](url)seguido por um opcional:e uma breve nota. - Uma seção especial ## Opcional cujos links podem ser ignorados quando um contexto mais curto é necessário.
Há uma proposta complementar: servir uma versão markdown limpa de qualquer página no mesmo URL com .md anexado (e index.html.md para URLs de diretório), para que um modelo possa buscar a versão legível diretamente. Aqui está um arquivo mínimo e válido:
# QuantumProxies
> Residential, ISP, datacenter, mobile and IPv6 proxies plus SERP, Scraper and
> Extract APIs for web data collection at scale.
Stable API endpoints, per-request rotation, and 200+ country geo-targeting.
## Docs
- [Scraper API](https://quantumproxies.io/scraper-api): Markdown/JSON/HTML output, JS rendering on demand
- [SERP API](https://quantumproxies.io/serp-api): Google, Bing and DuckDuckGo plus verticals
## Guides
- [Feeding LLMs fresh web data](https://quantumproxies.io/blog/feeding-llms-fresh-web-data-2026): grounding and RAG patterns
## Optional
- [All blog posts](https://quantumproxies.io/blog): the full archive, skip for short context
Como difere de robots.txt e sitemap.xml
Ele fica ao lado dos dois arquivos que você já conhece, seguindo a mesma convenção de caminho raiz. robots.txt estabelece regras de acesso - quem pode rastrear o quê - e cobrimos isso em nosso guia de robots.txt. sitemap.xml lista todas as páginas humanas indexáveis para motores de busca. Nenhum substitui o llms.txt: um sitemap raramente vincula as versões markdown das páginas, nunca aponta para recursos externos úteis, e em conjunto é grande demais para caber em uma janela de contexto. llms.txt é a visão geral curada, do tamanho de um LLM, que esses dois nunca foram projetados para ser.
Os crawlers de IA realmente o respeitam? Uma resposta honesta
Aqui é onde a franqueza importa. llms.txt é uma proposta, não um padrão oficial, e a adoção é desigual. A partir de 2025, nenhum grande crawler de IA confirmou publicamente que consome llms.txt para classificar ou responder - o Google disse claramente que não usa o arquivo, e a própria documentação do Chrome o descreve como 'uma convenção emergente'. A posição honesta: publicar um é barato e inofensivo, pode ajudar ferramentas que realmente ingerem documentação (alguns assistentes focados em desenvolvedores e plataformas de documentação o utilizam), e não custa nada para se preparar para o futuro. Mas não espere um aumento de SEO ou tráfego de IA. Qualquer um que venda llms.txt como um truque de classificação está exagerando uma proposta. Trate-o como uma higiene de baixo esforço, não como uma alavanca de crescimento.
Como publicar um
Escreva o arquivo à mão para um site pequeno - ele deve ser curado, e um arquivo de 30 linhas bem pensado supera um de 300 linhas gerado automaticamente. Para sites maiores, existem plugins para VitePress, Docusaurus, Mintlify e Drupal que o geram a partir do seu conteúdo, e diretórios como llmstxt.site catalogam arquivos publicados. A ferramenta de referência, llms_txt2ctx, expande seu arquivo em um único blob de contexto que você pode testar contra modelos reais - ela produz uma versão enxuta sem os links Opcionais e uma versão completa com eles:
# Install the reference CLI and expand your file into an LLM context blob
pip install llms-txt
# Lean context (skips the ## Optional links)
llms_txt2ctx llms.txt > llms-ctx.txt
# Full context (includes Optional)
llms_txt2ctx --optional true llms.txt > llms-ctx-full.txtA armadilha do escrever-uma-vez é a obsolescência. Um llms.txt que aponta para páginas renomeadas ou excluídas engana ativamente. Se o seu for gerado a partir de documentos, integre-o ao seu build; se for escrito à mão, revise-o na mesma cadência que seu sitemap. Manter as versões vinculadas .md atualizadas é a mesma disciplina por trás de qualquer pipeline de fundamentação - nosso guia para pipelines RAG que não ficam obsoletos se aplica diretamente.
Onde entra o web data limpo
llms.txt é sobre publicar um contexto limpo para o seu próprio site. O problema espelho - obter markdown limpo e pronto para LLM de sites de terceiros para seu próprio modelo ou agente - é para o que nosso serviço de web data para LLMs existe. A Scraper API pode retornar qualquer página como markdown, que é exatamente o formato que tanto um espelho llms.txt .md quanto um pipeline de ingestão RAG desejam. Se você está construindo um assistente que precisa ler a web ao vivo, essa saída em markdown é a peça que falta; nossa visão geral de alimentar LLMs com dados da web atualizados amarra tudo.
Obtenha dados da web limpos e prontos para LLM
Perguntas frequentes
O que é llms.txt?
É um arquivo markdown proposto colocado na raiz do seu site (/llms.txt) que oferece aos modelos de linguagem uma visão geral concisa e curada do seu conteúdo e links para versões detalhadas em markdown de páginas chave. Destina-se a ajudar os modelos no momento da inferência - quando um usuário faz uma pergunta - em vez de no treinamento, e requer apenas um nome H1 como sua única seção obrigatória.
Os modelos de IA realmente usam llms.txt?
De forma inconsistente. É uma proposta, não um padrão adotado; a partir de 2025, nenhum grande crawler de IA confirmou usá-lo para classificar ou responder, e o Google disse que não o faz. Alguns assistentes focados em desenvolvedores e ferramentas de documentação o ingerem. Publicar um é barato e prepara seu site para o futuro, mas trate-o como higiene, não como uma alavanca comprovada de tráfego ou classificação.
Como o llms.txt é diferente do robots.txt?
Eles servem a intenções opostas. robots.txt define regras de acesso - quais bots podem rastrear quais caminhos - e é frequentemente usado para manter crawlers fora. llms.txt convida a IA e oferece um mapa curado do que ler. Eles seguem a mesma convenção de caminho raiz e coexistem; llms.txt não substitui robots.txt ou seu sitemap XML.
Como eu crio um arquivo llms.txt?
Para um site pequeno, escreva à mão: um nome H1, um resumo em blockquote, depois seções H2 listando links anotados em markdown, com uma seção ## Opcional para extras que podem ser ignorados. Para sites maiores, use um plugin gerador para sua plataforma. Teste-o expandindo-o com a CLI llms_txt2ctx e fazendo perguntas a um modelo sobre seu conteúdo.
llms.txt é uma ideia pequena e sensata que vale a pena adotar pelo que é - um arquivo de contexto curado - e vale a pena ser cético pelo que é vendido como. Publique um limpo, mantenha-o atualizado, e combine-o com dados da web genuinamente prontos para LLM, e você cobriu ambos os lados: o que você expõe e o que seus modelos consomem.