# Web scraper para LLMs: Markdown e JSON | QuantumProxies.io

Transforme qualquer URL em Markdown pronto para LLM com contagem de tokens e chunking RAG. Grounding search e extração por IA através de proxies residenciais.

## Web scraper para LLMs: Markdown e JSON

Transforme qualquer URL em Markdown pronto para LLM com contagem de tokens e chunking otimizado para RAG. Web Data para LLMs oferece a agentes de IA e pipelines um contexto web limpo e confiável através de proxies residenciais.

## Saída pronta para LLM

As páginas retornam como Markdown limpo, sem navegação nem texto repetitivo, com estimativas de tokens e chunking opcional com sobreposição, para que você as insira diretamente em um índice RAG ou prompt.

## Grounding search

Faça uma busca, obtenha em paralelo os melhores resultados como Markdown e receba um bloco de contexto pronto para citação dentro de um orçamento de tokens — ideal para motores de resposta e agentes de pesquisa.

## Extração por IA

Descreva os dados de que precisa e receba JSON estruturado, extraído de páginas reais e desbloqueadas através de IPs residenciais.

## Sources

- [The /llms.txt file (llmstxt.org)](https://llmstxt.org/)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)
- [Retrieval-augmented generation (Wikipedia)](https://en.wikipedia.org/wiki/Retrieval-augmented_generation)
- [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)
- [Common Crawl - Overview](https://commoncrawl.org/overview)
