# 面向LLM的网页抓取：Markdown与JSON | QuantumProxies.io

通过令牌计数和 RAG 分块将任意 URL 转为 LLM 就绪的 Markdown。经由住宅代理进行 grounding 搜索与 AI 提取。

## 面向LLM的网页抓取：Markdown与JSON

通过令牌计数和面向 RAG 的分块，将任意 URL 转换为 LLM 就绪的 Markdown。面向 LLM 的 Web Data 通过住宅代理，为 AI 智能体和管道提供干净、可靠的网页上下文。

## LLM 就绪的输出

页面以干净的 Markdown 返回，去除了导航和样板内容，并附带令牌估算和可选的重叠分块，便于直接放入 RAG 索引或提示词。

## Grounding 搜索

运行一次搜索，并行以 Markdown 抓取头部结果，并在令牌预算内获得可引用的上下文块——非常适合回答引擎和研究型智能体。

## AI 提取

描述你需要的数据，即可获得结构化 JSON，它从经由住宅 IP 抓取的真实、未被拦截的页面中提取。

## Sources

- [The /llms.txt file (llmstxt.org)](https://llmstxt.org/)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)
- [Retrieval-augmented generation (Wikipedia)](https://en.wikipedia.org/wiki/Retrieval-augmented_generation)
- [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)
- [Common Crawl - Overview](https://commoncrawl.org/overview)
