# LLM용 웹 스크래퍼: Markdown과 JSON | QuantumProxies.io

토큰 계산과 RAG 청킹으로 모든 URL을 LLM 지원 Markdown으로 변환. 주거용 프록시를 통한 grounding 검색과 AI 추출.

## LLM용 웹 스크래퍼: Markdown과 JSON

토큰 계산과 RAG 친화적 청킹을 갖춘 LLM 지원 Markdown으로 모든 URL을 변환합니다. LLM용 Web Data는 주거용 프록시를 통해 AI 에이전트와 파이프라인에 깔끔하고 신뢰할 수 있는 웹 컨텍스트를 제공합니다.

## LLM 지원 출력

페이지는 내비게이션과 상용구를 제거한 깔끔한 Markdown으로 반환되며, 토큰 추정치와 선택적 중첩 청킹을 제공하여 RAG 인덱스나 프롬프트에 바로 넣을 수 있습니다.

## Grounding 검색

검색을 실행하고 상위 결과를 Markdown으로 병렬 수집하며, 토큰 예산 내에서 인용 가능한 컨텍스트 블록을 얻습니다. 답변 엔진과 리서치 에이전트에 이상적입니다.

## AI 추출

필요한 데이터를 설명하면 주거용 IP를 통해 실제로 차단되지 않은 페이지에서 추출한 구조화된 JSON을 받습니다.

## Sources

- [The /llms.txt file (llmstxt.org)](https://llmstxt.org/)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)
- [Retrieval-augmented generation (Wikipedia)](https://en.wikipedia.org/wiki/Retrieval-augmented_generation)
- [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)
- [Common Crawl - Overview](https://commoncrawl.org/overview)
