# LLM向けWebスクレイパー：MarkdownとJSON | QuantumProxies.io

任意のURLをトークン計算とRAGチャンク化でLLM対応のMarkdownに変換。レジデンシャルプロキシ経由のグラウンディング検索とAI抽出。

## LLM向けWebスクレイパー：MarkdownとJSON

任意のURLを、トークン計算とRAG向けチャンク化を備えたLLM対応のMarkdownに変換します。LLM向けWeb Dataは、レジデンシャルプロキシを通じてAIエージェントやパイプラインにクリーンで信頼できるWebコンテキストを提供します。

## LLM対応の出力

ページはナビゲーションや定型文を取り除いたクリーンなMarkdownで返され、トークン見積もりと任意のオーバーラップ対応チャンク化により、RAGインデックスやプロンプトにそのまま投入できます。

## グラウンディング検索

検索を実行し、上位結果を並列にMarkdownで取得し、トークン予算内で引用可能なコンテキストブロックを得られます。回答エンジンやリサーチエージェントに最適です。

## AI抽出

必要なデータを記述するだけで、レジデンシャルIP経由の実在するブロックされていないページから抽出された構造化JSONを受け取れます。

## Sources

- [The /llms.txt file (llmstxt.org)](https://llmstxt.org/)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)
- [Retrieval-augmented generation (Wikipedia)](https://en.wikipedia.org/wiki/Retrieval-augmented_generation)
- [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)
- [Common Crawl - Overview](https://commoncrawl.org/overview)
