llms.txtの解説: 仕様、実際の採用状況、公開方法

llms.txtはAIにあなたのサイトのクリーンな地図を提供することを約束します。ここでは、仕様が本当に要求するもの、クローラーがそれを使用しているかどうかの正直な評価、そしてそれを公開する方法について説明します。

llms.txtはシンプルなアイデアであり、多くの注目を集めています。それは、サイトのルートにあるマークダウンファイルで、大規模言語モデルに広告だらけのHTMLから意味を引き出す代わりに、提供するもののクリーンでキュレーションされた地図を提供します。仕様には実質的な内容があり、それに関するマーケティングには過剰な宣伝があるため、正確に理解する価値があります。このガイドでは、フォーマットが実際に要求するもの、AIクローラーが今日それを尊重しているかどうかの正直な評価、そしてそれを公開する方法について説明します。

ファイルが存在する理由

2024年9月にAnswer.AIによって提案されたこの提案は、現実の制約から始まります。LLMのコンテキストウィンドウはほとんどのウェブサイトを丸ごと飲み込むには小さすぎ、複雑なHTML（ナビゲーション、広告、スクリプト）をクリーンなテキストに変換することは損失が多く不正確です。llms.txtは、モデルに一貫した専門的な情報を予測可能な場所で提供することでそれを回避します。キーワードは推論です。このファイルは、ユーザーが何かを尋ねたときにモデルを助けることを目的としており、トレーニングランに供給するためのものではありません。それはキュレーションされた概要であり、すべてをダンプするものではありません。

仕様、正確に

ファイルは/llms.txtにあり、マークダウンで書かれています。固定されたセクション順序で書かれているため、プログラム的に解析されると同時にモデルによって読み取られることができます。

プロジェクトまたはサイト名を持つH1。これは唯一の必須セクションです。
キーとなるコンテキストを提供するblockquoteの要約。
さらに詳細を提供するゼロまたは複数のマークダウンセクション（段落、リスト - 見出しなし）。
ゼロまたは複数のH2「ファイルリスト」：各項目はマークダウンリンク[name](url)であり、オプションの:と短いメモが続きます。
短いコンテキストが必要な場合にリンクをスキップできる特別な## Optionalセクション。

関連する提案として、同じURLに.mdを追加して、任意のページのクリーンなマークダウンバージョンを提供することがあります（ディレクトリURLの場合はindex.html.md）。これにより、モデルは直接読み取り可能なバージョンを取得できます。以下は最小限の有効なファイルです。

# QuantumProxies

> Residential, ISP, datacenter, mobile and IPv6 proxies plus SERP, Scraper and
> Extract APIs for web data collection at scale.

Stable API endpoints, per-request rotation, and 200+ country geo-targeting.

## Docs

- [Scraper API](https://quantumproxies.io/scraper-api): Markdown/JSON/HTML output, JS rendering on demand
- [SERP API](https://quantumproxies.io/serp-api): Google, Bing and DuckDuckGo plus verticals

## Guides

- [Feeding LLMs fresh web data](https://quantumproxies.io/blog/feeding-llms-fresh-web-data-2026): grounding and RAG patterns

## Optional

- [All blog posts](https://quantumproxies.io/blog): the full archive, skip for short context

robots.txt、sitemap.xml、llms.txtの比較 - 各ルートファイルが異なる役割を果たすことを示しています。 — llms.txtはrobots.txtやサイトマップを補完するものであり、どちらも置き換えるものではありません。異なるファイル、異なる役割。

robots.txtやsitemap.xmlとの違い

それは、あなたがすでに知っている2つのファイルと並んで、同じルートパスの慣例に従います。robots.txtはアクセスルールを示し、誰が何をクロールできるかを示します。これについては、robots.txtガイドで説明しています。sitemap.xmlは検索エンジンのためにインデックス可能なすべての人間のページをリストします。どちらもllms.txtの代わりにはなりません。サイトマップはページのマークダウンバージョンをリンクすることはめったになく、有用な外部リソースを指すこともなく、全体としてコンテキストウィンドウに収まるには大きすぎます。llms.txtは、これら2つが設計されていなかったキュレーションされたLLMサイズの概要です。

AIクローラーは実際にそれを尊重しているか？正直な答え

ここで正直さが重要です。llms.txtは提案であり、公式の標準ではなく、採用は不均一です。2025年現在、主要なAIクローラーはllms.txtをランク付けや回答に使用していると公に確認しておらず、Googleはそのファイルを使用していないと明言しています。Chromeのドキュメントでは「新しい慣例」と説明されています。正直な立場としては、公開することは安価で無害であり、ドキュメントを取り込むツール（いくつかの開発者向けアシスタントやドキュメントプラットフォームが使用しています）に役立ち、将来を見据えてもコストはかかりません。しかし、SEOやAIトラフィックの急増を期待しないでください。llms.txtをランキングハックとして販売している人は、提案を過大評価しています。低コストの衛生管理として扱い、成長のレバーとしては扱わないでください。

公開方法

小規模なサイトの場合、手作業でファイルを書いてください。それはキュレーションされたものであり、思慮深い30行のファイルは自動生成された300行のファイルよりも優れています。大規模なサイトの場合、VitePress、Docusaurus、Mintlify、Drupal用のプラグインがコンテンツから生成します。llmstxt.siteのようなディレクトリが公開されたファイルをカタログ化しています。リファレンスツールllms_txt2ctxは、ファイルを1つのコンテキストブロブに展開し、実際のモデルに対してテストできます。オプションのリンクなしのスリムなバージョンと、それを含む完全なバージョンを生成します。

# Install the reference CLI and expand your file into an LLM context blob
pip install llms-txt

# Lean context (skips the ## Optional links)
llms_txt2ctx llms.txt > llms-ctx.txt

# Full context (includes Optional)
llms_txt2ctx --optional true llms.txt > llms-ctx-full.txt

一度書いて終わりの罠は陳腐化です。名前が変更されたり削除されたページを指すllms.txtは誤解を招きます。ドキュメントから生成される場合はビルドに組み込み、手作業で作成された場合はサイトマップと同じペースで見直してください。リンクされた.mdバージョンを新鮮に保つことは、あらゆるグラウンディングパイプラインの背後にある同じ規律です - 陳腐化しないRAGパイプラインに関するガイドが直接適用されます。

llms.txtファイル構造の図: H1名、blockquote要約、H2ファイルリストセクションとオプションセクション — 構造は固定されており小さいです: 必須のH1、要約のblockquote、注釈付きリンクのH2リスト。

クリーンなウェブデータが入る場所

llms.txtは、あなた自身のサイトのためにクリーンなコンテキストを公開することに関するものです。ミラー問題 - 他の人のサイトからクリーンでLLM対応のマークダウンを取得して自分のモデルやエージェントに使用すること - は、私たちのLLM向けウェブデータサービスが存在する理由です。Scraper APIは任意のページをマークダウンとして返すことができ、これはllms.txt .mdミラーとRAG取り込みパイプラインの両方が求める形状です。ライブウェブを読む必要があるアシスタントを構築している場合、そのマークダウンファーストの出力が欠けているピースです。LLMに新鮮なウェブデータを供給するに関する私たちの概要がそれをまとめています。

クリーンでLLM対応のウェブデータを取得

よくある質問

llms.txtとは何ですか？

それは、あなたのサイトのルート（/llms.txt）に配置される提案されたマークダウンファイルで、大規模言語モデルにあなたのコンテンツの簡潔でキュレーションされた概要を提供し、主要なページの詳細なマークダウンバージョンへのリンクを提供します。それは、ユーザーが質問をしたときにモデルを助けることを目的としており、トレーニングのためではなく、唯一の必須セクションとしてH1名を必要とします。

AIモデルは実際にllms.txtを使用していますか？

一貫していません。それは提案であり、採用された標準ではありません。2025年現在、主要なAIクローラーはそれをランク付けや回答に使用していると確認しておらず、Googleは使用していないと述べています。いくつかの開発者向けアシスタントやドキュメントツールはそれを取り込んでいます。公開することは安価で将来を見据えたものですが、衛生管理として扱い、証明されたトラフィックやランキングのレバーとしては扱わないでください。

llms.txtはrobots.txtとどう違うのですか？

それらは反対の意図を持っています。robots.txtはアクセスルールを設定し、どのボットがどのパスをクロールできるかを示し、しばしばクローラーを排除するために使用されます。llms.txtはAIを招き入れ、読むべきもののキュレーションされた地図を提供します。それらは同じルートパスの慣例に従い共存します。llms.txtはrobots.txtやXMLサイトマップを置き換えるものではありません。

llms.txtファイルを作成するにはどうすればよいですか？

小規模なサイトの場合、手作業で書いてください: H1名、blockquote要約、注釈付きマークダウンリンクをリストするH2セクション、スキップ可能なエクストラ用の## Optionalセクション。大規模なサイトの場合、プラットフォーム用のジェネレータープラグインを使用してください。llms_txt2ctx CLIで展開し、モデルにあなたのコンテンツについて質問することでテストしてください。

llms.txtは、小さく、合理的なアイデアであり、それが何であるかのために採用する価値があり、何として売られているかについて懐疑的である価値があります。クリーンなものを公開し、新鮮に保ち、実際にLLM対応のウェブデータと組み合わせれば、両方の側面をカバーしています: あなたが公開するものと、あなたのモデルが消費するもの。

任意のページをLLM対応のマークダウンに変換