llms.txtとは？AIクローラー向け新標準
llms.txtの役割と書き方を初心者向けに解説。AIクローラー向けの新標準として2025年から普及した仕組み、実装例、SEO/LLMOへの効果を紹介します。
llms.txtとは？AIクローラー向け新標準
この結論: llms.txtはサイトのトップに置くMarkdownファイルで、AIクローラーに「サイトの全体像と主要URLを伝える」役割があります。2024年9月提唱、2025年から大手サイトが採用を開始しました。
最終更新日: 2026-05-04
はじめに
「llms.txtって何？」「robots.txtとは違うの？」「設置すべき？」という疑問に答える記事です。LLMOの新標準として注目されるllms.txtの全体像を、Answer.AI公式情報をベースに解説します。
llms.txtとは
llms.txtは、Webサイトのルート（/llms.txt）に配置するMarkdown形式のファイルです。AIクローラー・LLMがサイトを効率的に理解できるよう、サイトの要約・主要コンテンツのインデックスを記述します。
2024年9月、AnswerDotAI（Jeremy Howard氏）がllmstxt.orgで提唱しました。
なぜllms.txtが必要なのか
LLMはWebページをそのまま読み込めますが、次の課題があります。
- コンテキストウィンドウ制限: LLMは一度に処理できるトークン数に上限がある
- HTMLノイズ: ナビゲーション、広告、装飾HTMLが混ざる
- 重要ページの判別困難: クローラーが「何が主要コンテンツか」を判断しにくい
llms.txtは、これらの課題に対する「サイトオーナーからAIへのガイド」として機能します。
robots.txt、sitemap.xmlとの違い
| ファイル | 役割 | 形式 | 対象 |
|---|---|---|---|
| robots.txt | クロール禁止指示 | テキスト | 全クローラー |
| sitemap.xml | URL一覧 | XML | 検索エンジン |
| llms.txt | 要約とコンテンツ案内 | Markdown | AI/LLM |
3者は競合せず、補完関係です。
llms.txtの基本構造
llms.txtはMarkdown形式で、次の構造を持ちます。
# サイト名
> サイトの1〜2文の要約
## カテゴリ1（例：ドキュメント）
- [ページタイトル](URL): 1〜2文の説明
- [ページタイトル](URL): 1〜2文の説明
## カテゴリ2（例：ブログ）
- [記事タイトル](URL): 概要
## Optional
- [補助情報](URL): 説明
「Optional」セクションは、LLMが容量制限時にスキップしてよい情報を示すために使います。
実装例：本サイトの場合
# LLMO Tool
> SEOとLLMOを学べる初心者向けメディア。Google検索とChatGPT・Perplexity・AI Overview対策を体系的に解説します。
## SEO基礎
- [SEOとは？初心者向け完全ガイド](https://example.com/articles/seo-basics-complete-guide): SEOの全体像と2026年最新動向
- [検索エンジンの仕組み](https://example.com/articles/how-search-engines-work): クロール・インデックス・ランキングの解説
- [E-E-A-Tとは？](https://example.com/articles/eeat-explained): Google品質評価ガイドラインの解説
## LLMO基礎
- [LLMOとは？](https://example.com/articles/llmo-complete-guide): AI検索時代の新SEO完全入門
- [SEOとLLMOの違い](https://example.com/articles/seo-vs-llmo-difference): 両者の比較
## Optional
- [著者プロフィール](https://example.com/about): 編集部紹介
llms-full.txtとの違い
llms.txtの拡張として llms-full.txt があります。これは「主要ページのMarkdown全文を1ファイルにまとめたもの」で、LLMが追加クロールなしで全コンテンツを把握できる利点があります。
llms.txt → サイト全体のインデックス（軽量）
llms-full.txt → 主要記事の本文をまとめた全文ファイル（重い）
ドキュメントサイトやAPIリファレンスサイトで採用が進んでいます。
ポイント: llms-full.txtは数MBになることもあります。容量を抑えるため、ヘッダー・フッター・装飾を除いた純粋なコンテンツだけを含めます。
採用事例（2025〜2026年）
llms.txtを早期採用した代表的なサイト：
- Anthropic（docs.anthropic.com）
- Cloudflare（cloudflare.com）
- Mintlify（mintlify.com）
- Cursor（cursor.com）
- LangChain（langchain.com）
ドキュメントを持つ技術系サイトを中心に、2025年中に採用が広がりました。
設置方法
ステップ1：ファイル作成
Markdownエディタやテキストエディタで llms.txt を作成します。
ステップ2：ルートに配置
サーバーのルート直下に配置します。
https://example.com/llms.txt
ステップ3：アクセス確認
ブラウザで直接URLを開いて表示されることを確認します。
ステップ4：自動生成の検討
WordPressやドキュメント生成ツール（Mintlify、Docusaurus等）では自動生成プラグインが登場しています。
SEO/LLMOへの効果
llms.txtの直接的なSEO効果は確認されていませんが、次の効果が期待できます。
- AIクローラーの効率向上
- 主要コンテンツの誤解釈防止
- ChatGPT、Claude、Perplexity等での引用率向上
- ブランド情報の正確な伝達
ただし「設置すれば即効果」というものではなく、コンテンツ自体の品質が前提です。
やってはいけないNG
- robots.txtでブロックしているURLをllms.txtに含める（矛盾）
- 古いURLを残したまま放置
- 全URLを羅列して焦点がぼやける
- リンク先と説明が一致しない
llms.txtを使うべきサイト
特に効果が大きいサイト：
- ドキュメントサイト
- APIリファレンス
- 技術ブログ
- ナレッジベース
- 大規模メディア
逆にECサイトや小規模ブログでは、優先度は低めです。
よくある質問
Q1. llms.txtは公式に標準化されていますか？
A. 2026年5月時点ではAnswer.AIが提唱した非公式仕様です。ただし主要AI企業（Anthropic、OpenAI等）が採用しているため事実上の標準になりつつあります。
Q2. llms.txtを設置するとAIから流入が増えますか？
A. 直接的な流入増加は期待できません。あくまで「正確に認識される」ための施策です。
Q3. robots.txtでAllowしているのにllms.txtで除外できますか？
A. llms.txt自体にクロール拒否機能はありません。クロール制御はrobots.txtで行います。
Q4. llms.txtの更新頻度は？
A. サイト構造が変わった時、主要記事を追加した時。月1回程度の見直しが目安です。
関連用語
関連記事
参考文献・出典
- llms.txt 公式仕様 — Answer.AI公式
- Anthropic Docs llms.txt — 採用事例
- Mintlify — llms.txt support — ドキュメント生成での対応
- Jeremy Howard — llms.txt proposal — 提唱者公式
関連用語
- E-E-A-T
E-E-A-Tとは、Googleがコンテンツ品質を評価する4つの観点「Experience（経験）・Expertise（専門性）・Authoritativeness（権威性）・Trustworthiness（信頼性）」のこと。SEOとLLMO両方で最重要の概念です。
- インデックス
インデックスとは、クローラーが集めたページをGoogleがデータベースに登録すること。インデックスされて初めて検索結果に表示される対象になります。「索引」とイメージすると分かりやすい用語です。
- llms.txt
llms.txtとは、サイト運営者がAIクローラーに「このサイトの重要な情報はここ」と伝えるためのMarkdownファイルの提案。2024年9月にJeremy Howard氏が提唱し、急速に普及しつつある新しい標準です。
- クローラー
クローラーとは、Web上のページを自動巡回してデータを集めるプログラムのこと。Googleの「Googlebot」が代表例で、これに見つけてもらわないと検索結果に表示されません。
- 構造化データ
構造化データとは、Webページの内容を検索エンジンが理解しやすい形式で記述したメタ情報。記事の著者・公開日、商品の価格・在庫などを機械可読にすることでリッチリザルトやAI引用の対象になります。
- sitemap.xml
sitemap.xmlとは、サイト内のページ一覧をXML形式でまとめたファイル。クローラーに「うちにはこんなページがありますよ」と教えるための地図で、新規サイトのインデックス促進に必須です。