Google検索セントラルは2026年10月21日、YouTubeのシリーズ「Non-Canonical Cabinet」で「What can you actually put in a robots.txt?（robots.txtには実際に何を書けるのか）」を公開した。GoogleのGary Illyes氏とCherry Sireetorn Prommawin氏が、robots.txtにアスキーアートや絵文字、日本語などの非英語文字を書いたらどうなるか、独自ルールはどう扱われるか、生成AIのクロールをrobots.txtで制御できるか、といったコミュニティからの疑問を取り上げている。動画の概要欄に掲げられた結論（TL;DR）は「robots.txtは美しく退屈に（Keep your robots.txt beautifully boring）」だ。本記事では、動画の章立てと、概要欄で案内されているGoogleの公式ドキュメントをもとに要点を整理する。
要点（3行）
- Googleがrobots.txtで解釈するのはuser-agent、allow、disallow、sitemapの4項目。crawl-delayなどほかの項目や、解釈できない行は無視される
- 日本語や絵文字を含むパスはUTF-8のまま書いてもGoogleは処理できるが、パーセントエンコードした形に正規化して照合する。他社ツールとの互換性のためにはパーセントエンコードが扱いやすい
- Geminiの学習やグラウンディングへの利用は「Google-Extended」で制御できる。Google検索への掲載や順位には影響しない
動画で扱ったテーマ
動画（約9分45秒）の章立ては次のとおり。
- 00:46 robots.txtとRFC 9309とは何か
- 02:10 robots.txtにアスキーアートを書いてもよいか
- 03:13 パーサーが書式の誤りや独自ルールをどう扱うか
- 04:04 user-agentのトークンに絵文字や非英語文字は使えるか
- 04:54 URLパスに絵文字や非英語文字は使えるか
- 06:15 非ASCIIのパスをパーセントエンコードすべき理由
- 07:06 生成AIとrobots.txt
- 08:26 まとめ
Googleが解釈するのは4項目だけ、それ以外は無視
robots.txtは2022年にRFC 9309（Robots Exclusion Protocol）として標準化されている。Googleのドキュメント「How Google interprets the robots.txt specification」によると、Googleが対応する項目はuser-agent、allow、disallow、sitemapの4つで、crawl-delayなどほかの項目には対応していない。「#」以降はコメントとして無視され、解釈できない行も無視して有効な行だけを使う。アスキーアートや独自の記述を入れても、それ自体でファイル全体が壊れるわけではないが、意味を持つのは有効な行だけということになる。
- ファイルはUTF-8のテキスト。UTF-8以外の文字コードだと、範囲外の文字が無視されてルールが無効になるおそれがある
- サイズの上限は500KiBで、超えた部分は無視される
- 項目名（user-agentなど）とuser-agentの値は大文字小文字を区別しない。一方、allow／disallowのパスは大文字小文字を区別する
- 適用されるのは、クローラーに最も具体的に一致するuser-agentのグループ1つだけ。グループの記述順は関係ない
- パスのルールは、パスが長い（具体的な）ものが優先される。同じ強さで競合した場合は、制限の緩い方（allow）が使われる
- ワイルドカードは「*」（任意の0文字以上）と「$」（URLの末尾）のみ
- Googleは通常robots.txtを最大24時間キャッシュする
日本語や絵文字のパスはパーセントエンコードが無難
動画は非英語文字や絵文字を含むURLパスと、パーセントエンコードを推奨する理由に章を割いている。公式ドキュメントでは、ルールのパスはUTF-8の文字そのままでも、パーセントエンコードしたUTF-8文字列でもよいとしたうえで、GoogleのクローラーはRFC 9309に沿ってUTF-8のパスをパーセントエンコードした形に正規化してから照合すると説明している。たとえば「Disallow: /foo/bar/ツ」と「Disallow: /foo/bar/%E3%83%84」は同じものとして扱われる。Googleは生のUTF-8も正しく処理できるが、パーセントエンコードしておくと他社のツールやサービスでも扱いやすい、というのが公式の説明だ。
生成AIの制御は「Google-Extended」
動画の後半は生成AIを扱う。Googleのクローラー一覧のドキュメントによると、「Google-Extended」はrobots.txtで使う独立したトークンで、Googleがクロールしたコンテンツを今後のGeminiモデルの学習や、GeminiアプリおよびVertex AIでのグラウンディング（回答時に検索インデックスの内容を参照すること）に使うかどうかを管理できる。Google-Extended専用のクローラーがあるわけではなく、クロール自体は既存のGoogleのクローラーが行い、トークンは制御のためだけに使われる。また、Google-ExtendedはGoogle検索への掲載に影響せず、ランキング要因としても使われない。
実務担当者・マーケター向けの読みどころ
- robots.txtは「標準的に、シンプルに」：凝った装飾や独自ルールは、Googleでは無視されるだけでも、他の検索エンジンやSEOツールで想定外の解釈をされる可能性がある。4項目とコメントだけで書くのが安全
- crawl-delayに頼らない：Googleはcrawl-delayを解釈しない。Googlebotの負荷が問題なら、robots.txt以外の方法を検討する
- 日本語URLはエンコードして記述：日本語のカテゴリー名やタグ名をURLに使うサイトは、ルールをパーセントエンコードで書いておくとツールでの検証もしやすい。パスの大文字小文字の違いにも注意したい
- AI対策と検索流入を切り分ける：Gemini学習への利用を止めたい場合はGoogle-Extendedを使う。Googlebot自体をブロックすると検索流入まで失うので混同しない
- 変更後は検証する：Search Consoleのrobots.txtレポートで、Googleが取得したファイルと解析エラーを確認できる
注意点・補足
- robots.txtはクロールを制御する仕組みで、インデックスを防ぐものではない。ほかのページからリンクされていれば、ブロックしたURLが説明文なしで検索結果に表示されることがある。検索結果に出したくないページはnoindexやパスワード保護を使う
- robots.txtが429以外の4xxを返すと、Googleは「robots.txtがない」（制限なし）として扱う。5xxの場合は別の扱いになるため、サーバーエラーには注意が必要
- 公式ドキュメントがGoogle-Extendedの対象として挙げるのは、GeminiアプリとVertex AIでの学習・グラウンディング。Google検索への掲載や順位には影響しないとされている
- 本記事の動画内容は概要欄の章立てに基づき、技術仕様はGoogleの公式ドキュメントに基づいて記載している
出典
- Google Search Central（YouTube） — What can you actually put in a robots.txt?（2026-10-21）
- Google Search Central — Robots.txt Introduction and Guide
- Google Crawling Infrastructure — How Google Interprets the robots.txt Specification
- Google Crawling Infrastructure — Google’s common crawlers
- IETF — RFC 9309: Robots Exclusion Protocol
