この調査の要点
- robots.txtを確認できた99サイトのうち、GPTBotを全面ブロックしていたのは32サイト（32.3%）。調べた10種のAIクローラーのどれかを全面ブロックしていたのは35サイト（35.4%）でした。
- 10種すべてを全面ブロックしていたのは19サイトで、全国紙・通信社・地方紙・スポーツ紙などの報道系サイトに集中していました。全国紙・通信社は8サイトすべてがGPTBotを全面ブロックしています。
- llms.txtを置いていたのは120サイト中6サイト（qoo10.jp、cosme.net、chintai.net、doda.jp、rakuten-sec.co.jp、softbank.jp）。一方、58サイト（58.6%）はrobots.txtに10種のAIクローラーの個別指定がありませんでした。
調査日：2026年10月16日／対象：日本の主要サイト120サイト（19業種）／元データ：記事末尾からCSVでダウンロードできます
目次
調査の結果
AIクローラー別の全面ブロック数
もっとも多くのサイトが全面ブロックしていたのはGPTBot（32サイト）、続いてGoogle-Extended（29サイト）、CCBot（28サイト）でした。ChatGPTの検索結果に表示されるかどうかに関わるOAI-SearchBotは、全面ブロックが20サイトで、学習用のGPTBot（32サイト）より少なくなっています。
| AIクローラー | 全面ブロック | 一部制限 | 許可 | 未記載 |
|---|---|---|---|---|
| GPTBot | 32 | 4 | 1 | 62 |
| Google-Extended | 29 | 4 | 1 | 65 |
| CCBot | 28 | 3 | 0 | 68 |
| ChatGPT-User | 26 | 3 | 1 | 69 |
| Bytespider | 25 | 2 | 0 | 72 |
| ClaudeBot | 24 | 4 | 1 | 70 |
| anthropic-ai | 23 | 3 | 0 | 73 |
| PerplexityBot | 22 | 3 | 1 | 73 |
| Applebot-Extended | 22 | 3 | 0 | 74 |
| OAI-SearchBot | 20 | 2 | 1 | 76 |
※n=99（robots.txtを確認できたサイト）。「未記載」は、そのクローラー名を指定した記述がないことを指し、許可を明示しているという意味ではありません。なお、全ユーザーエージェント（*）向けにサイト全体をブロックしているサイトはありませんでした。
llms.txtの設置状況
/llms.txt を確認したところ、テキストの中身があるファイルを置いていたのは6サイトでした。ほかに3サイト（yahoo.co.jp、jtb.co.jp、rikunabi.com）は、/llms.txt にアクセスするとステータス200で通常のHTMLページが返ってきたため、「設置なし」として数えています。
| 状況 | サイト数 |
|---|---|
| 設置あり | 6 |
| 設置なし | 96 |
| 取得失敗 | 18 |
業種別の内訳
GPTBotを全面ブロックしている割合を業種別に並べました。報道系の業種で割合が高く、旅行・不動産・求人・通信・メーカー・公的機関では、確認できた範囲で全面ブロックはありませんでした。業種によってはサイト数が少ないため、割合は目安として見てください。
| 業種 | 対象 | 確認できた | GPTBot全面ブロック |
|---|---|---|---|
| 全国紙・通信社 | 8 | 8 | 8 |
| 放送 | 6 | 6 | 2 |
| 地方紙 | 6 | 5 | 5 |
| ポータル・ニュースアプリ | 6 | 5 | 1 |
| ビジネス・経済メディア | 8 | 8 | 3 |
| IT・テック | 8 | 8 | 2 |
| 雑誌・エンタメ・スポーツ | 7 | 6 | 4 |
| EC・通販 | 10 | 7 | 1 |
| 価格比較・口コミ | 5 | 5 | 1 |
| グルメ・レシピ | 5 | 4 | 2 |
| 旅行 | 7 | 3 | 0 |
| 不動産 | 4 | 4 | 0 |
| 求人・転職 | 6 | 4 | 0 |
| ブログ・UGC・SNS | 7 | 7 | 1 |
| 辞書・知識 | 3 | 3 | 1 |
| 金融 | 6 | 5 | 1 |
| 通信・IT企業 | 6 | 3 | 0 |
| メーカー・小売 | 7 | 4 | 0 |
| 公的機関 | 5 | 4 | 0 |
| 業種 | 10種のどれかを全面ブロック | llms.txtあり |
|---|---|---|
| 全国紙・通信社 | 8 | 0 |
| 放送 | 2 | 0 |
| 地方紙 | 5 | 0 |
| ポータル・ニュースアプリ | 1 | 0 |
| ビジネス・経済メディア | 3 | 0 |
| IT・テック | 2 | 0 |
| 雑誌・エンタメ・スポーツ | 4 | 0 |
| EC・通販 | 2 | 1 |
| 価格比較・口コミ | 2 | 1 |
| グルメ・レシピ | 2 | 0 |
| 旅行 | 0 | 0 |
| 不動産 | 0 | 1 |
| 求人・転職 | 0 | 1 |
| ブログ・UGC・SNS | 2 | 0 |
| 辞書・知識 | 1 | 0 |
| 金融 | 1 | 1 |
| 通信・IT企業 | 0 | 1 |
| メーカー・小売 | 0 | 0 |
| 公的機関 | 0 | 0 |
10種すべてを全面ブロックしていたサイト
asahi.com、nikkei.com、yomiuri.co.jp、mainichi.jp、sankei.com、tokyo-np.co.jp、kyodonews.jp、jiji.com、nhk.or.jp、hokkaido-np.co.jp、kahoku.news、chunichi.co.jp、nishinippon.co.jp、business.nikkei.com、bloomberg.co.jp、newspicks.com、sponichi.co.jp、hochi.news、news-postseven.com（19サイト）
読み解き・実務への示唆
事実：報道系サイトの多くは、学習用（GPTBot、Google-Extended、CCBotなど）だけでなく、検索・回答用（OAI-SearchBot、ChatGPT-User、PerplexityBot）も含めて全面ブロックしていました。EC・口コミ・転職・通信など、送客を重視する業種では個別指定がないサイトが多数でした。
解釈：OpenAIは、OAI-SearchBotを拒否したサイトはChatGPTの検索結果に表示されないと説明しています。Googleは、Google-ExtendedはGoogle検索への掲載やランキングには影響しないとしています。ブロックするかどうかは「学習に使われたくない」のか「AI検索に表示されたい」のかで分けて考えると、判断しやすくなります。
よくある質問
robots.txtに書いていなければ、AIクローラーは許可されたことになりますか？
robots.txtの考え方では、そのクローラー向けの記述も全体向け（*）の制限もなければ、クロールを拒否していない状態です。ただし、今回の「未記載」は、サイトが許可を明示したという意味ではありません。
llms.txtを置くとAI検索に有利になりますか？
llms.txtは、AI向けにサイトの概要や主要ページを案内するテキストファイルの提案です。主要なAI事業者が順位や表示に使うと公式に説明しているものではないため、効果は現時点で確認できません。今回の調査では、置いているサイトは少数でした。
調査方法
- 対象：全国紙・放送・地方紙・ポータル・EC・グルメ・旅行・不動産・求人・金融・公的機関など19業種から、日本で広く使われている代表的なサイトを編集部が選んだ120サイト。業種ごとの対象は元データのCSVに記載しています。
- 調査日時：2026年10月16日（日本時間）。
- 取得方法：各サイトのドメインについて、wwwあり・なしの両方を試し、リダイレクト後の最終的なURLのrobots.txtを取得しました。llms.txtは、robots.txtを取得できたホストの /llms.txt を確認しました。
- 判定：robots.txtの各クローラー名のグループで「Disallow: /」がある場合を「全面ブロック」（広告ファイルなど一部をAllowで除外しているものを含む）、特定のパスだけを拒否している場合を「一部制限」、Disallowが空の場合を「許可」、名前の記述がない場合を「未記載」としました。
- llms.txt：ステータスコードではなく中身で判定しました。HTMLページが返ってきた場合や空の場合は「設置なし」です。
- 取得できなかったもの：接続エラーやアクセス拒否（403など）でrobots.txtを確認できなかった21サイトは「取得失敗」とし、割合の分母から除外しました。robots.txt自体が存在しない（404など）サイトは「確認できた」に含め、すべて「未記載」として扱いました。
- robots.txtは随時変わるため、結果は調査日時点のものです。
元データ・出典・更新履歴
元データ
全サイトの主な判定を表で見る
全120サイトの一覧を開く
| サイト | 業種 | GPTBot | OAI-SearchBot | ClaudeBot | Google-Extended | llms.txt |
|---|---|---|---|---|---|---|
| asahi.com | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| nikkei.com | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| yomiuri.co.jp | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| mainichi.jp | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| sankei.com | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| tokyo-np.co.jp | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| kyodonews.jp | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| jiji.com | 全国紙・通信社 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| nhk.or.jp | 放送 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | 取得失敗 |
| ntv.co.jp | 放送 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| tbs.co.jp | 放送 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| fujitv.co.jp | 放送 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| tv-asahi.co.jp | 放送 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| tv-tokyo.co.jp | 放送 | 全面ブロック | 未記載 | 未記載 | 全面ブロック | なし |
| hokkaido-np.co.jp | 地方紙 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| kahoku.news | 地方紙 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| chunichi.co.jp | 地方紙 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| kobe-np.co.jp | 地方紙 | 全面ブロック | 未記載 | 未記載 | 全面ブロック | 取得失敗 |
| nishinippon.co.jp | 地方紙 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| shizushin.com | 地方紙 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| yahoo.co.jp | ポータル・ニュースアプリ | 全面ブロック | 未記載 | 未記載 | 全面ブロック | なし |
| livedoor.com | ポータル・ニュースアプリ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| goo.ne.jp | ポータル・ニュースアプリ | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| excite.co.jp | ポータル・ニュースアプリ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| biglobe.ne.jp | ポータル・ニュースアプリ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| smartnews.com | ポータル・ニュースアプリ | 一部制限 | 一部制限 | 一部制限 | 一部制限 | なし |
| toyokeizai.net | ビジネス・経済メディア | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| diamond.jp | ビジネス・経済メディア | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| president.jp | ビジネス・経済メディア | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| business.nikkei.com | ビジネス・経済メディア | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| bloomberg.co.jp | ビジネス・経済メディア | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| newspicks.com | ビジネス・経済メディア | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| forbesjapan.com | ビジネス・経済メディア | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| sbbit.jp | ビジネス・経済メディア | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| itmedia.co.jp | IT・テック | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| impress.co.jp | IT・テック | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| gigazine.net | IT・テック | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| gizmodo.jp | IT・テック | 全面ブロック | 未記載 | 全面ブロック | 未記載 | なし |
| japan.cnet.com | IT・テック | 全面ブロック | 未記載 | 全面ブロック | 全面ブロック | なし |
| ascii.jp | IT・テック | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| japan.zdnet.com | IT・テック | 一部制限 | 未記載 | 一部制限 | 一部制限 | なし |
| publickey1.jp | IT・テック | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| nikkansports.com | 雑誌・エンタメ・スポーツ | 全面ブロック | 未記載 | 未記載 | 全面ブロック | なし |
| sponichi.co.jp | 雑誌・エンタメ・スポーツ | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| hochi.news | 雑誌・エンタメ・スポーツ | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| bunshun.jp | 雑誌・エンタメ・スポーツ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| natalie.mu | 雑誌・エンタメ・スポーツ | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | なし |
| oricon.co.jp | 雑誌・エンタメ・スポーツ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| news-postseven.com | 雑誌・エンタメ・スポーツ | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | 取得失敗 |
| rakuten.co.jp | EC・通販 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| amazon.co.jp | EC・通販 | 全面ブロック | 全面ブロック | 全面ブロック | 全面ブロック | なし |
| zozo.jp | EC・通販 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| mercari.com | EC・通販 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| shopping.yahoo.co.jp | EC・通販 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| yodobashi.com | EC・通販 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| biccamera.com | EC・通販 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| askul.co.jp | EC・通販 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| lohaco.yahoo.co.jp | EC・通販 | 一部制限 | 未記載 | 未記載 | 一部制限 | なし |
| qoo10.jp | EC・通販 | 許可 | 許可 | 許可 | 全面ブロック | あり |
| kakaku.com | 価格比較・口コミ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| cosme.net | 価格比較・口コミ | 未記載 | 未記載 | 未記載 | 未記載 | あり |
| tabelog.com | 価格比較・口コミ | 全面ブロック | 未記載 | 未記載 | 全面ブロック | なし |
| retty.me | 価格比較・口コミ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| minkou.jp | 価格比較・口コミ | 未記載 | 未記載 | 一部制限 | 未記載 | なし |
| cookpad.com | グルメ・レシピ | 全面ブロック | 未記載 | 全面ブロック | 全面ブロック | なし |
| hotpepper.jp | グルメ・レシピ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| gnavi.co.jp | グルメ・レシピ | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| delishkitchen.tv | グルメ・レシピ | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| kurashiru.com | グルメ・レシピ | 全面ブロック | 未記載 | 未記載 | 未記載 | なし |
| jalan.net | 旅行 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| travel.rakuten.co.jp | 旅行 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| jtb.co.jp | 旅行 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| his-j.com | 旅行 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | なし |
| ikyu.com | 旅行 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| jal.co.jp | 旅行 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | なし |
| ana.co.jp | 旅行 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| suumo.jp | 不動産 | 未記載 | 未記載 | 未記載 | 許可 | なし |
| homes.co.jp | 不動産 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| athome.co.jp | 不動産 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| chintai.net | 不動産 | 未記載 | 未記載 | 未記載 | 未記載 | あり |
| mynavi.jp | 求人・転職 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| rikunabi.com | 求人・転職 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| jp.indeed.com | 求人・転職 | 一部制限 | 一部制限 | 一部制限 | 一部制限 | なし |
| doda.jp | 求人・転職 | 未記載 | 未記載 | 未記載 | 未記載 | あり |
| en-japan.com | 求人・転職 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| baitoru.com | 求人・転職 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | なし |
| note.com | ブログ・UGC・SNS | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| ameblo.jp | ブログ・UGC・SNS | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| hatenablog.com | ブログ・UGC・SNS | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| fc2.com | ブログ・UGC・SNS | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| qiita.com | ブログ・UGC・SNS | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| zenn.dev | ブログ・UGC・SNS | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| chiebukuro.yahoo.co.jp | ブログ・UGC・SNS | 全面ブロック | 未記載 | 全面ブロック | 全面ブロック | なし |
| weblio.jp | 辞書・知識 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| kotobank.jp | 辞書・知識 | 全面ブロック | 未記載 | 未記載 | 未記載 | なし |
| ja.wikipedia.org | 辞書・知識 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| mufg.jp | 金融 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| smbc.co.jp | 金融 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| mizuhobank.co.jp | 金融 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| rakuten-sec.co.jp | 金融 | 未記載 | 未記載 | 未記載 | 未記載 | あり |
| sbisec.co.jp | 金融 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| minkabu.jp | 金融 | 全面ブロック | 未記載 | 未記載 | 未記載 | なし |
| docomo.ne.jp | 通信・IT企業 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| au.com | 通信・IT企業 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| softbank.jp | 通信・IT企業 | 未記載 | 未記載 | 未記載 | 未記載 | あり |
| ntt.com | 通信・IT企業 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | なし |
| fujitsu.com | 通信・IT企業 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| nec.com | 通信・IT企業 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | なし |
| toyota.co.jp | メーカー・小売 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| sony.co.jp | メーカー・小売 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| panasonic.jp | メーカー・小売 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| uniqlo.com | メーカー・小売 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| muji.com | メーカー・小売 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| aeon.com | メーカー・小売 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| nitori-net.jp | メーカー・小売 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| digital.go.jp | 公的機関 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| meti.go.jp | 公的機関 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 | 取得失敗 |
| soumu.go.jp | 公的機関 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| mhlw.go.jp | 公的機関 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
| kantei.go.jp | 公的機関 | 未記載 | 未記載 | 未記載 | 未記載 | なし |
出典
- OpenAI「Overview of OpenAI Crawlers」https://developers.openai.com/api/docs/bots（確認日：2026年10月16日）
- Google for Developers「Google の一般的なクローラー」https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers（確認日：2026年10月16日）
- 各サイトのrobots.txt・llms.txt（URLはCSVに記載、確認日：2026年10月16日）
更新履歴
- 2026年10月16日：初回調査の結果を公開（対象120サイト）
速報・新着
- GoogleがIndexing APIのドキュメントを更新｜割り当ての申請フォームを削除、使えるページは今も求人とライブ配信だけ
- Googleの「2026年9月スパムアップデート」が展開完了｜期間・対象・サイト運営者が確かめること
- 「順位が急落した」は本当か？9月スパムアップデート後の変動・偽SERP・Google Sitesの急増を見分ける
- AIからの流入をどう測るか｜ChatGPTのUTM消失の報告、Bing「Topics Portfolio」とSearch Consoleで見る実務手順
- 「AIに任せて席を外す」時代へ｜ChatGPT（Chrome・dots）、Gemini agent、Claude Dashboardsの業務エージェント比較
