AIボットのアクセスが急増：サイトの負荷・情報の抜き取りと、AI検索を捨てずにできる対策

この記事の結論

いまのサイトには、人だけでなく、AIの学習用・検索用・代理アクセス用のボットが大量に来ています。困るのは、サーバーの負荷、従量課金の費用、内容の無断利用の3つです。対策はrobots.txt でお願いする → 守らないものはCloudflareなどで止める → ボットが来ても困らないサイトにするの3段階です。全部を止めるとAI検索に見つけてもらえなくなるため、「学習はお断り、検索は歓迎」のように目的ごとに分けるのが現実的です。

この記事の情報について2026年11月5日時点の、Cloudflare、Google、Anthropicの公式ドキュメントとCloudflareの公式ブログの調査をもとにまとめています。AIボットの名前や各社の方針、Cloudflareの管理画面の項目は短い間隔で変わります。設定の前に、各社の最新の案内を確かめてください。数字はCloudflareのネットワークで観測されたもので、個々のサイトの状況とは異なります。

結論：アクセスの多くは人間ではない

小さな会社のサイトでも、サーバーのアクセスログを開くと、人ではないプログラム（ボット）の記録が並んでいます。昔からある検索エンジンのボットに加えて、ここ数年で増えたのがAIの会社が動かすボットです。

AIボットの多くは、攻撃のために穴を探すボット（AIを使ったサイバー攻撃の種類の「大量の巡回と探索」）とは違い、AIの学習や、質問に答えるための材料集めが目的です。それでも量が多ければ負担になり、内容が知らないうちに使われることもあります。この記事では、止めるべきもの・通すべきものを分けて考えます。

AIボットとは：学習用・検索用・代理アクセス用

Cloudflareは、AIのボットを目的で3つに分けています。この分け方を知っておくと、対策を選びやすくなります。

種類	何をするか	止めたときの影響
学習用（Training）	サイトの文章を集め、AIの学習や調整に使う	今後の学習に使われにくくなる。サイトへの人の流れはほぼ変わらない
検索用（Search）	あとで質問に答えるために、内容を集めて整理しておく	そのAIの検索結果で、サイトが紹介されにくくなる
代理アクセス用（Agent）	利用者がAIに質問したその場で、代わりにページを読みに来る	AIに「このページを読んで」と頼まれても読めなくなる

たとえばAnthropicは、学習用の ClaudeBot、利用者の質問に応じて読みに来る Claude-User、検索の質を上げるための Claude-SearchBot を分けて公開しています。Googleは、Geminiの学習などへの利用を断るための Google-Extended という名前を用意しています（これはボットの名前ではなく、robots.txt で使う「目印」です）。

このほか、名前を名乗らず、普通のブラウザのふりをして来るものもあります。Cloudflareは2025年8月、あるAI検索の会社が、正式なボットを拒否されると名前とIPアドレスを変えて読みに来ていたと公表し、その会社を「確認済みのボット」の一覧から外しました。同じ調査で、OpenAIの代理アクセス用のボットは、robots.txt で拒否されると読みに来るのをやめたとも報告しています。ボットによって、行儀のよさに差があるということです。

数字で見るAIボット（Cloudflareの観測）

2025年8月の調査では、過去12か月のAIボットの巡回のうち、約80%が学習用、約18%が検索用、約2%が利用者の代理アクセスでした。
同じ調査で、AIの会社ごとに「何回読みに来て、何回サイトに人を送ったか」を比べると、2025年7月時点で、主な会社でも、読みに来る回数が送る人数の約200倍から約3万8,000倍でした。

どれも2025年の数字で、その後も変わっています。ただ「たくさん読みに来るわりに、人はあまり送ってこない」という傾向は、知っておいてよいでしょう。

サイトに起きること

起きること	具体的には	WordPressで起きやすい理由（当ラボの見立て）
表示が重くなる	ボットが短時間に多くのページを読みに来て、人のアクセスが遅くなる。共用サーバーでは制限がかかることも	WordPressは、表示のたびにPHPとデータベースでページを組み立てる。キャッシュが効いていないページ（サイト内検索の結果、絞り込みのURLなど）は特に重い
費用が増える	転送量や処理量で料金が決まる契約では、ボットの分も請求に乗る	画像の多いサイトや、古い記事・タグページが大量にあるサイトは、読まれるページ数が増えやすい
内容が無断で使われる	文章や写真がAIの学習に使われる。AIの回答に要約が出ても、サイトには人が来ないことがある	WordPressに限らず、公開しているページすべてが対象
公開したつもりのない物が見つかる	古い見積書のPDF、テスト用ページ、昔の資料などがリンクをたどって読まれる	アップロードしたファイルは、記事から外しても`/wp-content/uploads/`に残り、URLを知れば開ける

4つめは見落とされがちです。ボットは悪気なく、人よりも丁寧にリンクやファイルをたどります。「抜き取られて困る情報」の多くは、ボットの問題というより、公開してはいけない物が公開状態になっている問題です。

見分け方：アクセス解析ではなく、ログを見る

アクセス解析には、ほとんど出てこない

Googleアナリティクスのような解析ツールは、ページの中のJavaScriptが動いたときに記録します。多くのボットはJavaScriptを動かさないため、解析ツールの数字は普段どおりなのに、サーバーは忙しい、ということが起こります。ボットの量は、サーバーのアクセスログか、Cloudflareの分析画面で確かめます。

ログで見る3つの点

名乗り（ユーザーエージェント）を見る
ログの各行の終わりにある文字列に、ClaudeBot、GPTBot、Googlebot などの名前が入っていれば、そのボットを名乗っています。レンタルサーバーの多くは、管理画面からアクセスログを取り出せます。
名乗りが本物か確かめる
名乗りは誰でも書き換えられます。Googleは、IPアドレスから逆引きしたホスト名が googlebot.com・google.com・googleusercontent.com のどれかで、さらにそのホスト名から元のIPアドレスに戻ることを確かめる方法を公開しています。Anthropicも、自社のボットのIPアドレスの一覧を公開しています。
時間帯と読まれているURLを見る
重いと感じる時間帯に、同じボットが短い間隔で大量に来ていないか、サイト内検索の結果や存在しないURLばかり読まれていないかを見ます。

Cloudflareを手前に置いている場合は、「AI Crawl Control」でどのAIボットがどれだけ来ているかを一覧で見られます。公式ドキュメントでは、全プランで、設定なしで動くとされています（料金を請求する機能は限定公開）。

対策① robots.txt で「来てほしくない」と伝える

robots.txt は、サイトの一番上に置く、ボット向けの案内のファイルです。WordPressは、このファイルを置いていなくても、管理画面（/wp-admin/）を断る簡単な内容を自動で返します。ここに、断りたいボットを書き足します。

たとえば、Anthropicの学習用ボットとGoogleの学習用の目印だけを断り、ほかは今までどおりにするなら、次のような書き方になります。

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Anthropicは robots.txt に従うと明記しており、読みに来る間隔をあける Crawl-delay という書き方にも対応しています。反対に、IPアドレスで遮断する方法は、robots.txt を読めなくなるため確実ではないとしています。

robots.txt の限界Googleは、robots.txt は「クローラーの動作を強制することはできない」と説明しています。あくまでお願いで、守らないボットには効きません。また、検索結果からページを消す仕組みでもありません。

なお、「学習に使わないで」と機械が読める形で示す新しい規格（IETFで検討中）もあり、Anthropicは2026年10月30日から読み取りを始め、Googleも2027年の早い時期に対応する予定としています。規格はまだ固まっていないため、当面は robots.txt で名前を挙げて断るのが確実です。

対策② Cloudflareで、守らないボットを止める

robots.txt を守らないボットや、名前を変えて来るボットを止めるには、サーバーの手前で通信そのものを断る必要があります。WordPressを残したままCloudflareで守るで紹介した構成なら、次の設定が使えます。

設定	できること	注意点
AIクローラーとエージェントのアクセス方針	「学習」「検索」「代理アクセス」ごとに、遮断・広告のあるページだけ遮断・許可を選ぶ。学習には、robots.txt で断る「Disallow」もある	新しく追加したドメインの初期値は、3つとも「許可」
robots.txt の自動追記	上の方針に合わせて、AIボットを断る行をCloudflareが robots.txt の先頭に足す。全プランで使える	元の robots.txt はその下にそのまま残る。守るかどうかは相手しだい
robots.txt の違反の一覧	robots.txt で断ったURLを読みに来たAIボットを、名前・URL・回数で一覧にする。違反したボットは個別に止められる	今の robots.txt と比べて計算するため、新しく断った直後は、過去のアクセスが違反に見えることがある

Cloudflareの公式ドキュメントでは、学習を「Disallow」にして「Bot Preference Sync」を有効にすると、学習用のボットを手前で遮断もするとしています。ただし、学習と検索の両方に使うボットは、この遮断の対象から外れます。Bot Fight Mode の注意点（例外を作れないなど）は、上の記事を参照してください。

対策③ ボットが来ても困らないサイトにする

ボットは今後も増えると考えられます。止めることと同じくらい、来ても困らない状態にすることが大切です。

キャッシュ（作ったページを使い回す仕組み）が効いているか確かめる。サーバーの機能やプラグイン、Cloudflareで設定できる
読まれても意味のないページ（中身のないタグページ、古いテスト用ページ）を減らす
サイト内検索の結果ページなど、組み立てに時間がかかるページへの大量アクセスを、回数制限で抑える
/wp-content/uploads/ に、公開するつもりのないファイル（見積書、名簿、古い資料）が残っていないか見直し、消す
会員だけに見せたい情報は、URLを知られていない「だけ」にせず、ログインが必要な場所に置く

そもそも、ページを毎回組み立てない仕組み（静的サイト）にすれば、ボットが大量に来てもサーバーへの負担はほとんど増えません。更新や負荷の悩みが重なっているなら、WordPressからの乗り換え先5つを比較も参考にしてください。

AI検索に「見つけてもらう」こととの両立

全部のAIボットを止めると、ChatGPTやClaude、GoogleのAIによる概要などで、サイトが紹介されにくくなります。中小企業のサイトでは、むしろAI検索から見つけてもらいたい場合も多いはずです。

Googleの検索とAIによる概要：Googleは、AI Overviews や AI モードに表示されるための特別な条件はないとし、通常の検索に載っていて、抜粋を表示できるページが対象になると説明しています。制御するのは通常の Googlebot の設定で、Google-Extended を断っても検索には影響しません。
ほかのAI：Anthropicは、Claude-User や Claude-SearchBot を止めると、利用者の検索で表示されにくくなる可能性があるとしています。他社も、学習用と検索用・代理アクセス用で名前を分けていることが多いため、名前ごとに判断します。

サイトの種類別の考え方（当ラボの整理）

サイトの種類	学習用	検索用・代理アクセス用
会社案内・お店のサイト	方針しだい（断っても集客への影響は小さい）	許可がおすすめ。AIに会社名で聞かれたときに答えてもらいやすい
記事や写真が商品のサイト	断ることを検討	許可しつつ、負荷とサイトに来る人の数を見て見直す
会員・予約のあるサイト	断ることを検討	公開ページは許可。会員向けの情報はログインの内側に置く

どの場合も、決めた方針を robots.txt に書き、守らないものだけを手前で止める、という順番がおすすめです。AIによる検索への表示や順位は、どの設定でも保証されない点にも注意してください。

よくある質問

Googleのアクセス解析では、ボットのアクセスは見えますか？

多くは見えません。Googleアナリティクスのような解析ツールは、ページの中のJavaScriptが動いたときに記録する仕組みのため、JavaScriptを動かさないボットはほとんど数えられません。ボットの量を知るには、サーバーのアクセスログか、Cloudflareなど手前に置いたサービスの分析画面を見てください。

robots.txt でAIボットを拒否すれば、もう来なくなりますか？

守るボットは来なくなりますが、守らないボットは止まりません。robots.txt はお願いの仕組みで、Googleも「クローラーの動作を強制することはできない」と説明しています。守らないボットを止めるには、Cloudflareなどで通信そのものを遮断する必要があります。

Google-Extended を拒否すると、Googleの検索順位が下がりますか？

Googleは、Google-Extended は検索結果に載るかどうかに影響せず、検索の順位付けにも使わないと説明しています。関わるのはGeminiの学習など一部のAIでの利用で、検索やAIによる概要（AI Overviews）への表示は通常のGooglebotの設定で決まります。

AIに学習されたくありませんが、AI検索には載りたいです。両立できますか？

ある程度はできます。学習用のボットだけを robots.txt で拒否し、検索用・代理アクセス用のボットは許可する、という分け方です。Cloudflareの設定でも「学習」「検索」「代理アクセス」を分けて選べます。ただし、学習と検索の両方に使うボットもあり、きれいに分けられない場合があります。

ボットのせいでサーバーが重い気がします。まず何をすればよいですか？

サーバーのアクセスログで、重いと感じる時間帯にどのボットが多いかを確かめてください。名乗っているボットなら robots.txt で減らせることがあります。名乗らないボットや、短時間に大量に来るボットには、Cloudflareのボット対策や回数制限が向いています。あわせて、表示を速くする仕組み（キャッシュ）が効いているかも確かめます。

参照元

自分のサイトにどんなボットが来ているか、気になりませんか

URLを送るだけで、外から確認できる範囲で、サイトの守りの状態と、ボット対策の進め方をお返しします。

無料でサイト診断 →

WordPress乗り換えラボ編集部

運営：株式会社イメージ・ジャパン（1997年創立）。WordPressからの乗り換えと乗り換え後の見守りのほか、Web制作・SEO、AI導入支援、自社AIツール（VCT・Symphy・Mapvoice AI）の開発・運営を手がけています。

AIボットのアクセスが急増：サイトの負荷・情報の抜き取りとその対策