AIクローラー制御の3分類｜各社UA一覧と止め方 2026/08/11を表すイメージ画像

AIクローラー3分類｜GPTBotを止める前に見る各社UA一覧

2026年08月12日

AIクローラーには学習用・検索用・ユーザー起動の3種類があり、止めた結果が全く違います。OpenAIは検索用を拒否すると「ChatGPTの検索回答に表示されなくなる」と公式に明記しています。「GPTBotを止めればいい」は、区別を落とした危険な要約です。

各社の公式ドキュメントを一次確認し、UA名と原文を一覧にしました。この情報は各社とも英語でしか提供されていません。

「GPTBotを止めればいい」がなぜ危ないのか

よく見かける説明は「AIに学習されたくなければ robots.txt で GPTBot を拒否する」です。GPTBotを止めること自体は間違いではありません。問題は、同じ勢いで他のAIボットもまとめて拒否してしまうことです。

OpenAIのボットは1種類ではありません。学習用の `GPTBot` と、検索用の `OAI-SearchBot` は別のUAです。後者を拒否すると、ChatGPTの検索機能に自社が出てこなくなります。

つまり「AIに学習されたくない」という判断と「AI検索に出たい」という判断は両立できるのに、UAを区別せず一括で拒否すると、望んでいない副作用まで受け取ることになります。

AIクローラーの3分類

分類	何をするか	拒否したときの影響
① 学習用	モデルの学習データとして収集する	AI検索での露出には影響しない（Googleは影響しないと明記）
② 検索用	AI検索の索引を作り、回答に出す候補にする	AI検索の回答に出なくなる（OpenAIが明記）
③ ユーザー起動	ユーザーが質問した瞬間にそのページを取りに来る	回答時の実時間参照ができなくなる

判断の型: 学習は拒否したいが引用はされたい、なら①だけ拒否して②③は許可します。AI検索からの流入がほしいなら②は絶対に止めないでください。

各社の公式UA一覧（2026年8月11日一次確認）

① 学習用

提供元	UA	公式の説明
OpenAI	`GPTBot`	「生成AI基盤モデルの学習に使われる可能性のあるコンテンツをクロールするために使用される」
Anthropic	`ClaudeBot`	「学習に寄与しうるウェブコンテンツを収集することで、生成AIモデルの有用性と安全性を高める」
Google	`Google-Extended`	Geminiモデルの学習とグラウンディングの可否を制御する

② 検索用（ここを止めると消える）

提供元	UA	公式の説明
OpenAI	`OAI-SearchBot`	「検索のためのものであり、ChatGPTの検索機能でウェブサイトを検索結果に表示するために使用される」
Anthropic	`Claude-SearchBot`	「ユーザー向けの検索結果の品質を高めるためにウェブを巡回し、検索応答の関連性と正確性を高めるためにコンテンツを解析する」
Perplexity	`PerplexityBot`	「Perplexityの検索結果にウェブサイトを表示・リンクするために設計されている」

③ ユーザー起動

提供元	UA	公式の説明
OpenAI	`ChatGPT-User`	「ユーザーがChatGPTやCustom GPTに質問したとき、ChatGPT-Userエージェントでウェブページを訪問することがある」
Anthropic	`Claude-User`	「Claudeのユーザーを支援する。ユーザーがClaudeに質問すると、Claude-Userエージェントでウェブサイトにアクセスすることがある」
Perplexity	`Perplexity-User`	「Perplexity内のユーザー操作を支える。ユーザーが質問すると、正確な回答のためにページを訪れ、そのページへのリンクを含めることがある」

このほか OpenAI には広告面の安全性を検証する `OAI-AdsBot` があります。

公式が「止めたらどうなるか」を明記している箇所

ここが本記事の要点です。推測ではなく、各社が自分で書いている内容だけを引用します。

OpenAI（OAI-SearchBot）: 「OAI-SearchBot をオプトアウトしたサイトは、ChatGPTの検索回答に表示されません。ただしナビゲーションリンクとしては表示されることがあります」
OpenAI（GPTBot）: 「GPTBot を拒否することは、そのサイトのコンテンツを生成AI基盤モデルの学習に使うべきでないことを示します」— 検索への言及はありません
Google（Google-Extended）: 「Google-Extended は Google 検索へのサイトの掲載に影響せず、Google 検索のランキング要因としても使用されません」
Perplexity（PerplexityBot）: 「検索結果にサイトを表示させるには、PerplexityBot を許可することを推奨します」

Anthropicは3つのUAの役割を説明していますが、拒否した場合に何が起きるかは明記していません。「Claude-SearchBotを止めるとClaudeの検索から消える」と書いている記事を見かけたら、出典を確認してください。公式にはその記述がありません。

当社のrobots.txtを開示します

一般論だけでは検証できないので、当社の現状を書きます。`https://alivecast.co.jp/robots.txt` は誰でも見られます。

当社は冒頭で `User-agent: *` に `Allow: /` を置き、そのうえで17個のAIボットを個別に許可しています。AIクローラーは1つも拒否していません。

ただし点検すると、明示列挙しているリスト自体が古くなっていました。

`anthropic-ai` と `Claude-Web` を列挙しているが、この2つはAnthropicの現行ドキュメントに存在しない（旧識別子）
逆に、現行の `Claude-SearchBot` を列挙していない

全体が `Allow` なので実害はありません。しかしこれは、UAリストが放っておくと古くなることの実例です。多くの日本語記事とrobots.txtのテンプレートが、今も旧識別子のまま流通しています。

持ち帰り: robots.txtにAIボットを列挙しているなら、UA名を各社の公式ページで年1回は突き合わせてください。名前が変わっても、誰も教えてくれません。

robots.txtの書き方

「学習は断りたいが、AI検索には出たい」場合の最小構成です。

User-agent: *
Allow: /

# 学習用は拒否する
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 検索用・ユーザー起動は許可する（ここを止めるとAI検索から消える）
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

AI検索からの流入を増やしたいなら、`Disallow` のブロックを外して全部 `Allow` にしてください。当社はその構成です。

正直に書いておくこと

robots.txt は「お願い」であって強制力はありません。 準拠を表明していないクローラーには効きません。確実に止めたい場合はサーバー側でUAやIPを遮断する必要があります。
UA名は変わります。 本記事は2026年8月11日に各社の公式ページを確認した時点の内容です。閲覧時点では増減している可能性があります。
学習を拒否したときに、将来のモデルが自社を知らないままになる影響は、現時点で誰も定量化できていません。当社も測れていません。

よくある質問

GPTBotを拒否すると、ChatGPTの検索結果からも消えますか？

消えません。GPTBotは学習用で、ChatGPTの検索表示を担うのは `OAI-SearchBot` という別のUAです。OpenAIはGPTBotの説明で学習にしか言及していません。消えるのは `OAI-SearchBot` を拒否した場合で、こちらは「ChatGPTの検索回答に表示されません」と公式に明記されています。

AIクローラーを全部拒否すると、Google検索の順位は下がりますか？

Google-Extendedについては下がりません。Googleは「Google-Extended は Google 検索へのサイトの掲載に影響せず、ランキング要因としても使用されません」と明記しています。ただしAI検索側の露出は失います。

学習は拒否して、AI検索には出たい。両立できますか？

できます。学習用（GPTBot / ClaudeBot / Google-Extended）だけを拒否し、検索用（OAI-SearchBot / Claude-SearchBot / PerplexityBot）とユーザー起動（ChatGPT-User / Claude-User / Perplexity-User）を許可してください。UAが分かれているのはこの選択のためです。

robots.txtに書けば確実に止まりますか？

止まりません。robots.txtは準拠を表明したクローラーにしか効かない「お願い」です。確実に遮断したい場合はサーバー側でUAやIPを拒否する必要があります。

自社のrobots.txtが古いかどうか、どう確かめますか？

各社の公式ページでUA名を突き合わせてください。当社も点検したところ、Anthropicの現行ドキュメントに無い旧識別子（`anthropic-ai` / `Claude-Web`）が残り、現行の `Claude-SearchBot` が抜けていました。全許可なので実害はありませんでしたが、リストは放っておくと古くなります。