AI系クローラーのユーザーエージェント文字列一覧

諸事情でAI系サービスのクローラーのユーザーエージェント文字列を調べたので記事にまとめました。

robots.txtでこれらのユーザーエージェントをブロックすることで、AI系のサービスにコンテンツが利用されるのを防げます。

robots.txtについては、こちらの記事を参照してください。

イラストや文章がAIに学習されることを防ぐ技術的な方法4選

この記事では、生成AIに自分のコンテンツを学習されることを防ぐ技術的な方法について紹介します。

OpenAI

ソース： Overview of OpenAI Crawlers - OpenAI API

OAI-SearchBot

• 説明：ChatGPT searchの検索結果でWebサイトをリンクしたり表示したりするために使用
• ユーザーエージェント文字列：OAI-SearchBot/1.0; +https://openai.com/searchbotを含む
• IPアドレスの範囲： https://openai.com/searchbot.json

ChatGPT-User

• 説明：ユーザーがChatGPTまたはCustomGPTに質問すると、ChatGPT-UserエージェントでWebページにアクセスすることがある
• ユーザーエージェント文字列：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
• IPアドレスの範囲： https://openai.com/chatgpt-user.json

GPTBot

• 説明：生成AI基盤モデルのトレーニングに使用される可能性のあるコンテンツをクロールするために使用
• ユーザーエージェント文字列：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot
• IPアドレスの範囲： https://openai.com/gptbot.json

Google

ソース： Google's common crawlers | Google Search Central  |  Documentation  |  Google for Developers

Google-Extended

• 説明：Geminiモデルのトレーニング、GeminiアプリとVertex AI上のGoogle検索によるグラウンディング（GeminiにGoogleの検索結果を入力すること）に使用
• ユーザーエージェント文字列：Googleのほかのクローラーと同一のユーザーエージェント文字列を使うため、個別のユーザーエージェント文字列はない。ただし、robots.txtでGoogle-Extendedを拒否すると、Gemini関連のクローリングをブロックできる
• IPアドレスの範囲：不明

Perplexity

ソース： Perplexity Crawlers - Perplexity

PerplexityBot

• 説明：Perplexityの検索結果でWebサイトをリンクしたり表示したりするために使用
• ユーザーエージェント文字列：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
• IPアドレスの範囲： https://www.perplexity.com/perplexitybot.json

Perplexity‑User

• 説明：ユーザーがPerplexityに質問すると、Perplexity‑UserエージェントでWebページにアクセスすることがある
• ユーザーエージェント文字列：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
• IPアドレスの範囲： https://www.perplexity.com/perplexity-user.json

Anthropic（Claude）

ソース： Does Anthropic crawl data from the web, and how can site owners block the crawler? | Anthropic Help Center

ClaudeBot

• 説明：トレーニング利用できる可能性のあるWebコンテンツを収集するために使用
• ユーザーエージェント文字列：不明だがClaudeBotを含む
• IPアドレスの範囲：不明

Claude-User

• 説明：ユーザーがClaudeに質問すると、Claude-Userエージェントを使用してWebサイトにアクセスすることがある
• ユーザーエージェント文字列：不明だがClaude-Userを含む
• IPアドレスの範囲：不明

Claude-SearchBot

• 説明：オンラインコンテンツを分析して、検索応答の関連性と正確性を高めるために使用
• ユーザーエージェント文字列：不明だがClaude-SearchBotを含む
• IPアドレスの範囲：不明

xAI（Grok）

ソース： XユーザーのAviさん: 「xAI Grok pretends to be an iPhone when browsing, to not get blocked. but is this legit? "Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 Mobile/15E148 Safari/604.1" This hack worked for me 10+ years ago.」 / X

• 説明：GrokがWeb検索をするときに使用
• ユーザーエージェント文字列：Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 Mobile/15E148 Safari/604.1（公式の発表ではなくソースに示した個人の検証）
• IPアドレスの範囲：不明

ろぼいん

XMisskeyGitHubQiita

生まれた時から、母国語よりも先にJavaScriptを使っていました。ネットの海のどこにもいなくてどこにでもいます。

Webフロントエンドプログラマーで、テクノロジーに関する話題を追いかけています。動画編集やプログラミングが趣味で、たまにデザインなどもやっています。主にTypeScriptを使用したWebフロントエンド開発を専門とし、便利で実用的なブラウザー拡張機能を作成しています。また、個人ブログを通じて、IT関連のニュースやハウツー、技術的なプログラミング情報を発信しています。