XServer、「AIクローラー遮断設定」を実装　AI学習・回答生成の無断利用から保護

レンタルサーバーサービス「エックスサーバー」を提供するエックスサーバー株式会社は、同社の一部サービスでAIによるWebサイトのデータ利用を防止する「AIクローラー遮断設定」機能の提供を開始したと発表しました。

対象となるサービスは「エックスサーバー」「XServerビジネス」「XServer for WordPress」で、AIクローラーをブロックする機能の提供は国内ホスティング企業としてはじめてとなります。

ChatGPTやGeminiといった主要な生成AIは、Webサイトなどから収集したコンテンツをもとに学習しているほか、リアルタイムにWebから収集した情報を参考にしてユーザーの質問に回答することがあります。

企業がAIの学習用データを収集したり、ユーザーの質問に回答するための情報をAIが検索したりするする際には、クローラーと呼ばれる自動化されたプログラムを利用します。

Webサイトの運営者はrobots.txtというファイルを設置することで、こうしたクローラーによるクロール（コンテンツの収集）を許可したり、拒否したりできます。

Googleなどの検索エンジンに表示する情報を収集するためのクローラーもあれば、AIに利用するためのクローラーもあります。

検索結果にWebサイトが表示されるようにしつつAIクローラーをブロックするには、クローラーのユーザーエージェント（識別情報）を調べて、robots.txtを適切に設定する必要があります。

たとえばCloudflareは、Webサイトのrobots.txtを自動でプロキシーして簡単にAIクローラーをブロックできるようにする機能を提供しています。

AIスクレイピング防止機能をCloudflareがリリース　設定方法は？

Cloudflareが「AIクローラーをブロックする機能」をリリースしました。この機能は、コンテンツクリエーターをAIから保護することが期待されます。この記事では、新機能の詳細や設定方法、そしてAIクローラーが現在もたらしている脅威について詳しく見ていきます。

2024年7月4日

XServerのAIクローラー遮断設定やCloudflareのAIスクレイピング防止機能は、自分でクローラーのユーザーエージェントを調べなくても簡単にAIクローラーをブロックできるようにするものです。

XServerのAIクローラー遮断設定は、記事執筆時点で次のクローラーに対応しています。

• GPTBot
• ChatGPT-User
• OAI-SearchBot
• ClaudeBot
• Claude-User
• Claude-SearchBot
• anthropic-ai
• claude-web
• Google-Extended
• meta-externalagent
• CCbot
• SBIntuitionsBot
• PerplexityBot
• MistralAI-User
• Bytespider
• cohere-ai
• cohere-training-data-crawler
• img2dataset
• ChatGLM-Spider
• AI2Bot
• sider.ai
• TheKnowledgeAI

AIクローラー遮断設定はデフォルトでオフになっており、サーバーパネルの［AIクローラー遮断設定］からオンにできます。

参考リンク

• 【国内初】エックスサーバー株式会社、生成AIによるサイトデータの無断利用を防ぐ「AIクローラー遮断設定」機能の提供を開始 | エックスサーバー株式会社のプレスリリース
• AIクローラー遮断設定 | レンタルサーバーならエックスサーバー