AIスクレイピング防止機能をCloudflareがリリース 設定方法は？
2024年7月3日（現地時間）、Cloudflareが「AIクローラーをブロックする機能」をリリースしました。この機能は、コンテンツクリエーターをAIから保護することが期待されます。
この記事では、新機能の詳細や設定方法、そしてAIクローラーが現在もたらしている脅威について詳しく見ていきます。
AIクローラーとその問題点
昨今では、ChatGPTをはじめとした生成AIの人気が高まっており、多くの企業がAIを活用したビジネスを展開しています。
その一方で、AI関連のサービスを提供する企業がWeb上のコンテンツを無断で収集・利用していることが問題視されています。
たとえば、生成AIの開発企業は、AIの学習データとして利用するために大量のコンテンツを必要としており、そのためにクローラーを使ってWebからデータを収集しています。
また、生成AIを活用した検索エンジンを提供するPerplexityやGoogle、OpenAIをはじめとした企業は、ボットを使ってWeb上の情報を収集し、AIに要約させたりしています。
とくにPerplexityは、ボットやクローラーなどによるWebサイトへのアクセスを制御するWeb標準であるrobots.txtを無視していると指摘されており、批判にさらされています。Perplexityのクローラーは、通常のユーザーによるWebブラウザーを使ったアクセスに偽装しており、そのブロックが難しいことも判明しています。
Cloudflareによると、同社のネットワークにおいてもっともリクエスト量が多いAIクローラーは、次のとおりです。
- Bytespider（ByteDance運営）
- Amazonbot（Amazon運営）
- ClaudeBot（Anthropic運営）
- GPTBot（OpenAI運営）
画像クレジット：Cloudflare
これらのボットは、それぞれ特定の用途で大量のデータを収集しており、とくにBytespiderはリクエスト量、ブロック回数共にトップとなっています。
Cloudflareによる調査では、同社の顧客の85.2%がAIクローラーをブロックすることを望んでいるという結果が出ており、AIクローラーによるWebコンテンツの無許可利用が問題視されていることが分かります。
画像クレジット：Cloudflare
Cloudflareの「AIスクレーパーとクローラー」のブロック機能
Cloudflareが今回リリースした新機能は、「AIクローラーとスクレイパーをブロックするためのワンクリックボタン」です。この機能はすべてのユーザーに提供されており、無料プランのユーザーも利用可能です。
この機能を使うと、AIクローラーによるWebサイトへのアクセスを簡単にブロックできるようになり、コンテンツの無許可での利用を防げます。
AIボットの識別子を発見次第、自動的に更新されるため、一度設定するだけで常に最新のAIボットからの保護を受けられます。
「AIスクレーパーとクローラー」をブロックする機能は、次の手順で簡単に設定できます。この機能はデフォルトで無効化されているため、自分のWebサイトのコンテンツをAIから保護したい場合は、手動で有効化する必要があります。
- Cloudflareダッシュボードにアクセスする
- AIボットをブロックしたいサイトの設定を開く
- サイドバーから［セキュリティ］>［ボット］を開く
- ［AIスクレーパーとクローラー］のトグルスイッチをオンにする
まとめ
Cloudflareがリリースした「AIスクレーパーとクローラー」のブロック機能は、AIによるWebコンテンツの無許可利用を防ぐための機能です。
この機能を使うことで、AIボットによるWebサイトへのアクセスを簡単にブロックできるようになり、コンテンツの保護が可能になります。
.D-9n0QZF_Zc9V58.png)
