AIスクレイピング防止機能をCloudflareがリリース　設定方法は？

2024年7月3日（現地時間）、Cloudflareが「AIクローラーをブロックする機能」をリリースしました。この機能は、コンテンツクリエーターをAIから保護することが期待されます。

この記事では、新機能の詳細や設定方法、そしてAIクローラーが現在もたらしている脅威について詳しく見ていきます。

AIクローラーとその問題点

昨今では、ChatGPTをはじめとした生成AIの人気が高まっており、多くの企業がAIを活用したビジネスを展開しています。

その一方で、AI関連のサービスを提供する企業がWeb上のコンテンツを無断で収集・利用していることが問題視されています。

たとえば、生成AIの開発企業は、AIの学習データとして利用するために大量のコンテンツを必要としており、そのためにクローラーを使ってWebからデータを収集しています。

また、生成AIを活用した検索エンジンを提供するPerplexityやGoogle、OpenAIをはじめとした企業は、ボットを使ってWeb上の情報を収集し、AIに要約させたりしています。

とくにPerplexityは、ボットやクローラーなどによるWebサイトへのアクセスを制御するWeb標準であるrobots.txtを無視していると指摘されており、批判にさらされています。Perplexityのクローラーは、通常のユーザーによるWebブラウザーを使ったアクセスに偽装しており、そのブロックが難しいことも判明しています。

Perplexity Proの無料トライアルの申し込み方法　ソフトバンク、ワイモバイル、LINEMOのユーザーは1年間無料

この記事では、Perplexity Proの無料トライアルの申し込み方法を解説します。

WordPressやTumblrがAIに学習されるのを防ぐ方法

WordPressやTumblrを使っていると、自分の作成したコンテンツがAIに学習される可能性があることをご存知ですか？もし、自分のブログや記事がAIの学習素材として利用されるのを防ぎたい場合、どうすればよいのでしょうか。この記事では、オプトアウトの設定方法を詳しく解説します。

Cloudflareによると、同社のネットワークにおいてもっともリクエスト量が多いAIクローラーは、次のとおりです。

• Bytespider（ByteDance運営）
• Amazonbot（Amazon運営）
• ClaudeBot（Anthropic運営）
• GPTBot（OpenAI運営）

これらのボットは、それぞれ特定の用途で大量のデータを収集しており、とくにBytespiderはリクエスト量、ブロック回数共にトップとなっています。

Cloudflareによる調査では、同社の顧客の85.2%がAIクローラーをブロックすることを望んでいるという結果が出ており、AIクローラーによるWebコンテンツの無許可利用が問題視されていることが分かります。

Cloudflareの「AIスクレーパーとクローラー」のブロック機能

Cloudflareが今回リリースした新機能は、「AIクローラーとスクレイパーをブロックするためのワンクリックボタン」です。この機能はすべてのユーザーに提供されており、無料プランのユーザーも利用可能です。

この機能を使うと、AIクローラーによるWebサイトへのアクセスを簡単にブロックできるようになり、コンテンツの無許可での利用を防げます。

AIボットの識別子を発見次第、自動的に更新されるため、一度設定するだけで常に最新のAIボットからの保護を受けられます。

「AIスクレーパーとクローラー」をブロックする機能は、次の手順で簡単に設定できます。この機能はデフォルトで無効化されているため、自分のWebサイトのコンテンツをAIから保護したい場合は、手動で有効化する必要があります。

1. Cloudflareダッシュボードにアクセスする
2. AIボットをブロックしたいサイトの設定を開く
3. サイドバーから［セキュリティ］>［ボット］を開く
4. ［AIスクレーパーとクローラー］のトグルスイッチをオンにする

まとめ

Cloudflareがリリースした「AIスクレーパーとクローラー」のブロック機能は、AIによるWebコンテンツの無許可利用を防ぐための機能です。

この機能を使うことで、AIボットによるWebサイトへのアクセスを簡単にブロックできるようになり、コンテンツの保護が可能になります。

参考

• Declare your AIndependence: block AI bots, scrapers and crawlers with a single click