CloudflareがPerplexityをブロック　ステルスクロール対策を強化

Cloudflareは、Perplexityが未宣言のクローラーとIPアドレスを用いて、人間を装ってWebサイトをクロールしていると発表しました。

Cloudflareは、Perplexityのクローラーを検証済みボットのリストから除外するとともに、Perplexityの“ステルスクローラー”をブロックするルールを追加したとのことです。

Perplexityがステルスクローリングしていると判明

Cloudflareによると、Perplexityはまず宣言済みのユーザーエージェントでクロールしますが、ネットワークブロックに遭遇すると、ブロックを回避しようと試みます。

Perplexityは、ユーザーエージェントを繰り返し変更し、ソースASNを変更してクローリング活動を隠すとともに、robots.txtファイルを無視したり、そもそも取得すらしないとのことです。

Cloudflareは、Perplexityを検証済みボットのリストから除外し、ステルスクローリングをブロックするマネージドルールにヒューリスティックを追加しました。

Perplexityがステルスクローリングしている事実は、Perplexityのクロールをrobots.txtで拒否したうえで、宣言済みクローラーのPerplexityBotとPerplexity-UserをWAFルールでブロックしていたCloudflareの顧客が、Perplexityが依然としてコンテンツにアクセスしていることに気づき発覚しました。

Cloudflareが複数のテストドメインで実験したところ、Perplexityは宣言済みユーザーエージェントだけでなく、macOS版のGoogle Chromeのユーザーエージェントも使用してアクセスを試みていました。

Perplexityの未宣言クローラーは、Perplexityの公式IPレンジに含まれない複数のIPアドレスをローテーションしたり、異なるASNを使ったりしていました。

こうした活動は、数万のドメインと1日あたり数百万のリクエストにわたって観測されたとのことです。

Perplexityとは対照的に、OpenAIはrobots.txtを尊重しており、ChatGPT agentは新たに提案されたオープンスタンダードのWeb Bot AuthでHTTPリクエストに署名しています。

さらに、OpenAIのクローラーは、Cloudflareがrobots.txtからdisallowディレクティブを削除してブロックページを提示した場合でも、robots.txtでブロックした場合と同様にクロールを停止しました。

CloudflareがPerplexityのステルスクローラーをブロック

Cloudflareは、機械学習とネットワークシグナルの組み合わせを用いて、Perplexityのステルスクローラーのフィンガープリントを作成しました。

これにより、Perplexityの未宣言のクロール活動は、Cloudflareのボット管理システムによってボットと判定され、マネージドチャレンジでブロックされたとのことです。

すでにブロックルールやチャレンジルールを設定している利用者は保護されており、トラフィックをブロックしたくない場合は、チャレンジを設定することで実際の人間のみが先へ進めるようにできます。

さらに、Cloudflareは、AIクロール活動をブロックするマネージドルールにステルスクローラのシグネチャマッチを追加しました。

Cloduflareは7月に「Content Independence Day」を宣言し、同社の新規顧客に対してAIクローラーをデフォルトでブロックするようにしています。なお、既存の顧客は手動で設定が必要です。

CloudflareがAIへのコンテンツ利用料の請求に対応　AIクローラーは標準でブロックへ

CDNやDDoS攻撃対策などを提供するCloudflareが、AI開発企業のクローラーに対してコンテンツ利用料を請求する機能を発表しました。また、Cloudflareに新しく登録したアカウントでは、AI開発企業のクローラーをデフォルトでブロックするとのことです。

2025年7月3日

参考リンク

• Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives