Cloudflare R2で「We encountered an internal error. Please try again.」というエラーが出たときの対処法

@aws-sdk/client-s3を使って、Amazon S3互換のCloudflare R2にファイルをアップロードするプログラムを書いていたところ、「We encountered an internal error. Please try again.」というエラーが発生しました。

この記事では、このエラーの原因と対処法を解説します。

原因

Cloudflare R2はAmazon S3互換を謳っていますが、100%の互換性があるわけではありません。

ドキュメントのS3 API compatibilityを確認すると、対応していない機能もあることがわかります。

まれによくあるパターンとして、S3の仕様変更にR2が対応できておらず、その結果として@aws-sdk/client-s3からR2を使おうとするとエラーになるというものがあります。

今回のエラーは、@aws-sdk/client-s3のバージョン3.729.0以降から導入された仕様変更が原因でした。

AWS SDK for JavaScriptのドキュメントには、次のように書かれています。

Beginning with version 3.729.0 of the AWS SDK for JavaScript, the SDK provides default integrity protections by automatically calculating a CRC32 checksum for uploads.

日本語訳：
AWS SDK for JavaScriptのバージョン3.729.0以降、このSDKはアップロードのCRC32チェックサムを自動的に計算することで、デフォルトの整合性保護を提供します。

——『Data integrity protection with Amazon S3 checksums - AWS SDK for JavaScript』

この仕様変更が原因でエラーが出るようになったようです。R2のドキュメントにも次のように書かれています。

Client version 3.729.0 introduced a modification to the default checksum behavior from the client that is currently incompatible with R2 APIs.

日本語訳：
クライアントバージョン3.729.0では、クライアントからのチェックサムのデフォルトの挙動に現在R2 APIと互換性のない変更が加えられました。

——『aws-sdk-js-v3 · Cloudflare R2 docs』

同様に、AWS CLIでもバージョン2.23.0以降と1.37.0以降では、R2と互換性のない変更が加えられているようです。

Client versions 2.23.0 and 1.37.0 introduced a modification to the default checksum behavior from the client that is currently incompatible with R2 APIs.

日本語訳：
クライアントバージョン2.23.0と1.37.0では、クライアントからのチェックサムのデフォルトの挙動に現在R2 APIと互換性のない変更が加えられました。

——『aws CLI · Cloudflare R2 docs』

このように、S3の仕様変更にR2が対応していなかったことでエラーが発生したようです。

対処法

この問題の対処法は、R2の前述のドキュメントに書かれていました。

@aws-sdk/client-s3を使っている場合は、バージョン3.726.1にダウングレードするか、requestChecksumCalculationオプションとresponseChecksumValidationオプションを指定します。

1
const s3 = new S3Client({
2
    // ...既存のコード
3
    requestChecksumCalculation: "WHEN_REQUIRED",
4
    responseChecksumValidation: "WHEN_REQUIRED"
5
});

また、AWS CLIを使っている場合は、バージョン2.22.35または1.36.40にダウングレードするか、--checksum-algorithm CRC32フラグを指定します。