概要
HTTP ステータス コードは、Web サーバーからの短いメッセージのようなもので、リクエストを処理しようとしたときに何が起こったかを示します。おそらく、404 Not Found や 500 Internal Server Error などの一般的なエラーに精通しているでしょう。しかし、ステータス コード 520 に遭遇したことはありますか?これは少し特殊な Cloudflare 固有のコードなので、その意味やトラブルシューティング方法が分からないと混乱する可能性があります。
ただし、心配しないでください。この記事を読み終える頃には、あなたも 520 のエキスパートになっているでしょう。 520 ステータス コードが何を意味するのか、このエラーの最も一般的な原因、Web サイト所有者であるか Web スクレイピングを行っているのかに関係なく、520 を修正して回避するために実行できる手順について説明します。飛び込んでみましょう！
520ステータスコードとは何ですか?
まず、520 は仕様に記載されている正式な HTTP ステータス コードではないことに注意することが重要です。これは、多くの Web サイトで使用されている人気の CDN およびセキュリティ サービスである Cloudflare によって作成された独自のステータス コードです。したがって、Cloudflareを使用しているサイトでのみ520秒に遭遇します。
Cloudflareはドキュメントの中で、520ステータスコードを「不明なエラー」を意味するものとして分類しています。役に立ちますね?基本的に、これは、Cloudflareの背後にあるオリジンWebサーバーが予期しないものまたは無効なもので応答したことを意味します。
Cloudflareは、訪問者とサイトをホストする実際のWebサーバーの間の仲介者と考えることができます。通常、Cloudflareはリクエストを受け取り、オリジンサーバーに渡し、レスポンスを取得して、それを訪問者に返します。しかし、オリジンサーバーの応答が異常であるか、必要な情報が欠落している場合、Cloudflare はそれをどう処理すればよいのかわからず、一般的な 520 ステータス コードをスローします。
520 エラーの一般的な原因
520 エラーが表示される理由はいくつかあります。一般的な原因には次のようなものがあります。
1. オリジンサーバーがダウンしている – Cloudflare の背後にある実際の Web サーバーがダウンしたり、タイムアウトになったり、到達不能になったりした場合、520 が返される可能性があります。
2. 無効な HTTP 応答 – Web サーバーは、ステータス行、ヘッダー、本文を含む、適切にフォーマットされた HTTP 応答を返す必要があります。何かが不正または欠落している場合、520 がトリガーされる可能性があります。
3. Web アプリケーションのバグ – オリジンサーバー上で実行されている実際のアプリケーションコードに異常な応答を返すバグ、例外、またはエッジケースがある場合、それらは 520 としてユーザーに伝わる可能性があります。
4. 必要なヘッダーが欠落している – 一部のサイトでは、認証、レート制限、セキュリティなどの特定の HTTP ヘッダーをリクエストに含める必要があります。これらを省略すると、520 が発生する可能性があります。
5. 自動リクエストのブロック – サイトが異常な自動リクエスト パターンを検出した場合、そのセキュリティ システムがそれらのリクエストをブロックする可能性があり、多くの場合、本当の原因を隠すために一般的な 520 が発生します。
要約すると、520 は通常、オリジン Web サーバー自体に問題があるか、リクエストに必要なコンポーネントが欠落していることを意味します。これは曖昧なエラーなので、本当の原因を特定するにはある程度の調査が必要になる可能性があります。
520 エラーを修正および回避する方法
520 エラーの意味と一般的な原因は理解できたので、実際に何ができるでしょうか?答えは、あなたが 520 をスローする Web サイトの所有者であるか、サイトをスクレイピングして 520 ブロックを回避しようとしているかによって異なります。ケースごとにいくつかのヒントを見てみましょう。
ウェブサイトの所有者向け
Cloudflare がサポートする Web サイトで 520 エラーが発生した場合は、問題をデバッグして修正するために実行できる手順をいくつか示します。
サーバーの健全性を確認する – まず、オリジンサーバーが実際に稼働しており、アクセス可能であることを確認します。監視ツールを使用して、サーバーの応答性が維持され、過負荷になっていないことを確認します。
エラーログを確認する – サーバーのエラー ログで、不正な応答の原因となる例外や異常な要求がないか確認します。根本的なバグを修正します。
応答形式を検証する – アプリケーション コードが常に、ステータス、ヘッダー、本文を含む適切な形式の HTTP 応答を返していることを確認します。エッジケースが考慮されていることを確認してください。
リクエストのタイムアウトを構成する – 一部のリクエストに時間がかかりすぎてタイムアウトになり、520 秒が発生する場合は、タイムアウト設定を増やすか、遅いコードを最適化することを検討してください。
さまざまな URL パスをテストする – 520 が特定のページまたは URL パターンでのみ発生するかどうかを確認します。これは、修正が必要なコードを分離するのに役立ちます。
欠落しているヘッダーをチェックする – コードで CORS や認証などの特定のヘッダーが必要な場合は、それらの要件が文書化され、適切に処理されていることを確認してください。
サーバー側から 520 を修正することは、多くの場合、一般的な問題を確認し、範囲と原因に焦点を当てるという排除のプロセスです。 Cloudflareの一般的な520エラー自体は多くの手がかりを与えません。
ウェブスクレーパー向け
Web サイトをスクレイピングしようとして 520 ステータス コードによってブロックされた場合、それらを回避するためのヒントをいくつか紹介します。
欠落しているヘッダーをチェックする – サイトの通常のリクエスト パターンを検査し、User-Agent、Referer、Accept-Language などの予期されるヘッダーがすべて含まれていることを確認します。
異常なリクエストパターンを回避する – リクエストの間隔をあけて、サイトにあまりにも早くアクセスしないようにします。失敗した場合に再試行を繰り返すことは避けてください。アクセスパターンをランダム化します。
検出不可能な自動化ツールを使用する – puppeteer のようなヘッドレスブラウザは簡単に検出できます。 undetected-chromedriver などの検出できないツールに切り替えます。
プロキシローテーションを実装する – プロキシ サービスを使用してリクエスト IP アドレスをローテーションし、レート制限やブロックを回避します。 ScrapingBee のようなプロバイダーを通じてデータセンター IP または住宅用 IP をローテーションすると、IP 禁止を回避できます。
リクエストURLの確認 – リクエストしている URL が有効で、変更されていないことを確認してください。 520 つのタイプミスで XNUMX 個のエラーが発生する可能性があります。
robots.txt を尊重する – 必ずしも必須ではありませんが、サイトの robots.txt ルールを尊重することで、520 秒を引き起こすような強引なブロックを回避できる場合があります。
スクレイピング中に 520 ブロックを回避する鍵は、リクエスト パターンが通常のユーザーと異なるように見えるものを最小限に抑えることです。慎重なレート制限、現実的なヘッダー、検出されないツールが最善策です。
まとめ
520 ステータス コードは最初は漠然とした謎のエラーのように思えるかもしれませんが、この記事の知識があれば、その意味と修正方法をしっかりと理解できるはずです。
520 は、おそらく停止、無効な HTTP フォーマット、セキュリティ ヘッダーの欠落、または自動リクエスト ブロックが原因で、オリジン サーバーが予期しない応答を返したことを意味します。 Web サイトの所有者は、サーバーの健全性、適切な応答処理、520 を解決するための明確なヘッダー要件に焦点を当ててください。また、Web スクレイパーとして、リクエスト パターンをダイヤルインし、検出不可能なツールとプロキシを使用し、サイトのルールを尊重します。分析と反復を繰り返すことで、これらの厄介な 520 エラーは過去のものになるでしょう。
