介绍
HTTP 状态代码就像来自 Web 服务器的短消息，告诉您当它尝试处理您的请求时情况如何。您可能熟悉 404 Not Found 或 500 Internal Server Error 等常见错误。但是您遇到过 520 状态代码吗？这是一个特定于 Cloudflare 的小众代码，如果您不知道它的含义或如何对其进行故障排除，可能会感到困惑。
不过不用担心，读完本文后您将成为 520 专家。我们将准确介绍 520 状态代码的含义、导致此错误的最常见原因，以及修复和避免 520 的可行步骤，无论您是网站所有者还是进行网络抓取。让我们深入了解吧！
什么是 520 状态代码？
首先，需要注意的是，520 并不是规范中提供的官方 HTTP 状态代码。它是由 Cloudflare 创建的专有状态代码，Cloudflare 是许多网站使用的流行 CDN 和安全服务。因此，您只会在使用 Cloudflare 的网站上遇到 520 问题。
在他们的文档中，Cloudflare 将 520 状态代码分类为“未知错误”。有帮助，对吧？基本上，这意味着 Cloudflare 背后的源 Web 服务器响应了意外或无效的内容。
您可以将 Cloudflare 视为访问者和托管网站的实际 Web 服务器之间的中间人。通常，Cloudflare 接受请求，将其传递到源服务器，获取响应，然后将其传递回访问者。但是，如果源服务器的响应异常或缺少所需信息，Cloudflare 不知道如何处理它并抛出通用 520 状态代码。
520 错误的常见原因
您可能会看到 520 错误的原因有多种。一些常见原因包括：
1.源站宕机 – 如果 Cloudflare 背后的实际 Web 服务器出现故障、超时或无法访问，您可能会收到 520。
2. 无效的HTTP响应 – Web 服务器需要返回格式正确的 HTTP 响应，包括状态行、标头和正文。如果某些内容格式错误或丢失，可能会触发 520。
3. Web应用程序错误 – 如果源服务器上运行的实际应用程序代码存在错误、异常或返回异常响应的边缘情况，这些可能会在 520 秒内传达给用户。
4. 缺少必需的标头 – 某些站点要求请求包含某些 HTTP 标头，例如身份验证、速率限制或安全性。忽略这些可能会导致 520。
5. 自动请求被阻止 – 如果站点检测到异常的自动请求模式，其安全系统可能会阻止这些请求，通常会导致通用 520 错误以隐藏真正的原因。
总而言之，520 通常意味着问题出在源 Web 服务器本身，或者您的请求缺少一些必需的组件。这是一个模糊的错误，可能需要一些挖掘才能查明其真正的来源。
如何修复和避免 520 错误
现在您已经了解了 520 错误的含义以及一些常见原因，那么您实际上可以采取什么措施呢？答案取决于您是抛出 520 的网站所有者，还是试图抓取网站并避免 520 屏蔽。让我们看看针对每种情况的一些提示。
对于网站所有者
如果您在 Cloudflare 支持的网站上看到 520 错误，您可以采取以下一些步骤来调试和解决该问题：
检查服务器健康状况 – 首先，确保您的源服务器实际上已启动且可访问。使用监控工具来验证服务器是否保持响应并且没有过载。
查看错误日志 – 检查服务器的错误日志是否存在可能导致格式错误的响应的任何异常或异常请求。修复任何潜在的错误。
验证响应格式 – 验证您的应用程序代码始终返回格式正确的 HTTP 响应，包括状态、标头和正文。确保考虑到边缘情况。
配置请求超时 – 如果某些请求耗时过长并超时，导致 520 秒，请考虑增加超时设置或优化慢速代码。
测试不同的 URL 路径 – 查看 520 是否仅发生在特定页面或 URL 模式上。这可以帮助隔离需要修复的代码。
检查是否缺少标头 – 如果您的代码需要某些标头（例如 CORS 或身份验证），请确保记录并正确处理这些要求。
从服务器端修复 520 通常是一个消除过程，检查常见问题并确定范围和原因。 Cloudflare 的通用 520 错误本身并没有提供太多线索。
对于网络抓取工具
如果您尝试抓取网站但被 520 状态代码阻止，请参考以下一些绕过它们的提示：
检查是否缺少标头 – 检查站点的正常请求模式并确保包含所有预期的标头，例如 User-Agent、Referer、Accept-Language 等。
避免异常请求模式 – 间隔请求并且不要太快地访问网站。避免因失败而重复重试。随机化访问模式。
使用无法检测的自动化工具 – 像 puppeteer 这样的无头浏览器很容易被检测到。切换到无法检测到的工具，例如 unDetected-chromedriver。
实施代理轮换 – 使用代理服务轮换请求 IP 地址以避免速率限制和阻止。通过 ScrapingBee 等提供商轮换数据中心 IP 或住宅 IP 可以帮助避免 IP 禁令。
验证请求 URL – 确保您请求的 URL 有效且未更改。一个拼写错误可能会导致 520 错误。
尊重机器人.txt – 虽然并不总是必需的，但尊重网站的 robots.txt 规则通常可以帮助避免导致 520 的严厉阻止。
抓取时避免 520 块的关键是尽量减少使您的请求模式看起来与普通用户不同的事情。谨慎的速率限制、真实的标头和不可检测的工具是正确的选择。
结论
虽然 520 状态代码乍一看似乎是一个模糊而神秘的错误，但根据本文中的知识，您现在应该充分了解它的含义以及如何修复它。
请记住，520 表示源服务器给出了意外响应，可能是由于中断、无效的 HTTP 格式、缺少安全标头或自动请求阻止。作为网站所有者，请重点关注服务器运行状况、正确的响应处理和明确的标头要求，以解决 520 问题。作为网络爬虫，输入您的请求模式，使用无法检测的工具和代理，并尊重网站的规则。通过一些分析和迭代，那些令人讨厌的 520 错误将成为过去。
