Einleitung
HTTP-Statuscodes sind wie eine kurze Nachricht von einem Webserver, die Ihnen mitteilt, wie es gelaufen ist, als er versucht hat, Ihre Anfrage zu bearbeiten. Sie kennen wahrscheinlich häufige Meldungen wie „404 Not Found“ oder „500 Internal Server Error“. Aber sind Sie jemals auf den Statuscode 520 gestoßen? Es handelt sich um einen Cloudflare-spezifischen Nischencode, der verwirrend sein kann, wenn Sie nicht wissen, was er bedeutet oder wie Sie ihn beheben können.
Aber keine Sorge, am Ende dieses Artikels werden Sie ein 520-Experte sein. Wir besprechen genau, was ein 520-Statuscode bedeutet, die häufigsten Ursachen für diesen Fehler und umsetzbare Schritte, die Sie unternehmen können, um 520-Fehler zu beheben und zu vermeiden, unabhängig davon, ob Sie Inhaber einer Website sind oder Web Scraping betreiben. Lass uns eintauchen!
Was ist ein 520-Statuscode?
Zunächst einmal ist es wichtig zu beachten, dass es sich bei 520 nicht um einen offiziellen HTTP-Statuscode handelt, den Sie in den Spezifikationen finden. Es handelt sich um einen proprietären Statuscode, der von Cloudflare erstellt wurde, einem beliebten CDN- und Sicherheitsdienst, den viele Websites verwenden. Sie werden also nur auf Websites mit Cloudflare auf 520 stoßen.
In seinen Dokumenten klassifiziert Cloudflare den Statuscode 520 als „Unbekannter Fehler“. Hilfreich, oder? Im Grunde bedeutet es, dass der Ursprungswebserver hinter Cloudflare mit etwas Unerwartetem oder Ungültigem geantwortet hat.
Sie können sich Cloudflare als Vermittler zwischen Besuchern und dem tatsächlichen Webserver vorstellen, der eine Website hostet. Normalerweise nimmt Cloudflare eine Anfrage entgegen, leitet sie an den Ursprungsserver weiter, erhält die Antwort und gibt diese an den Besucher zurück. Wenn die Antwort des Ursprungsservers jedoch abnormal ist oder erforderliche Informationen fehlen, weiß Cloudflare nicht, was damit zu tun ist, und gibt einen allgemeinen Statuscode 520 aus.
Häufige Ursachen für 520-Fehler
Es gibt eine Reihe von Gründen, warum Ihnen möglicherweise ein 520-Fehler angezeigt wird. Einige häufige Ursachen sind:
1. Der Ursprungsserver ist ausgefallen – Wenn der eigentliche Webserver hinter Cloudflare ausfällt, eine Zeitüberschreitung auftritt oder nicht erreichbar ist, erhalten Sie wahrscheinlich eine 520.
2. Ungültige HTTP-Antwort – Webserver müssen ordnungsgemäß formatierte HTTP-Antworten zurückgeben, einschließlich Statuszeile, Header und Text. Wenn etwas fehlerhaft ist oder fehlt, kann dies eine 520 auslösen.
3. Fehler in Webanwendungen – Wenn der eigentliche Anwendungscode, der auf dem Ursprungsserver ausgeführt wird, Fehler, Ausnahmen oder Randfälle aufweist, die abnormale Antworten zurückgeben, können diese dem Benutzer als 520-Fehler angezeigt werden.
4. Erforderliche Header fehlen – Einige Websites erfordern, dass Anfragen bestimmte HTTP-Header enthalten, z. B. zur Authentifizierung, Ratenbegrenzung oder Sicherheit. Wenn Sie diese weglassen, kann dies zu einem 520 führen.
5. Automatisierte Anfragen blockiert – Wenn eine Website ungewöhnliche automatisierte Anfragemuster erkennt, blockiert ihr Sicherheitssystem diese Anfragen möglicherweise, was häufig zu einer generischen 520 führt, um die wahre Ursache zu verbergen.
Zusammenfassend bedeutet 520 normalerweise, dass das Problem beim Ursprungswebserver selbst liegt oder dass Ihrer Anfrage einige erforderliche Komponenten fehlten. Es handelt sich um einen vagen Fehler, dessen wahre Ursache einige Recherchen erfordern können.
So beheben und vermeiden Sie 520-Fehler
Nachdem Sie nun verstanden haben, was ein 520-Fehler bedeutet und welche häufigen Ursachen er hat, was können Sie tatsächlich dagegen tun? Die Antwort hängt davon ab, ob Sie der Eigentümer der Website sind, der einen 520-Block auslöst, oder ob Sie versuchen, eine Website zu durchsuchen und 520-Blöcke zu vermeiden. Schauen wir uns für jeden Fall einige Tipps an.
Für Websitebesitzer
Wenn für Ihre von Cloudflare unterstützte Website 520-Fehler angezeigt werden, finden Sie hier einige Schritte, die Sie zum Debuggen und Beheben des Problems unternehmen können:
Überprüfen Sie den Serverzustand – Stellen Sie zunächst sicher, dass Ihr Ursprungsserver tatsächlich aktiv und erreichbar ist. Verwenden Sie Überwachungstools, um sicherzustellen, dass der Server reagiert und nicht überlastet ist.
Überprüfen Sie die Fehlerprotokolle – Überprüfen Sie die Fehlerprotokolle Ihres Servers auf Ausnahmen oder ungewöhnliche Anfragen, die möglicherweise fehlerhafte Antworten verursachen. Beheben Sie alle zugrunde liegenden Fehler.
Antwortformat validieren – Stellen Sie sicher, dass Ihr Anwendungscode immer ordnungsgemäß formatierte HTTP-Antworten mit Status, Headern und Text zurückgibt. Stellen Sie sicher, dass Randfälle berücksichtigt werden.
Konfigurieren Sie Anforderungszeitlimits – Wenn einige Anfragen zu lange dauern und eine Zeitüberschreitung verursachen, was zu 520 Sekunden führt, sollten Sie erwägen, die Zeitüberschreitungseinstellungen zu erhöhen oder langsamen Code zu optimieren.
Testen Sie verschiedene URL-Pfade – Überprüfen Sie, ob der 520 nur auf bestimmten Seiten oder URL-Mustern auftritt. Dies kann dabei helfen, Code zu isolieren, der repariert werden muss.
Suchen Sie nach fehlenden Headern – Wenn Ihr Code bestimmte Header wie CORS oder Authentifizierung erwartet, stellen Sie sicher, dass diese Anforderungen dokumentiert und ordnungsgemäß gehandhabt werden.
Das Beheben von 520-Fehlern auf der Serverseite ist oft ein Prozess der Eliminierung, der Suche nach häufigen Problemen und der Eingrenzung von Umfang und Ursache. Der generische 520-Fehler von Cloudflare selbst gibt nicht viele Hinweise.
Für Web Scraper
Wenn Sie versuchen, eine Website zu durchsuchen, aber durch den Statuscode 520 blockiert werden, finden Sie hier einige Tipps, wie Sie diese umgehen können:
Suchen Sie nach fehlenden Headern – Überprüfen Sie die normalen Anforderungsmuster der Site und stellen Sie sicher, dass Sie alle erwarteten Header wie User-Agent, Referer, Accept-Language usw. einschließen.
Vermeiden Sie ungewöhnliche Anforderungsmuster – Verteilen Sie Anfragen und rufen Sie eine Website nicht zu schnell auf. Vermeiden Sie wiederholte Wiederholungsversuche bei Fehlern. Zugriffsmuster randomisieren.
Verwenden Sie nicht erkennbare Automatisierungstools – Headless-Browser wie Puppeteer sind leicht erkennbar. Wechseln Sie zu einem nicht erkennbaren Tool wie undetected-chromedriver.
Implementieren Sie die Proxy-Rotation – Rotieren Sie Anforderungs-IP-Adressen mithilfe eines Proxy-Dienstes, um Ratenbeschränkungen und -blockaden zu vermeiden. Durch die Rotation von Rechenzentrums-IPs oder Privat-IPs über einen Anbieter wie ScrapingBee können IP-Verbote vermieden werden.
Überprüfen Sie die Anforderungs-URLs – Stellen Sie sicher, dass die von Ihnen angeforderten URLs gültig sind und sich nicht geändert haben. Ein einziger Tippfehler kann 520 Fehler verursachen.
Respektiere robots.txt – Auch wenn dies nicht immer erforderlich ist, kann die Einhaltung der robots.txt-Regeln einer Website oft dazu beitragen, grobe Blockierungen zu vermeiden, die zu 520-Fehlern führen.
Der Schlüssel zur Vermeidung von 520-Blöcken beim Scraping besteht darin, Dinge zu minimieren, die dazu führen, dass Ihre Anforderungsmuster anders aussehen als bei normalen Benutzern. Sorgfältige Ratenbegrenzung, realistische Header und nicht erkennbare Tools sind der richtige Weg.
Fazit
Während ein 520-Statuscode zunächst wie ein vager und mysteriöser Fehler erscheinen kann, sollten Sie mit dem Wissen aus diesem Artikel nun ein solides Verständnis dafür haben, was er bedeutet und wie Sie ihn beheben können.
Denken Sie daran: 520 bedeutet, dass der Ursprungsserver eine unerwartete Antwort gegeben hat, möglicherweise aufgrund eines Ausfalls, einer ungültigen HTTP-Formatierung, fehlender Sicherheitsheader oder einer automatischen Anforderungsblockierung. Konzentrieren Sie sich als Websitebesitzer auf den Serverzustand, die ordnungsgemäße Antwortverarbeitung und klare Header-Anforderungen, um 520-Fehler zu beheben. Und als Web-Scraper geben Sie Ihre Anfragemuster ein, verwenden Sie nicht erkennbare Tools und Proxys und respektieren Sie die Regeln der Website. Mit etwas Analyse und Iteration gehören diese lästigen 520-Fehler der Vergangenheit an.
