Introduzione
I codici di stato HTTP sono come un breve messaggio da un server web, che ti dice come sono andate le cose quando ha provato a gestire la tua richiesta. Probabilmente hai familiarità con quelli comuni come 404 Not Found o 500 Internal Server Error. Ma ti sei mai imbattuto in un codice di stato 520? È un codice un po' di nicchia, specifico per Cloudflare, che può creare confusione se non sai cosa significa o come risolverlo.
Non preoccuparti però, alla fine di questo articolo sarai un esperto 520. Tratteremo esattamente cosa significa un codice di stato 520, le cause più comuni di questo errore e i passaggi attuabili che puoi eseguire per correggere ed evitare i codici di stato 520, sia che tu sia il proprietario di un sito web o che tu stia eseguendo qualche web scraping. Immergiamoci!
Cos'è un codice di stato 520?
Prima di tutto, è importante notare che 520 non è un codice di stato HTTP ufficiale che troverai nelle specifiche. È un codice di stato proprietario creato da Cloudflare, un popolare CDN e servizio di sicurezza utilizzato da molti siti Web. Quindi ti imbatterai in 520 solo sui siti che utilizzano Cloudflare.
Nei loro documenti, Cloudflare classifica un codice di stato 520 come "Errore sconosciuto". Utile, vero? Fondamentalmente significa che il server web di origine dietro Cloudflare ha risposto con qualcosa di inaspettato o non valido.
Puoi pensare a Cloudflare come a un intermediario tra i visitatori e l'effettivo server web che ospita un sito. Normalmente Cloudflare accetta una richiesta, la passa al server di origine, ottiene la risposta e la restituisce al visitatore. Ma se la risposta del server di origine è anomala o mancano le informazioni richieste, Cloudflare non sa cosa farne e genera un codice di stato 520 generico.
Cause comuni degli errori 520
Esistono diversi motivi per cui potresti visualizzare un errore 520. Alcune cause comuni includono:
1. Il server di origine è inattivo – Se il server web dietro Cloudflare non funziona, va in timeout o non è raggiungibile, probabilmente otterrai un 520.
2. Risposta HTTP non valida – I server Web devono restituire risposte HTTP correttamente formattate, inclusa la riga di stato, le intestazioni e il corpo. Se qualcosa è malformato o mancante, può attivare un 520.
3. Bug delle applicazioni Web – Se il codice dell'applicazione effettiva in esecuzione sul server di origine presenta bug, eccezioni o casi limite che restituiscono risposte anomale, questi possono arrivare all'utente come 520.
4. Intestazioni richieste mancanti – Alcuni siti richiedono che le richieste includano determinate intestazioni HTTP, come per l'autenticazione, la limitazione della velocità o la sicurezza. Lasciarli fuori può causare un 520.
5. Richieste automatizzate bloccate – Se un sito rileva modelli di richiesta automatizzati insoliti, il suo sistema di sicurezza potrebbe bloccare tali richieste, spesso risultando in un 520 generico per nascondere la vera causa.
Quindi, in sintesi, i 520 di solito significano che il problema riguarda il server web di origine stesso o che nella tua richiesta mancano alcuni componenti richiesti. È un errore vago che può richiedere un po' di ricerca per individuarne la vera fonte.
Come correggere ed evitare gli errori 520
Ora che hai capito cosa significa un errore 520 e alcune cause comuni, cosa puoi fare concretamente al riguardo? La risposta dipende se sei il proprietario del sito web che lancia un 520 o se stai cercando di raschiare un sito ed evitare i blocchi 520. Diamo un'occhiata ad alcuni suggerimenti per ciascun caso.
Per i proprietari di siti web
Se visualizzi gli errori 520 per il tuo sito web supportato da Cloudflare, ecco alcuni passaggi che puoi eseguire per eseguire il debug e risolvere il problema:
Controlla lo stato del server – Innanzitutto, assicurati che il tuo server di origine sia effettivamente attivo e raggiungibile. Utilizza strumenti di monitoraggio per verificare che il server rimanga reattivo e non sia sovraccaricato.
Esaminare i log degli errori – Controlla i log degli errori del tuo server per eventuali eccezioni o richieste anomale che potrebbero causare risposte non corrette. Correggi eventuali bug sottostanti.
Convalidare il formato della risposta – Verifica che il codice dell'applicazione restituisca sempre risposte HTTP formattate correttamente, con stato, intestazioni e corpo. Assicurati che vengano presi in considerazione i casi limite.
Configurare i timeout delle richieste – Se alcune richieste impiegano troppo tempo e vanno in timeout, causando 520, prendere in considerazione l'aumento delle impostazioni di timeout o l'ottimizzazione del codice lento.
Prova diversi percorsi URL – Verifica se il 520 si verifica solo su pagine o modelli URL specifici. Ciò può aiutare a isolare il codice che deve essere corretto.
Controlla le intestazioni mancanti – Se il tuo codice prevede determinate intestazioni come CORS o autenticazione, assicurati che tali requisiti siano documentati e gestiti correttamente.
La correzione dei 520 dal lato server è spesso un processo di eliminazione, verificando i problemi comuni e concentrandosi sull'ambito e sulla causa. L'errore 520 generico di Cloudflare non fornisce molti indizi in sé.
Per raschiatori Web
Se stai tentando di raschiare un sito Web ma vieni bloccato dai codici di stato 520, ecco alcuni suggerimenti per aggirarli:
Controlla le intestazioni mancanti – Ispeziona i normali modelli di richiesta del sito e assicurati di includere tutte le intestazioni previste, come User-Agent, Referer, Accept-Language, ecc.
Evitare modelli di richiesta anomali – Distanziare le richieste e non raggiungere un sito troppo rapidamente. Evitare ripetuti tentativi in caso di insuccessi. Randomizzare i modelli di accesso.
Utilizza strumenti di automazione non rilevabili – I browser headless come Burattinaio sono facilmente rilevabili. Passa a uno strumento non rilevabile come undetected-chromedriver.
Implementare la rotazione dei proxy – Ruota gli indirizzi IP delle richieste utilizzando un servizio proxy per evitare limiti di velocità e blocchi. La rotazione degli IP dei data center o degli IP residenziali tramite un provider come ScrapingBee può aiutare a evitare i divieti IP.
Verifica gli URL della richiesta – Assicurati che gli URL che stai richiedendo siano validi e non siano cambiati. Un singolo errore di battitura può causare 520 errori.
Rispetta robots.txt – Sebbene non sia sempre richiesto, il rispetto delle regole del file robots.txt di un sito può spesso aiutare a evitare blocchi pesanti che si traducono in 520.
La chiave per evitare 520 blocchi durante lo scraping è ridurre al minimo le cose che rendono i modelli di richiesta diversi da quelli degli utenti normali. Un'attenta limitazione della velocità, intestazioni realistiche e strumenti non rilevabili sono la strada da percorrere.
Conclusione
Sebbene all'inizio un codice di stato 520 possa sembrare un errore vago e misterioso, con le conoscenze di questo articolo ora dovresti avere una solida comprensione di cosa significa e come risolverlo.
Ricorda, 520 significa che il server di origine ha fornito una risposta inaspettata, forse a causa di un'interruzione, formattazione HTTP non valida, intestazioni di sicurezza mancanti o blocco automatico delle richieste. In qualità di proprietario di un sito Web, concentrati sull'integrità del server, sulla corretta gestione delle risposte e sui requisiti di intestazione chiara per risolvere i 520. E come web scraper, seleziona i tuoi modelli di richiesta, utilizza strumenti e proxy non rilevabili e rispetta le regole del sito. Con qualche analisi e iterazione, quei fastidiosi errori 520 saranno un ricordo del passato.
