Introdução
Os códigos de status HTTP são como uma mensagem curta de um servidor web, informando como as coisas aconteceram quando ele tentou atender sua solicitação. Você provavelmente está familiarizado com os mais comuns, como 404 Not Found ou 500 Internal Server Error. Mas você já se deparou com um código de status 520? É um código específico do Cloudflare que pode ser confuso se você não souber o que significa ou como solucionar o problema.
Não se preocupe, ao final deste artigo você será um especialista em 520. Abordaremos exatamente o que significa um código de status 520, as causas mais comuns para esse erro e as etapas práticas que você pode seguir para corrigir e evitar 520, seja você proprietário de um site ou fazendo algum web scraping. Vamos mergulhar!
O que é um código de status 520?
Em primeiro lugar, é importante observar que 520 não é um código de status HTTP oficial que você encontrará nas especificações. É um código de status proprietário criado pela Cloudflare, um CDN popular e serviço de segurança usado por muitos sites. Portanto, você só encontrará 520 em sites que usam Cloudflare.
Em seus documentos, a Cloudflare classifica um código de status 520 como significando “Erro desconhecido”. Útil, certo? Basicamente, significa que o servidor web de origem por trás do Cloudflare respondeu com algo inesperado ou inválido.
Você pode pensar no Cloudflare como um intermediário entre os visitantes e o servidor web real que hospeda um site. Normalmente o Cloudflare recebe uma solicitação, passa para o servidor de origem, obtém a resposta e a repassa ao visitante. Mas se a resposta do servidor de origem for anormal ou faltarem informações necessárias, a Cloudflare não sabe o que fazer com ela e lança um código de status 520 genérico.
Causas comuns de erros 520
Existem vários motivos pelos quais você pode ver um erro 520. Algumas causas comuns incluem:
1. O servidor Origin está inativo – Se o servidor web real por trás do Cloudflare falhar, atingir o tempo limite ou ficar inacessível, você provavelmente obterá um 520.
2. Resposta HTTP inválida – Os servidores Web precisam retornar respostas HTTP formatadas corretamente, incluindo linha de status, cabeçalhos e corpo. Se algo estiver malformado ou faltando, pode acionar um 520.
3. Bugs em aplicativos da web – Se o código real do aplicativo em execução no servidor de origem tiver bugs, exceções ou casos extremos que retornem respostas anormais, eles poderão chegar ao usuário como 520s.
4. Cabeçalhos obrigatórios ausentes – Alguns sites exigem que as solicitações incluam determinados cabeçalhos HTTP, como para autenticação, limitação de taxa ou segurança. Deixá-los de fora pode causar um 520.
5. Solicitações automatizadas bloqueadas – Se um site detectar padrões incomuns de solicitações automatizadas, seu sistema de segurança poderá bloquear essas solicitações, muitas vezes resultando em um 520 genérico para ocultar a causa real.
Portanto, em resumo, 520 geralmente significa que o problema está no próprio servidor web de origem ou que faltavam alguns componentes necessários em sua solicitação. É um erro vago que pode exigir algumas pesquisas para identificar a verdadeira fonte.
Como corrigir e evitar erros 520
Agora que você entende o que significa um erro 520 e algumas causas comuns, o que você pode realmente fazer a respeito? A resposta depende se você é o proprietário do site lançando um 520 ou está tentando raspar um site e evitar 520 bloqueios. Vejamos algumas dicas para cada caso.
Para proprietários de sites
Se você estiver vendo erros 520 em seu site apoiado pela Cloudflare, aqui estão algumas etapas que você pode seguir para depurar e corrigir o problema:
Verifique a integridade do servidor – Primeiro, certifique-se de que seu servidor de origem esteja realmente ativo e acessível. Use ferramentas de monitoramento para verificar se o servidor permanece responsivo e não está sobrecarregado.
Revise os logs de erros – Verifique os logs de erros do seu servidor em busca de exceções ou solicitações anormais que possam estar causando respostas malformadas. Corrija quaisquer bugs subjacentes.
Validar formato de resposta – Verifique se o código do seu aplicativo está sempre retornando respostas HTTP formatadas corretamente, com status, cabeçalhos e corpo. Certifique-se de que os casos extremos sejam levados em consideração.
Configurar tempos limite de solicitação – Se algumas solicitações estiverem demorando muito e atingindo o tempo limite, causando 520s, considere aumentar as configurações de tempo limite ou otimizar o código lento.
Teste diferentes caminhos de URL – Veja se o 520 só acontece em páginas ou padrões de URL específicos. Isso pode ajudar a isolar o código que precisa ser corrigido.
Verifique se há cabeçalhos ausentes – Se o seu código espera determinados cabeçalhos, como CORS ou autenticação, certifique-se de que esses requisitos sejam documentados e tratados adequadamente.
Consertar 520s do lado do servidor geralmente é um processo de eliminação, verificando problemas comuns e concentrando-se no escopo e na causa. O erro 520 genérico da Cloudflare não dá muitas pistas.
Para raspadores de web
Se você está tentando copiar um site, mas foi bloqueado por 520 códigos de status, aqui estão algumas dicas para contorná-los:
Verifique se há cabeçalhos ausentes – Inspecione os padrões normais de solicitação do site e certifique-se de incluir todos os cabeçalhos esperados, como User-Agent, Referer, Accept-Language, etc.
Evite padrões de solicitação anormais – Afaste as solicitações e não acesse um site muito rapidamente. Evite tentativas repetidas em caso de falhas. Randomize os padrões de acesso.
Use ferramentas de automação indetectáveis – Navegadores sem cabeça, como o titereiro, são facilmente detectáveis. Mude para uma ferramenta indetectável, como o undetected-chromedriver.
Implementar rotação de proxy – Alterne endereços IP de solicitação usando um serviço de proxy para evitar limites e bloqueios de taxa. A rotação de IPs de data center ou IPs residenciais por meio de um provedor como o ScrapingBee pode ajudar a evitar proibições de IP.
Verifique URLs de solicitação – Certifique-se de que os URLs solicitados sejam válidos e não tenham sido alterados. Um único erro de digitação pode causar 520 erros.
Respeite o robots.txt – Embora nem sempre seja obrigatório, respeitar as regras do robots.txt de um site muitas vezes pode ajudar a evitar bloqueios violentos que resultam em 520s.
A chave para evitar 520 blocos durante a raspagem é minimizar coisas que fazem com que seus padrões de solicitação pareçam diferentes dos usuários normais. Limitação de taxa cuidadosa, cabeçalhos realistas e ferramentas indetectáveis são o caminho a percorrer.
Conclusão
Embora um código de status 520 possa parecer um erro vago e misterioso a princípio, com o conhecimento deste artigo, agora você deve ter uma compreensão sólida do que ele significa e como proceder para corrigi-lo.
Lembre-se de que 520 significa que o servidor de origem deu uma resposta inesperada, talvez devido a uma interrupção, formatação HTTP inválida, falta de cabeçalhos de segurança ou bloqueio automatizado de solicitações. Como proprietário de um site, concentre-se na integridade do servidor, no tratamento adequado das respostas e nos requisitos de cabeçalho claros para resolver 520s. E como um web scraper, disque seus padrões de solicitação, use ferramentas e proxies indetectáveis e respeite as regras do site. Com alguma análise e iteração, esses incômodos erros 520 serão coisa do passado.
