Introducción
Los códigos de estado HTTP son como un mensaje corto de un servidor web, que le informa cómo fueron las cosas cuando intentó manejar su solicitud. Probablemente esté familiarizado con los más comunes como 404 No encontrado o 500 Error interno del servidor. ¿Pero alguna vez te has topado con un código de estado 520? Es un código un poco específico de Cloudflare que puede resultar confuso si no sabes lo que significa o cómo solucionarlo.
Pero no te preocupes, al final de este artículo serás un experto en 520. Cubriremos exactamente lo que significa un código de estado 520, las causas más comunes de este error y los pasos a seguir que puede seguir para corregir y evitar los 520, ya sea que sea propietario de un sitio web o esté haciendo web scraping. ¡Vamos a sumergirnos!
¿Qué es un código de estado 520?
En primer lugar, es importante tener en cuenta que un 520 no es un código de estado HTTP oficial que encontrará en las especificaciones. Es un código de estado propietario creado por Cloudflare, un popular CDN y servicio de seguridad que utilizan muchos sitios web. Por lo tanto, solo encontrará 520 en sitios que utilicen Cloudflare.
En sus documentos, Cloudflare clasifica un código de estado 520 como "Error desconocido". Útil, ¿verdad? Básicamente significa que el servidor web de origen detrás de Cloudflare respondió con algo inesperado o no válido.
Puede pensar en Cloudflare como un intermediario entre los visitantes y el servidor web real que aloja un sitio. Normalmente, Cloudflare toma una solicitud, la pasa al servidor de origen, obtiene la respuesta y se la devuelve al visitante. Pero si la respuesta del servidor de origen es anormal o falta la información requerida, Cloudflare no sabe qué hacer con ella y genera un código de estado genérico 520.
Causas comunes de errores 520
Hay varias razones por las que puedes ver un error 520. Algunas causas comunes incluyen:
1. El servidor de origen no funciona – Si el servidor web real detrás de Cloudflare falla, se agota el tiempo de espera o no se puede acceder a él, probablemente obtendrá un 520.
2. Respuesta HTTP no válida – Los servidores web deben devolver respuestas HTTP con el formato adecuado, incluida la línea de estado, los encabezados y el cuerpo. Si falta algo o está mal formado, puede activar un 520.
3. Errores de aplicaciones web – Si el código de la aplicación real que se ejecuta en el servidor de origen tiene errores, excepciones o casos extremos que devuelven respuestas anormales, estos pueden llegar al usuario como 520.
4. Faltan encabezados obligatorios – Algunos sitios requieren que las solicitudes incluyan ciertos encabezados HTTP, como para autenticación, limitación de velocidad o seguridad. Dejarlos fuera puede causar un 520.
5. Solicitudes automatizadas bloqueadas – Si un sitio detecta patrones de solicitudes automatizadas inusuales, su sistema de seguridad podría bloquear esas solicitudes, lo que a menudo resulta en un 520 genérico para ocultar la causa real.
Entonces, en resumen, los 520 generalmente significan que el problema está en el servidor web de origen o que a su solicitud le faltan algunos componentes necesarios. Es un error vago que puede requerir un poco de investigación para identificar su verdadera fuente.
Cómo solucionar y evitar errores 520
Ahora que comprende lo que significa un error 520 y algunas causas comunes, ¿qué puede hacer al respecto? La respuesta depende de si usted es el propietario del sitio web que arroja un 520 o si está intentando eliminar un sitio y evitar los bloques 520. Veamos algunos consejos para cada caso.
Para propietarios de sitios web
Si ve errores 520 en su sitio web respaldado por Cloudflare, aquí hay algunos pasos que puede seguir para depurar y solucionar el problema:
Comprobar el estado del servidor – Primero, asegúrese de que su servidor de origen esté realmente activo y accesible. Utilice herramientas de monitoreo para verificar que el servidor siga respondiendo y no esté sobrecargado.
Revisar registros de errores – Verifique los registros de errores de su servidor para detectar excepciones o solicitudes anormales que puedan estar causando respuestas con formato incorrecto. Corrija cualquier error subyacente.
Validar formato de respuesta – Verifique que el código de su aplicación siempre devuelva respuestas HTTP con el formato adecuado, con estado, encabezados y cuerpo. Asegúrese de tener en cuenta los casos extremos.
Configurar tiempos de espera de solicitudes – Si algunas solicitudes tardan demasiado y se agotan, lo que provoca 520, considere aumentar la configuración del tiempo de espera u optimizar el código lento.
Pruebe diferentes rutas de URL – Vea si el 520 solo ocurre en páginas específicas o patrones de URL. Eso puede ayudar a aislar el código que necesita reparación.
Compruebe si faltan encabezados – Si su código espera ciertos encabezados como CORS o autenticación, asegúrese de que esos requisitos estén documentados y manejados adecuadamente.
Reparar los problemas 520 desde el lado del servidor es a menudo un proceso de eliminación, buscando problemas comunes y centrándose en el alcance y la causa. El error genérico 520 de Cloudflare no da muchas pistas por sí solo.
Para raspadores web
Si estás intentando eliminar un sitio web pero te bloquean los códigos de estado 520, aquí tienes algunos consejos para evitarlos:
Compruebe si faltan encabezados – Inspeccione los patrones de solicitud normales del sitio y asegúrese de incluir todos los encabezados esperados, como User-Agent, Referer, Accept-Language, etc.
Evite patrones de solicitud anormales – Espacie las solicitudes y no llegue a un sitio demasiado rápido. Evite repetidos intentos por fallas. Aleatorizar patrones de acceso.
Utilice herramientas de automatización indetectables – Los navegadores sin cabeza, como el titiritero, son fácilmente detectables. Cambie a una herramienta indetectable como undetected-chromedriver.
Implementar rotación de proxy – Rotar las direcciones IP de solicitud utilizando un servicio proxy para evitar límites y bloqueos de velocidad. Rotar las IP del centro de datos o las IP residenciales a través de un proveedor como ScrapingBee puede ayudar a evitar las prohibiciones de IP.
Verificar las URL de solicitud – Asegúrese de que las URL que solicita sean válidas y no hayan cambiado. Un solo error tipográfico puede provocar errores 520.
Respeta el archivo robots.txt – Si bien no siempre es necesario, respetar las reglas de robots.txt de un sitio a menudo puede ayudar a evitar un bloqueo severo que resulta en 520.
La clave para evitar 520 bloques durante el scraping es minimizar las cosas que hacen que sus patrones de solicitud se vean diferentes a los de los usuarios normales. El camino a seguir es una limitación cuidadosa de la velocidad, encabezados realistas y herramientas indetectables.
Conclusión
Si bien un código de estado 520 puede parecer un error vago y misterioso al principio, con el conocimiento de este artículo ahora deberías tener una comprensión sólida de lo que significa y cómo solucionarlo.
Recuerde, 520 significa que el servidor de origen dio una respuesta inesperada, tal vez debido a una interrupción, un formato HTTP no válido, falta de encabezados de seguridad o un bloqueo automático de solicitudes. Como propietario de un sitio web, concéntrese en el estado del servidor, el manejo adecuado de las respuestas y los requisitos de encabezado claros para resolver los problemas 520. Y como raspador web, marque sus patrones de solicitud, utilice herramientas y servidores proxy indetectables y respete las reglas del sitio. Con un poco de análisis e iteración, esos molestos errores 520 serán cosa del pasado.
