المُقدّمة
تشبه رموز حالة HTTP رسالة قصيرة من خادم الويب، تخبرك بكيفية سير الأمور عندما حاول التعامل مع طلبك. ربما تكون على دراية بالأمور الشائعة مثل 404 لم يتم العثور عليه أو 500 خطأ داخلي في الخادم. ولكن هل سبق لك أن واجهت رمز الحالة 520؟ إنه عبارة عن كود متخصص خاص بـ Cloudflare والذي يمكن أن يكون مربكًا إذا كنت لا تعرف معناه أو كيفية استكشاف أخطاءه وإصلاحها.
لا تقلق، فبنهاية هذه المقالة سوف تصبح 520 خبيرًا. سنغطي بالضبط ما يعنيه رمز الحالة 520، والأسباب الأكثر شيوعًا لهذا الخطأ، والخطوات القابلة للتنفيذ التي يمكنك اتخاذها لإصلاح وتجنب 520، سواء كنت مالك موقع ويب أو تقوم ببعض عمليات تجريف الويب. دعونا الغوص في!
ما هو رمز الحالة 520؟
أولاً، من المهم ملاحظة أن 520 ليس رمز حالة HTTP رسميًا الذي ستجده في المواصفات. إنه رمز حالة خاص تم إنشاؤه بواسطة Cloudflare، وهي خدمة CDN وخدمة أمان شائعة تستخدمها العديد من مواقع الويب. لذا، ستصل إلى 520 ثانية فقط على المواقع التي تستخدم Cloudflare.
في مستنداتهم، يصنف Cloudflare رمز الحالة 520 على أنه يعني "خطأ غير معروف". مفيدة، أليس كذلك؟ هذا يعني في الأساس أن خادم الويب الأصلي وراء Cloudflare استجاب بشيء غير متوقع أو غير صالح.
يمكنك التفكير في Cloudflare كوسيط بين الزوار وخادم الويب الفعلي الذي يستضيف الموقع. عادةً ما يتلقى Cloudflare الطلب، ويمرره إلى الخادم الأصلي، ويحصل على الاستجابة، ويمرره مرة أخرى إلى الزائر. ولكن إذا كانت استجابة الخادم الأصلي غير طبيعية أو تفتقد المعلومات المطلوبة، فلن يعرف Cloudflare ما يجب فعله بها ويطرح رمز الحالة 520 العام.
الأسباب الشائعة لخطأ 520
هناك عدد من الأسباب التي قد تؤدي إلى ظهور خطأ 520. تشمل بعض الأسباب الشائعة ما يلي:
1. خادم الأصل معطل – إذا تعطل خادم الويب الفعلي خلف Cloudflare، أو انتهت مهلته، أو أصبح غير قابل للوصول، فمن المحتمل أن تحصل على 520.
2. استجابة HTTP غير صالحة - تحتاج خوادم الويب إلى إرجاع استجابات HTTP منسقة بشكل صحيح، بما في ذلك سطر الحالة والرؤوس والنص الأساسي. إذا كان هناك شيء ما تالفًا أو مفقودًا، فيمكن أن يؤدي ذلك إلى تشغيل 520.
3. أخطاء في تطبيقات الويب - إذا كان كود التطبيق الفعلي الذي يتم تشغيله على الخادم الأصلي يحتوي على أخطاء أو استثناءات أو حالات حافة تؤدي إلى إرجاع استجابات غير طبيعية، فيمكن أن تصل هذه إلى المستخدم على شكل 520.
4. الرؤوس المطلوبة مفقودة - تتطلب بعض المواقع طلبات لتضمين رؤوس HTTP معينة، مثل المصادقة أو تحديد المعدل أو الأمان. ترك هؤلاء بالخارج يمكن أن يسبب 520.
5. تم حظر الطلبات الآلية - إذا اكتشف موقع ما أنماط طلب تلقائية غير عادية، فقد يقوم نظام الأمان الخاص به بحظر هذه الطلبات، مما يؤدي غالبًا إلى ظهور رقم 520 عام لإخفاء السبب الحقيقي.
باختصار، 520 تعني عادةً أن المشكلة تكمن في خادم الويب الأصلي نفسه، أو أن طلبك كان يفتقد بعض المكونات المطلوبة. إنه خطأ غامض قد يستغرق بعض البحث لتحديد المصدر الحقيقي.
كيفية إصلاح وتجنب الأخطاء 520
الآن بعد أن فهمت ما يعنيه الخطأ 520 وبعض الأسباب الشائعة، ما الذي يمكنك فعله حيال ذلك؟ تعتمد الإجابة على ما إذا كنت مالك موقع الويب الذي تلقي 520، أو أنك تحاول استخلاص موقع وتجنب 520 كتلة. دعونا نلقي نظرة على بعض النصائح لكل حالة.
لأصحاب المواقع
إذا كنت ترى خطأ 520 لموقعك الإلكتروني المدعوم من Cloudflare، فإليك بعض الخطوات التي يمكنك اتخاذها لتصحيح المشكلة وإصلاحها:
التحقق من صحة الخادم – أولاً، تأكد من أن خادمك الأصلي جاهز بالفعل ويمكن الوصول إليه. استخدم أدوات المراقبة للتحقق من بقاء الخادم مستجيبًا وعدم تحميله بشكل زائد.
مراجعة سجلات الأخطاء – تحقق من سجلات أخطاء الخادم الخاص بك بحثًا عن أي استثناءات أو طلبات غير طبيعية قد تسبب استجابات غير صحيحة. إصلاح أي أخطاء أساسية.
التحقق من صحة تنسيق الاستجابة – تأكد من أن رمز التطبيق الخاص بك يُرجع دائمًا استجابات HTTP ذات التنسيق الصحيح، مع الحالة، والرؤوس، والنص. تأكد من احتساب حالات الحافة.
تكوين مهلة الطلب - إذا كانت بعض الطلبات تستغرق وقتًا طويلاً للغاية وتنتهي مهلتها، مما يتسبب في حدوث 520 ثانية، ففكر في زيادة إعدادات المهلة أو تحسين التعليمات البرمجية البطيئة.
اختبار مسارات URL المختلفة – معرفة ما إذا كان 520 يحدث فقط على صفحات أو أنماط URL محددة. يمكن أن يساعد ذلك في عزل التعليمات البرمجية التي تحتاج إلى إصلاح.
التحقق من وجود رؤوس مفقودة – إذا كانت التعليمات البرمجية الخاصة بك تتوقع رؤوسًا معينة مثل CORS أو المصادقة، فتأكد من توثيق هذه المتطلبات ومعالجتها بشكل صحيح.
غالبًا ما يكون إصلاح 520 من جانب الخادم عبارة عن عملية إزالة، والتحقق من المشكلات الشائعة والتركيز على النطاق والسبب. لا يقدم الخطأ العام 520 الخاص بـ Cloudflare الكثير من الأدلة في حد ذاته.
لكاشطات الويب
إذا كنت تحاول استخلاص موقع ويب ولكن تم حظرك بواسطة 520 رمز حالة، فإليك بعض النصائح للتغلب على هذه المشكلة:
التحقق من وجود رؤوس مفقودة – افحص أنماط الطلب العادية للموقع وتأكد من تضمين جميع الرؤوس المتوقعة، مثل وكيل المستخدم، والمرجع، واللغة المقبولة، وما إلى ذلك.
تجنب أنماط الطلب غير الطبيعية - قم بتباعد الطلبات ولا تصل إلى الموقع بسرعة كبيرة. تجنب إعادة المحاولة المتكررة للفشل. عشوائية أنماط الوصول.
استخدم أدوات التشغيل الآلي غير القابلة للاكتشاف – يمكن اكتشاف المتصفحات مقطوعة الرأس مثل محرك الدمى بسهولة. قم بالتبديل إلى أداة غير قابلة للاكتشاف مثل برنامج التشغيل الكرومي غير المكتشف.
تنفيذ دوران الوكيل - قم بتدوير عناوين IP للطلب باستخدام خدمة الوكيل لتجنب حدود الأسعار والكتل. يمكن أن يساعد تدوير عناوين IP لمركز البيانات أو عناوين IP السكنية من خلال مزود مثل ScrapingBee في تجنب حظر IP.
التحقق من عناوين URL للطلب – تأكد من أن عناوين URL التي تطلبها صالحة ولم تتغير. خطأ مطبعي واحد يمكن أن يسبب 520 خطأ.
احترام ملف robots.txt - على الرغم من أن احترام قواعد ملف robots.txt الخاص بالموقع ليس مطلوبًا دائمًا، إلا أنه غالبًا ما يساعد في تجنب الحظر الصارم الذي يؤدي إلى 520 ثانية.
المفتاح لتجنب 520 كتلة أثناء عملية الاستخراج هو تقليل الأشياء التي تجعل أنماط طلبك تبدو مختلفة عن المستخدمين العاديين. إن تحديد المعدل بعناية والترويسات الواقعية والأدوات التي لا يمكن اكتشافها هي الحل الأمثل.
وفي الختام
في حين أن رمز الحالة 520 قد يبدو وكأنه خطأ غامض وغامض في البداية، فمن خلال المعرفة الواردة في هذه المقالة، يجب أن يكون لديك الآن فهم جيد لما يعنيه وكيفية إصلاحه.
تذكر، 520 يعني أن الخادم الأصلي قدم استجابة غير متوقعة، ربما بسبب انقطاع الخدمة، أو تنسيق HTTP غير صالح، أو رؤوس الأمان المفقودة، أو حظر الطلب التلقائي. باعتبارك مالك موقع ويب، ركز على سلامة الخادم والتعامل مع الاستجابة المناسبة ومتطلبات الرأس الواضحة لحل 520s. وباعتبارك أداة استخراج بيانات الويب، يمكنك إدخال أنماط الطلب الخاصة بك، واستخدام أدوات ووكلاء غير قابلين للاكتشاف، واحترم قواعد الموقع. مع بعض التحليل والتكرار، ستصبح أخطاء 520 المزعجة هذه شيئًا من الماضي.
