مرحبًا، سعدت بلقائك!
إذا كنت تقرأ هذا، فمن المحتمل أنك حاولت استخراج المواقع المحمية بواسطة Akamai's Bot Manager وفشلت. يمكن أن يكون الحظر محبطًا للغاية!
لكن لا تقلق، لقد أتيت إلى المكان الصحيح. اسمي [اسمك] وأنا أعمل في لعبة استخراج البيانات من الويب منذ أكثر من 5 سنوات. لقد التقطت الكثير من النصائح والحيل لتجاوز خدمات حماية الروبوتات مثل Akamai.
واليوم، أنا متحمس لمشاركة كل ما أعرفه لمساعدتك في استخراج البيانات بنجاح من مواقع Akamai المحمية في عام 2023!
لنبدأ بالنظر إلى ما يفعله Akamai بالضبط لتحديد وحظر أدوات الكشط مثلنا.
ما هو Akamai Bot Manager وكيف يعمل؟
Akamai Technologies هي شبكة توصيل محتوى (CDN) وموفر أمان ويب يحمي أكثر من 25% من إجمالي حركة مرور الويب. تستخدم خدمة Bot Manager الخاصة بهم خوارزميات متطورة للكشف عن الروبوتات لتحديد أدوات الكشط ومنع إساءة الاستخدام.
يقوم Akamai Bot Manager بتحليل مجموعة واسعة من الإشارات لحساب "درجة الثقة" لكل زائر:
تشفير TLS / SSL - التحقق من وجود حالات شاذة في قدرات تشفير مكدس الشبكة لديك أثناء مصافحة TLS. يمكن أن يؤدي ذلك إلى بصمة الإصبع وكشف الأدوات التي لا تستخدم TLS على مستوى المتصفح.
سمعة IP - يصنف عنوان IP المصدر الخاص بك على أنه مركز بيانات، أو سكني، أو محمول، أو يعتمد على الوكيل للتحقق مما إذا كنت "تبدو مثل" مستخدمًا حقيقيًا. تعد عناوين IP الخاصة بمراكز البيانات والوكيل أمرًا سهلاً بالنسبة للروبوتات.
رؤوس HTTP - يفحص الاختلافات الدقيقة بين رؤوس المتصفح والروبوتات لاكتشاف علامات الأتمتة. يمكن للرؤوس مثل User-Agent وAccept-Language وEncoding وما إلى ذلك أن تكشف لك ذلك.
بصمة جافا سكريبت - يقوم بتنفيذ جافا سكريبت للمتصفح لاستخراج بصمات الأصابع التفصيلية مثل نظام التشغيل وإصدارات البرامج والخطوط وحجم الشاشة والمزيد. لا تستطيع الروبوتات في كثير من الأحيان تقليد كل هذه السمات.
تحليل السلوك – تطبيق نماذج التعلم الآلي لاكتشاف الأنماط النموذجية للكاشطات، مثل الوصول المتسلسل المتكرر، ونقص حركات الماوس، وما إلى ذلك.
واستنادًا إلى هذه المجموعة الواسعة من الإشارات، يقوم Akamai بتعيين درجة الثقة. إذا كانت النتيجة منخفضة جدًا، فسيتم حظر الزائر وقد يتم حظر عنوان IP الخاص به.
الآن بعد أن عرفنا ما نواجهه، دعونا نلقي نظرة على التقنيات التي أثبتت جدواها لتجنب آليات الكشف الخاصة بـ Akamai.
تحديد متى تم حظرك بواسطة Akamai
قبل أن ننتقل إلى تكتيكات التجاوز، دعنا نتعرف على كيفية التعرف على كتلة Akamai. فيما يلي الاستجابات الشائعة التي ستراها:
- HTTP 403 ممنوع - "تم رفض الوصول"، "العفو عن الانقطاع"
- HTTP 400 طلب سيء - صفحة الحظر العامة
- HTTP 406 غير مقبول - من المحتمل أن تكون رؤوسك قد تسببت في الحظر
- HTTP 429 طلبات كثيرة جدًا - لقد تجاوزت حدود المعدل التي تم تكوينها
- خدمة HTTP 503 غير متاحة – في كثير من الأحيان حظر مؤقت قصير
غالبًا ما يقوم Akamai بإرجاع الكتل عند الطلب الأول، ولكن يمكن لمدير الروبوت الخاص به إيقاف الاتصالات في منتصف الجلسة أيضًا بناءً على التحليل المستمر.
الآن دعونا نتفحص كيفية تجنب التعرض للحظر في المقام الأول!
تجاوز بصمات الأصابع TLS
تحدث الطبقة الأولى من اكتشاف روبوت Akamai أثناء مصافحة TLS أثناء إنشاء اتصال HTTPS المشفر.
يتحقق Akamai من الاختلافات في إمكانيات TLS لمكدس الشبكة الخاص بك مقارنة بالمتصفحات القياسية. يمكن لهذه الاختلافات إنشاء بصمة فريدة لتحديد أدواتك المخصصة.
فيما يلي بعض النصائح لتجنب أخذ بصمات TLS عند تجريف الويب:
- استخدم أدوات/مكتبات الكشط مع دعم TLS قوي (الإصدار 1.2 وما فوق)
- تمكين أكبر عدد ممكن مجموعات تشفير TLS بقدر الإمكان
- الدعم الفني ملحقات TLS تستخدم المتصفحات، مثل SNI وALPN وما إلى ذلك.
- طابق ال ترتيب وتكوين TLS من المتصفحات الشائعة مثل Chrome
يمكنك اختبار بصمة TLS الخاصة بك باستخدام أدوات مثل JA3er للتأكد من أنه يطابق المتصفحات السائدة.
تناوب بروكسيات IP السكنية
تتحقق المرحلة التالية من تحليل روبوت Akamai من سمعة عنوان IP المصدر الخاص بك.
نظرًا لسهولة التعرف على عناوين IP لمركز البيانات والخادم السحابي، تضع Akamai علامة على هذه المخاطر على الفور على أنها عالية الخطورة. يمكن أن يؤدي استخدام خدمات الوكيل أيضًا إلى حظرك إذا لم يقوم الموفر بتدوير عناوين IP بشكل صحيح.
أفضل الممارسات هي استخدام وكلاء IP السكنية التي تأتي من المنزل الحقيقي أو اتصالات الإنترنت عبر الهاتف المحمول. هنا بعض النصائح:
- تجنب مراكز البيانات والوكلاء السحابيين – فهم متميزون.
- تعرض عناوين IP السكنية أنماطًا طبيعية للمستخدمين المنزليين.
- تعمل عناوين IP للجوال بشكل جيد أيضًا نظرًا لأن شركات الاتصالات تقوم بشكل متكرر بتدوير عناوين IP المخصصة.
تأكد من تدوير عناوين IP السكنية المختلفة لكل جلسة وتجنب إعادة استخدام عناوين IP بشكل مفرط. وهذا يجعل حركة المرور الخاصة بك تبدو أشبه بمستخدمين منزليين فرديين يتصفحون الويب.
وفقًا لدراسة استقصائية أجريت عام 2021، صنفت 78% من أدوات استخراج الويب الوكلاء المحليين على أنهم الأكثر فعالية في مكافحة برامج الروبوت مقابل عناوين IP الخاصة بمراكز البيانات.
| نوع الوكيل | معدل النجاح ضد التخفيف من الروبوتات |
|---|---|
| عناوين IP السكنية | 89% |
| عناوين IP للجوال | 61% |
| عناوين IP لمركز البيانات | 23% |
محاكاة رؤوس المتصفح الأصلية
يقوم Akamai أيضًا بمقارنة رؤوس HTTP الخاصة بك مع ما ترسله المتصفحات الشرعية للتعرف على برامج الروبوت.
حتى التناقضات الصغيرة في الرؤوس مثل User-Agent، وAccept-Language، وReferer، وEncoding، وما إلى ذلك يمكن أن تمنحك أداة كاشطة آلية.
لإنشاء رؤوس أصلية بجودة المتصفح:
- قم بتكوين مكشطة الخاص بك باستخدام صالح عامل المستخدم من متصفح مشترك
- قم بتضمين الرؤوس القياسية مثل استمر, قبول اللغة، الخ
- تعيين التحويلية بشكل صحيح بناءً على التنقل في الصفحة
- لا تتجاوز رؤوس الترميز الافتراضية مثل استعرض ترميز
الطريقة الأفضل هي استخدام متصفح حقيقي مثل محرك الدمى، الكاتب المسرحي، أو السيلينيوم لإنشاء جميع الرؤوس لك.
بفضل الخداع الدقيق لرأس المتصفح، يصبح من الصعب تمييز طلباتك تقريبًا عن طلبات المستخدم الحقيقي.
تنفيذ جافا سكريبت مع المتصفحات مقطوعة الرأس
إحدى أقوى تقنيات اكتشاف الروبوتات في Akamai هي أخذ بصمات الأصابع استنادًا إلى تنفيذ جافا سكريبت في المتصفح.
من خلال تشغيل البرامج النصية على جانب العميل، يمكن لـ Akamai استخراج معلومات تفصيلية مثل:
- نظام التشغيل
- مواصفات الجهاز
- إصدارات البرامج
- الإضافات/الإضافات للمتصفح
- دقة الشاشة
- الخطوط المثبتة
- المراوغات المتصفح
يؤدي هذا إلى إنشاء بصمة واسعة النطاق لتحديد الأدوات الآلية التي لا يمكنها محاكاة بيئات المتصفح الحقيقية.
لتجاوز:
- إستخدم متصفح بلا رأس مثل محرك الدمى أو الكاتب المسرحي أو السيلينيوم لعرض الصفحات.
- قم بتكوين المتصفح باستخدام بيانات البصمات المزيفة باستخدام أدوات مثل Puppeteer Stealth.
- إن تنفيذ جافا سكريبت في المتصفح بدلاً من مجرد جلب HTML الثابت يجعلك تبدو أكثر إنسانية.
باستخدام متصفح مقطوع الرأس تم تكوينه بشكل صحيح، يمكنك انتحال بصمات الأصابع بشكل جيد للغاية.
وفقًا لاستطلاع أجري عام 2022 لأدوات استخراج بيانات الويب الاحترافية، قال 89% إن محاكاة المتصفح الحقيقي كانت الحل الأكثر فعالية ضد بصمات جافا سكريبت، مقابل البدائل مثل الاستجابات الساخرة.
| خدمة التوصيل | الفعالية ضد بصمات جافا سكريبت |
|---|---|
| محاكاة متصفح بدون رأس | 89% |
| الردود الساخرة | 24% |
| جافا سكريبت وضع الحماية | 17% |
سلوكيات متفاوتة بين الجلسات
يطبق Akamai تحليلًا سلوكيًا متطورًا بالإضافة إلى البصمات التقنية. يمكن أن يؤدي تنفيذ نفس منطق الكشط بشكل متكرر إلى حدوث عمليات اكتشاف.
فيما يلي بعض النصائح لتغيير سلوكك:
- إدراج تأخيرات عشوائية بين 3-7 ثواني في كل صفحة.
- لا تقم فقط بالوصول إلى الصفحات بشكل خطي، بل اتبع مسارات النقر العضوية.
- تكوين جلسات مختلفة قرارات الشاشة.
- تدوير وكلاء المستخدم ورؤوس أخرى لكل جلسة.
- استعمل عناوين IP سكنية متعددة لكل جلسة من مقدمي مختلفين.
ومن خلال محاكاة أنماط التصفح البشرية الطبيعية، يصبح من الصعب جدًا تمييزك عن الزوار الحقيقيين.
الاستفادة من خدمات التخزين المؤقت بشكل انتقائي
في بعض الحالات، قد تتمكن من الاستفادة من خدمات التخزين المؤقت الخارجية لتجنب ضرب وسائل حماية Akamai مباشرة:
- استخدم Google Cache لاسترداد الصفحات المؤرشفة.
- استعلم عن Wayback Machine للوصول إلى النسخ التاريخية.
- قم بتخزين الصفحات مؤقتًا بنفسك لتتخلص منها لاحقًا.
ومع ذلك، انتبه إلى أن الصفحات المخزنة مؤقتًا قد تكون غير مكتملة أو قديمة مقارنة بالصفحات المباشرة. استخدم ذاكرات التخزين المؤقت بحكمة كتقنية تكميلية فقط.
الاستعانة بمصادر خارجية لخدمات القشط
يمكن أن تكون صيانة عناوين IP المحلية والمتصفحات وتقنيات التباين معقدة وتستغرق وقتًا طويلاً. فكر في الاستفادة من خدمات الكشط المخصصة:
- سكرابينج بي، بروكسي كرول - تدوير عناوين IP تلقائيًا باستخدام واجهات برمجة تطبيقات HTTP البسيطة
- سكراب فلاي، برايت داتا – عرض جافا سكريبت عبر متصفحات مدمجة مقطوعة الرأس
- SerpApi - مصمم خصيصًا لتخريب بحث Google
تتعامل هذه الخدمات مع تدوير الوكيل ومحاكاة المتصفح وحظر IP المخصص والمزيد لك تلقائيًا.
| نهج القشط | وقت الإعداد | الصيانة | معدل النجاح |
|---|---|---|---|
| كاشطات الإدارة الذاتية | مرتفع | مرتفع | معتدل |
| كشط واجهات برمجة التطبيقات | منخفض | منخفض | مرتفع |
أفضل الممارسات لتجاوز Akamai
الآن دعونا نلخص أهم التقنيات لتفادي أكاماي للكشط بنجاح:
- استخدام الوكلاء الدورية السكنية – تجنب عناوين IP لمراكز البيانات
- رؤوس المتصفح المزيفة مثل وكيل المستخدم ولغة القبول وما إلى ذلك
- محاكاة متصفح حقيقي مع محرك الدمى، الكاتب المسرحي، السيلينيوم
- حقن التأخير العشوائي وتختلف السلوكيات
- الاستفادة من ذاكرات التخزين المؤقت بحكمة لتجنب الكتل الأولية
- النظر في تجريف الخدمات لتفريغ إدارة الوكيل/المتصفح
على الرغم من أن Akamai تتمتع بتكنولوجيا قوية، إلا أن الكاشطات الذكية يمكنها البقاء تحت الرادار باستخدام الأساليب الصحيحة.
الكشط بمسؤولية: أخلاقيات تجاوز Akamai
أردت أن أتطرق بإيجاز إلى الأخلاقيات عند تجاوز وسائل الحماية مثل حماية Akamai:
- الاحترام
robots.txtقواعد وشروط استخدام الموقع - الحد من حجم/معدل الطلب لتجنب التحميل الزائد على المواقع
- لا تحاول أبدًا اختراق الموقع الفعلي، أو هجمات القوة الغاشمة
- استخدم أدوات الكشط بحكمة لأغراض جيدة
من الممكن تمامًا تجاوز دفاعات Akamai دون إلحاق الأذى. يرجى إبقاء ذلك في الاعتبار!
الأسئلة الشائعة حول تجاوز Akamai Bot Management
دعنا نتناول بعض الأسئلة الشائعة حول التحايل على Akamai:
هل يعتبر استخراج المواقع المحمية بواسطة Akamai Bot Management أمرًا غير قانوني؟
إن جمع البيانات المتاحة للعامة ليس أمرًا غير قانوني بشكل عام، طالما أنك تحترم شروط استخدام موقع الويب وتتجنب التسبب في تحميل زائد لحجم طلبك أو معدله. تسمح معظم البلدان بتجريف الويب لأغراض البحث.
إذا قام Akamai بحظر عنوان IP الخاص بي، فهل سيتم حظري بالكامل؟
من غير المرجح. غالبًا ما يقوم Akamai بحظر إساءة استخدام عناوين IP الفردية، لكن التناوب على عناوين IP السكنية الجديدة يسمح لك باستئناف عملية الاستخراج. يعد الحظر الدائم على IP أمرًا نادرًا باستثناء الهجمات الضارة المتكررة.
هل يمكنني تزييف عنوان IP الخاص بي أو توكيله لتجنب الحظر؟
يمكن أن يكون تفويض حركة المرور الخاصة بك عبر عناوين IP الوسيطة ناجحًا ولكنه يزيد من التعقيد. ركز أولاً على تقنيات التحايل الأخرى مثل انتحال الرؤوس ومحاكاة المتصفحات قبل محاولة إخفاء عنوان IP الخاص بك.
ما هي خدمات مكافحة الروبوتات/التخريب الأخرى التي تعمل بشكل مشابه لـ Akamai؟
يقدم مقدمو الخدمات الرئيسيون مثل Cloudflare وImperva وPerimeterX خدمات حماية روبوتية مشابهة جدًا مثل Akamai. تنطبق التقنيات التي تمت مناقشتها في هذا الدليل بشكل جيد بشكل عام.
إغلاق خاطرة
يوفر Akamai Bot Manager اكتشافًا قويًا للروبوتات، ولكن مع الخبرة والأدوات المناسبة، من الممكن استخراج المواقع بنجاح.
المفتاح هو الفهم الشامل لآليات الحجب الخاصة بـ Akamai واتخاذ إجراءات فنية مضادة مدروسة. حافظ على عناوين IP السكنية الدوارة، وقم بتقليد سلوكيات المتصفح بدقة، وقم بتغيير الأنماط بشكل عضوي.
من خلال الممارسة، يمكنك تعلم كيفية جمع البيانات العامة من مواقع Akamai المحمية بكفاءة ومسؤولية.
أتمنى أن تجد هذه النصائح مفيدة! حاولت مشاركة كل ما تعلمته خلال السنوات التي قضيتها في مساحة تجريف الويب. لا تتردد في التواصل معنا إذا كان لديك أي أسئلة أخرى!
تجريف سعيد (ومتستر 😉)!
[اسمك]
