انتقل إلى المحتوى

وكلاء المستخدم الأكثر شيوعًا لكشط الأسعار

يا صديق! هل تتطلع للبدء في تجريف الأسعار؟ باعتباري أحد المحترفين ذوي الخبرة في استخراج بيانات الويب، فأنا متحمس لمشاركة معرفتي الداخلية لمساعدتك على النجاح. أحد أصعب الأجزاء في أي مشروع تجريف هو تكوين وكلاء المستخدم بشكل صحيح.

أعلم أن وكلاء المستخدم قد يبدوون مربكين في البداية - ربما تتساءل، ما هو وكيل المستخدم؟ اسمحوا لي أن أشرح ما هي ولماذا هي مهمة جدًا لتجميع الأسعار.

ما هو وكيل المستخدم؟

عندما يرسل متصفحك طلبًا إلى موقع ويب، فإنه يتضمن نصًا قصيرًا يسمى وكيل المستخدم. يحدد هذا تفاصيل حول المتصفح ونظام التشغيل الذي تستخدمه. فيما يلي مثال لسلسلة وكيل المستخدم من Chrome على نظام التشغيل Windows 10:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

كما ترون، فهو يحتوي على اسم المتصفح (Chrome)، ورقم الإصدار (74.0.3729.169)، ومعلومات النظام الأساسي (Windows NT 10.0)، ومحرك التخطيط (WebKit/Blink).

يقدم وكلاء المستخدم كل هذه المعلومات لمساعدة مواقع الويب على تكييف محتواها مع المتصفحات والأجهزة المختلفة. على سبيل المثال، قد تعرض المواقع صفحات خفيفة ومُحسّنة للجوال على الهواتف مقابل مواقع سطح المكتب الكاملة على أجهزة الكمبيوتر المحمولة.

تاريخ موجز لوكلاء المستخدم

قامت المتصفحات بتضمين سلاسل وكيل المستخدم منذ الأيام الأولى للويب. أول متصفح تم إنشاؤه في المركز الوطني لتطبيقات الحوسبة الفائقة (NCSA) يسمى Mosaic كان لديه وكيل مستخدم بسيط:

NCSA_Mosaic/2.0 (Windows 3.1)

عندما ظهر Netscape Navigator في عام 1994، بدأت حروب المتصفحات. كافحت الشركات لجعل المتصفح الأكثر توافقًا مع المعايير مع أفضل الميزات. ساعدت سلاسل وكيل المستخدم الأكثر تفصيلاً مواقع الويب على اكتشاف المتصفحات المختلفة.

واصل إنترنت إكسبلورر وفايرفوكس الحرب خلال العقد الأول من القرن الحادي والعشرين. سلط وكلاء المستخدمون الضوء على التقنيات الخاصة لمحاولة جعل المواقع تعمل على تحسينها. اليوم، يهيمن Chrome، لكن وكيل المستخدم لا يزال قائمًا.

تغيير وكلاء المستخدم للتجريد

إذن كيف يتناسب وكلاء المستخدم مع تجريف الويب؟ غالبًا ما تحظر المواقع أدوات الكشط والروبوتات بناءً على وكلاء مستخدمين مشبوهين. قد تحتوي أداة الكشط الشائعة على وكيل مستخدم مثل:

ScraperBot/3.0

وهذا من السهل على المواقع التعرف عليه وحظره. لهذا السبب نحتاج إلى محاكاة وكلاء مستخدم المتصفح الحقيقيين عند عملية الاستخلاص!

تعمل ملحقات المتصفح مثل User-Agent Switcher على تسهيل اختبار وكلاء المستخدم المختلفين. تتيح لك أدوات الوكيل مثل Oxylabs أيضًا تكوين وكلاء محليين باستخدام وكلاء المستخدم على الأجهزة المحمولة وسطح المكتب ووكلاء المستخدم المخصصين.

يعد التناوب بين وكلاء مستخدم المتصفح الحقيقي الأكثر شيوعًا أمرًا أساسيًا لأي مكشطة ناجحة. فلنتحدث عن وكلاء المستخدم الذين من المحتمل أن تراهم.

وكلاء مستخدم سطح المكتب الأكثر شيوعًا

تهيمن المتصفحات التي تستخدم محرك Chromium (Chrome وEdge وBrave وOpera وما إلى ذلك) على مشهد متصفح سطح المكتب اليوم. فيما يلي بعض من أحدث وكلاء المستخدم:

Chrome: 
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36

Edge:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54

Opera:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 OPR/94.0.0.0

Firefox هو محرك المتصفح البديل الرئيسي الذي لا يزال يشهد استخدامًا كبيرًا:

Firefox:  
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:107.0) Gecko/20100101 Firefox/107.0
المتصفحسوق الأسهممحرك
الكروم65.4%وميض (كروم)
سفاري18.7%بكت
برنامج فايرفوكس7.2%وزغة
حافة4.2%وميض (كروم)

كما ترون، تهيمن محركات Chromium على التصفح عبر سطح المكتب اليوم!

وكلاء مستخدم الهاتف المحمول الأكثر شيوعًا

يهيمن على نظامي التشغيل iOS من Apple ومنصات Android من Google على التصفح عبر الهاتف المحمول. فيما يلي أمثلة لوكلاء المستخدم الخاصين بهم:

آيفون:

Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1

أندرويد:

Mozilla/5.0 (Linux; Android 10) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Mobile Safari/537.36

يتمتع Android بحصة سوقية أكثر تجزئة عبر إصدارات إصداراته:

التجريبيةاسم الرمزسوق الأسهم
12الثلوج مخروط26.5%
11كعكة المخملية الحمراء24.2%
10سفرجل تارت22.9%

يمنحك هذا فكرة عن وكلاء مستخدم الهاتف المحمول الرئيسيين الذين يمكنك تقليدهم في عملية الاستخراج.

لماذا يهم وكلاء المستخدم لتجريد الأسعار

غالبًا ما يتطلب تجريف الأسعار حركة مرور كثيفة مما يجعل الكتل أكثر احتمالاً. تحاول مواقع التجارة الإلكترونية بقوة اكتشاف أدوات الكشط التي تلتقط بيانات الأسعار من المنافسين.

يعد استخدام وكلاء المستخدم الأصليين والمتغيرين باستمرار أمرًا بالغ الأهمية لتجنب الحظر عند تجريف الأسعار. فهو يساعد أدوات الكشط الخاصة بك على التنكر على أنها نشاط متصفح حقيقي مقابل الروبوتات.

نصيحة رائعة أخرى - قد تقدم بعض المواقع لوكلاء مستخدم الهاتف المحمول أسعارًا مخفضة خاصة متاحة فقط على تطبيقات الهاتف المحمول! لذا فإن الاستفادة من وكلاء مستخدم الهاتف المحمول يمكن أن تحصل على بيانات تسعير أفضل.

اختبار وكلاء المستخدم الجدد باستمرار

تعمل المواقع دائمًا على تحديث قواعد الكشف عن الروبوتات الخاصة بها، لذلك يتعين علينا اختبار وكلاء المستخدم الجدد باستمرار في أدوات استخراج البيانات لدينا. أحب أن أبدأ بأحجام اختبار صغيرة لمعرفة ما إذا تم حظر الوكيل الجديد قبل تكثيفه. وهذا يمنع إضاعة حركة المرور.

أدوات الوكيل مثل Oxylabs تجعل الاختبار أسهل من خلال توفير الآلاف من عناوين IP السكنية مع وكلاء المستخدم المرتبطين. يمكنني ببساطة اختيار عينة عشوائية جديدة لكل كشط.

أفضل الممارسات هي أن يكون لديك دائمًا مجموعة متنوعة من وكلاء المستخدم المحدثين والأصليين والجاهزين للاستخدام. لعبة القط والفأر هذه هي مجرد جزء من عمل كاشطات الويب لدينا!

آمل أن تساعدك نصائح وكيل المستخدم هذه في مغامرات جمع الأسعار. اسمحوا لي أن أعرف إذا كان لديك أي أسئلة أخرى!

الانضمام إلى محادثة

لن يتم نشر عنوان بريدك الإلكتروني. الحقول المشار إليها إلزامية *