باعتباري محترفًا في جمع البيانات على الويب ولدي أكثر من 5 سنوات من الخبرة في استخراج جميع أنواع البيانات عبر الإنترنت، هناك القليل من الألغاز التي تثير اهتمامي أكثر من المنطقة 51. لقد غذت هذه القاعدة العسكرية السرية نظريات المؤامرة لعقود من الزمن حول ما يحدث هناك بالضبط. لقد تغلب فضولي على أفضل ما لدي - ماذا لو كان بإمكاني الاستفادة من مهاراتي في تجريف الويب لإلقاء نظرة خاطفة خلف الستار؟
في هذا الدليل، سأطلعك على كيفية محاولتي الحصول على معلومات استخباراتية عن المنطقة 51 من خرائط Google. على الرغم من أنها لم تكشف عن أي أسرار رئيسية، إلا أنها بمثابة دراسة حالة مسلية حول كيفية الاستفادة من استخراج الويب استنادًا إلى الإحداثيات الجغرافية.
ثق بي، باستخدام التقنيات الصحيحة، ستفاجأ بحجم البيانات القيمة التي يمكن استخلاصها من الخرائط عبر الإنترنت!
لماذا أنا مفتون بالمنطقة 51؟
قبل أن ندخل في التفاصيل، اسمحوا لي أن أشرح اهتمامي الشخصي بالمنطقة 51. باعتباري مهووسًا بالتكنولوجيا طوال حياتي، فأنا منجذب إلى حل الألغاز المعقدة باستخدام أجهزة الكمبيوتر. تمثل المنطقة 51 اللغز المطلق - لغز ملفوف بالسرية حاول عشرات الآلاف حله.
نظريات المؤامرة لا نهاية لها:
- إنه المكان الذي تدرس فيه حكومة الولايات المتحدة الكائنات الفضائية والأجسام الطائرة المجهولة
- وتم اختبار الطائرات التجريبية مثل طائرة التجسس U-2 والمقاتلات الشبح هناك
- تجري أبحاث أسلحة الطاقة المتقدمة أو التحكم في الطقس في القاعدة
- الهبوط على القمر كان مزيفاً هناك!
من يدري ما هي الحقيقة الحقيقية، ولكن بالنسبة لمكشط الويب مثلي، فإنه لا يقاوم على الأقل محاولة استكشاف هذا اللغز باستخدام مهاراتي في استخراج البيانات. فكر في الأمر باعتباره لغزًا ممتعًا لاستعراض عضلاتي.
تحديد إحداثيات المنطقة 51
كان أول عمل لي هو تحديد الإحداثيات الجغرافية الدقيقة للمنطقة 51. وهذا من شأنه أن يسمح باستهداف موقعها بدقة في خرائط جوجل لاستخراجها.
وفقا لويكيبيديا، الإحداثيات المزعومة هي:
37.24804°N 115.80016°Wلكنها ويكيبيديا، لذلك أردت التحقق منها. سحب المنطقة 51 في خرائط Google، والنقر على أيقونة الهدف، وقراءة خطوط العرض/الطول المتطابقة تمامًا:
37.24804, -115.80016 البنغو! لقد قمت بإقفال إحداثيات الهدف وتحميلها. لقد حان الوقت الآن للاستفادة من مكشطة الويب التي اخترتها.
لماذا أحب القشط مع Apify
خلال أكثر من 5 سنوات من العمل كمحترف على الويب، قمت بتجربة كل أداة تحت الشمس. بالنسبة للمرونة والنطاق، أنا من أشد المعجبين بـ Apify. فهو يوفر كل ما تحتاجه لتقطيع الويب والأتمتة المتقدمة.
فيما يلي بعض الأسباب التي تجعلني أحب Apify:
أتمتة المتصفح - يمكنه دفع متصفحات Chrome مقطوعة الرأس الحقيقية لكشط المواقع المحملة ديناميكيًا. لا مزيد من العبث مع السيلينيوم!
قابلة لل - ما عليك سوى تدوير المزيد من مثيلات المتصفح للتخلص بشكل أسرع. لقد استخدمت مئات المتصفحات بالتوازي.
يعمل في أي مكان – نشر أدوات الكشط على السحابة (AWS، GCP) أو البنية التحتية الخاصة بي.
الأدوات المعدة مسبقًا - خيارات مثل Google Maps Scraper تجعل الإعداد سهلاً.
المميز الكامل – إدارة قوية للوكيل، وخيارات الأتمتة، والتكامل مع مجموعات البيانات وواجهات برمجة التطبيقات.
بالنسبة لهذا المشروع، جعله تكامل خرائط Google الخيار الأمثل.
منطقة الكشط 51 باستخدام مكشطة خرائط Google الخاصة بـ Apify
مع تحديد Apify وإحداثيات المنطقة 51 في متناول اليد، فقد حان وقت البحث. إليك كيفية استخدام مكشطة خرائط Google:
الخطوة 1: قم بالتسجيل للحصول على حساب Apify
أول الأشياء أولاً – لقد قمت بالتسجيل للحصول على حساب Apify مجاني. أنت فقط بحاجة إلى عنوان البريد الإلكتروني. وقد أتاح هذا الوصول إلى منصتهم لبناء وتشغيل الكاشطات.
الخطوة 2: قم بتشغيل مكشطة خرائط Google
في وحدة تحكم Apify، بحثت عن "Google Maps Scraper" في متجر Apify. يحتوي هذا على مئات الأدوات المعدة مسبقًا والتي يمكنني تصفحها.
لقد حددت أداة Google Maps Scraper ثم قمت بالنقر فوق "جرب مجانًا" لتشغيلها.
الخطوة 3: تكوين الإحداثيات
تحتوي أداة الكشط هذه على خيارات متنوعة لاستخراج بيانات خرائط Google. لقد دخلت إحداثيات خطوط الطول والعرض للمنطقة 51 التي جمعتها سابقًا:
Latitude: 37.24804
Longitude: -115.80016لقد قمت أيضًا برفع مستوى التكبير/التصغير إلى 18 للتركيز حقًا على القاعدة.
الخطوة 4: كشط!
لقد قمت بالنقر فوق الزر "تشغيل" واتركه ينسخ! تقوم أداة الكشط بتدوير مثيلات متصفح Chrome التي تنتقل تلقائيًا إلى الإحداثيات التي تم تكوينها، وتلتقط جميع بيانات الخريطة، وصور القمر الصناعي، وصور التجوّل الافتراضي.
في الوقت الحقيقي، شاهدت عندما بدأت البيانات في الانتشار. لطيف جدا!
الخطوة 5: تصدير البيانات
بعد اكتمال عملية الاستخلاص، قمت بتنزيل النتائج كملفات JSON وCSV منظمة لتحليلها.
لقد أعطاني هذا مجموعة بيانات مرتبة من الخرائط والصور للمنطقة 51 مأخوذة مباشرة من خرائط جوجل. أنيق جدا!
يعرف محترفو Scraper: الإحداثيات تفتح المجال لاستخراج البيانات القابلة للتطوير
باعتباري خبيرًا متمرسًا في تجريف الويب، فإنني أستفيد من تجريف التنسيق طوال الوقت. فيما يلي بعض الأمثلة القوية:
الاستثمار العقاري - كشط قوائم المنازل المباعة حسب الموقع للعثور على الأحياء الصاعدة.
ذكاء الأعمال – إنشاء قواعد بيانات لمواقع الأعمال وأرقام الهواتف وبيانات الاتصال الأخرى.
تتبع العملة المشفرة – مسح مواقع عمال مناجم العملة المشفرة من عناوين IP الخاصة بهم.
البحوث البيئية – جمع بيانات جودة الهواء عبر شبكات الاستشعار عن طريق الإحداثيات الجغرافية.
تسمح الإحداثيات باستخراج البيانات القابلة للتطوير من كلتا الخريطتين بالإضافة إلى التطبيقات وقواعد البيانات المستندة إلى الموقع.
وفي عام 2021 وحده، تجاوزت بيانات تحديد الموقع الجغرافي 30 مليار جهاز متتبع في جميع أنحاء العالم. ومن المتوقع أن ينمو حجم سوق بيانات الموقع بمعدل نمو سنوي مركب قدره 30%، ليتجاوز 237 مليار دولار بحلول عام 2027 وفقًا لأبحاث السوق التي تم التحقق منها.
تتيح لك الاستفادة من الإحداثيات لتجميع الويب واستخراج البيانات الاستفادة من هذه الفرصة المزدهرة.
الوجبات السريعة الرئيسية من منطقتي 51 مغامرة القشط
على الرغم من أنني لم أكتشف أي مؤامرات كبيرة للكائنات الفضائية من خلال مسح المنطقة 51 في خرائط Google، إلا أن هذا المشروع كان بمثابة تجربة تعليمية ثاقبة:
الإحداثيات تمكن من استخراج البيانات المستهدفة - مع خطوط العرض/الطول الدقيقة، يمكنني التركيز على المنطقة 51 خصيصًا لاستخراج كل التفاصيل المتاحة.
الخرائط هي منجم ذهب للبيانات - من الصور إلى صور التجوّل الافتراضي، تكون الخرائط غنية بالبيانات الجغرافية المكانية التي تنتظر استخراجها.
أدوات مثل Apify تجعله في متناول الجميع - بفضل واجهة المستخدم الرسومية سهلة الاستخدام والكاشطات المعدة مسبقًا، تمكنت من العمل بسرعة دون أي تعليمات برمجية معقدة.
الامتثال القانوني أمر بالغ الأهمية - كنت حريصًا على تقليل التحميل على الخادم واتباع شروط خدمة خرائط Google.
القمامة في القمامة - كان الاستخلاص جيدًا بقدر جودة البيانات العامة التي توفرها Google. لا أسرار هنا!
على الرغم من أنني لم ألقي نظرة خاطفة على أي كائنات فضائية، إلا أن هذا التمرين يوضح كيف يمكن أن يؤدي استخدام الإحداثيات إلى تعزيز عمليات تجريف الويب شديدة الاستهداف.
يؤدي تجريف الإحداثيات إلى فتح عالم من الاحتمالات
لقد استمتعت كثيرًا بفحص المنطقة 51 كاختبار ترفيهي لمهاراتي في استخراج بيانات الويب. لكن التنسيق يغذي عملية الاستخلاص القابلة للتطوير للعديد من مجموعات البيانات الجغرافية المكانية للحصول على قيمة تجارية فعلية.
أطلق العنان لخيالك:
- رسم مواقع المنافسين من مواقعهم الإلكترونية
- أنشئ قواعد بيانات لتتبع أسعار الفنادق أو رحلات الطيران أو تذاكر الحفلات الموسيقية
- قم بمسح بيانات الوسائط الاجتماعية حسب الموقع للعثور على عملائك المثاليين
- اكتشف الأنماط البيئية بناءً على مواقع أجهزة الاستشعار
الاحتمالات لا حصر لها!
أنا بالفعل أفكر في مغامرتي التالية في تجريف الإحداثيات. إذا كنت ترغب في رفع مستوى مهاراتك في استخراج بيانات الويب، فجرّب أدوات Apify. ستتمكن من استخراج البيانات القوية المستندة إلى الموقع في أي وقت من الأوقات.
لا تتردد في التواصل معنا إذا كنت ترغب في الدردشة على الخرائط والإحداثيات، أو تجريف الويب، أو حتى مجرد تبادل نظريات مؤامرة المنطقة 51!
