هل تريد كشط البيانات مثل الكتب ومقاطع الفيديو والملفات الصوتية والنصوص وصفحات الويب من Internet Archive؟ هذه المقالة هنا للمساعدة. توفر لك هذه المقالة أفضل برامج كاشطات أرشيف الإنترنت لتسهيل إجراءات استخراج البيانات الخاصة بك.
تُعرف ممارسة استخدام روبوتات الكمبيوتر المعروفة باسم كاشطات الويب لاسترداد البيانات مثل صفحات الويب والنصوص وحتى مواقع الويب الكاملة من موقع أرشيف الإنترنت باسم تجريف أرشيف الإنترنت. حتى إذا لم يكن لديك متسع من الوقت لاستخراج البيانات يدويًا من archive.org ، فهذا هو الخيار الأفضل.
بمجرد الانتهاء من الإجراء ، يمكنك استخدام مكشطة الويب لأتمتة العملية وتوفير الوقت والمال على المدى الطويل. يمكن أن تكون كاشطات الويب Archive.org بسيطة جدًا ولكنها تؤدي المهمة ، ولكن قد يحتاج بعضها إلى أن يكون أكثر تعقيدًا ويتضمن قدرات أكثر تقدمًا.
Archive.com يمكن استخدامها لكشط مواقع الويب وكذلك المستندات التاريخية التي قد تهمك. تجعل آلية مكافحة التجريف الصارمة لبعض مواقع الويب من الصعب على بعض المسوقين والمستخدمين المبتدئين الحصول على المعلومات. عند تجريف المحتوى من هذه المواقع ، استخدم archive.com بدلاً من الخوض في متاعب محاولة كشط موقع ويب يرفض أن يتم كشطه إذا كان المحتوى الذي تقوم بكشطه ليس حساسًا للوقت.
تتميز آلة Wayback الخاصة بأرشيف الإنترنت بأنها قابلة للقراءة. وفقًا لأهدافه المعلنة المتمثلة في تجريف مواقع الويب ، لا يرى أرشيف الإنترنت أي شيء غير لائق عند كشط موقعه على الويب. حتى أنه يوفر واجهة برمجة تطبيقات لعمليات الكشط المختلفة لتسهيل عملية الكشط.
مكشطة لجهاز Wayback غير مطلوب لتتخلص من archive.org. هذا لأن أدوات الكشط عبر الإنترنت المصممة خصيصًا لهذا الغرض موجودة بالفعل في السوق. يمكن كشط Archive.org بمساعدة بعض من أعظم برامج كشط الويب ، والتي سأناقشها في هذا الجزء من المنشور. لا يتطلب استخدام بعض هذه الأدوات كتابة كلمة برمجية ، لكن البعض الآخر مصمم خصيصًا للمبرمجين.
أفضل 5 كاشطات لأرشيف الإنترنت في عام 2024
1. الأخطبوط - أفضل مكشطة أرشيف الإنترنت لكشط صفحات الويب الخاصة بأرشيف الإنترنت
- السعر: يبدأ من 75 دولارًا أمريكيًا شهريًا
- تنسيق البيانات: SQLServer ، MySQL ، JSON ، Excel ، CSV
- خيار مجاني (نسخة تجريبية مجانية لمدة 14 يومًا)
- منصة المدعومة: سطح المكتب ، السحابة
من الممكن أيضًا استخدام مكشطة الويب Octoparse إذا كنت تبحث عن نقاط البيانات ذات الصلة على صفحات الويب archive.org. Octoparse عبارة عن مكشطة ويب سهلة الاستخدام تعمل بشكل أفضل عندما تريد استخراج أرشيف الإنترنت.
من الأسهل استخدام Octoparse بدلاً من استخراج مواقع الويب التقليدية ، التي تحتوي على أنظمة مضادة للكشط تمنع واكتشاف الكاشطات التي سيتعين عليك حلها. لدى Octoparse دعم خادم سحابي للحفاظ على وظائف الكشط ، والقدرة على جدولة الكشط ، والمزيد. إنها أداة مجانية ، لكن المستخدمين الجدد يحصلون على 14 يومًا من الوصول المجاني.
2. كشط - أفضل مكشطة أرشيف على الإنترنت فعالة في تجريف الملفات الصوتية وصفحات الويب من أرشيف الإنترنت
- السعر: يبدأ من 9.99 دولارًا أمريكيًا شهريًا
- تنسيق البيانات: جداول بيانات Google و MySQL و JSON و Excel و CSV و TXT
- خيار مجاني (خطة مجانية للمبتدئين ولكن بها بعض القيود)
- منصة المدعومة: سحابة ، سطح المكتب
تلقى ScrapeStorm ، أحد أدوات الكشط المحترمة عبر الإنترنت ، الكثير من المراجعات الإيجابية مؤخرًا. تتضمن قائمة كاشطات الويب الموصى بها هذه الأداة نظرًا لقدرتها على كشط آلة Wayback لأرشيف الإنترنت لمجموعة متنوعة من أنواع الوسائط المختلفة ، بما في ذلك صفحات الويب والمستندات والكتب والملفات الصوتية. بالإضافة إلى ذلك ، لا يتعين عليك إنشاء سطر واحد من التعليمات البرمجية باستخدام هذه الأداة.
باستخدام archive.org موقع الويب ، ما عليك سوى معرفة كيفية الإشارة والنقر فوق البيانات التي تهمك. البرنامج عبارة عن مكشطة ويب يمكن استخدامها لاستخراج البيانات من أي موقع ويب ، وليس فقط Wayback Machine. يجعل استخدامه للذكاء الاصطناعي أحد أكثر التقنيات تقدمًا لتحديد البيانات ذات الصلة تلقائيًا على موقع ويب دون تدخل بشري.
3. WebScraper.io (ملحق WebScraper.io) - أفضل كشط لأرشيف الإنترنت مع توفير امتداد المتصفح
- السعر: مجانًا
- تنسيق البيانات: JSON و XLSX و CSV
- منصة المدعومة: Firefox و Chrome (امتداد المتصفح)
إذا كنت من محبي ملحقات المتصفح ، فقد ترغب في التحقق من ذلك WebScraper.ioالمكون الإضافي لـ Chrome. مثل كاشطات الويب المرئية الأخرى ، فإنه يوفر واجهة التأشير والنقر لمساعدتك في تحديد موقع البيانات التي تهمك.
مكشطة الويب هذه ليست جيدة جدًا في تنزيل صفحات الويب بالكامل ، كما يجب أن تعرف. لكن من المفيد البحث في الصفحة للعثور على معلومات معينة. هذا مفيد بشكل خاص في الحالات التي يمكن فيها العثور على المعلومات التي تبحث عنها على موقع ويب مؤرشف. من السهل البدء باستخدام مكشطة الويب هذه لأنها مجانية ولا تتطلب سوى نقرات قليلة.
4. مكشطة آلة Wayback (مكشطة آلة Wayback بواسطة Sangaline) - أفضل مكشطة أرشيف الإنترنت لمبرمجي بايثون
- السعر: مجانًا
- تنسيق البيانات: JSON و CSV
- منصة المدعومة: تطبيق CLI
إذا كنت ترغب في استخراج بيانات السلاسل الزمنية من موقع الويب archive.org ، فيمكنك الاعتماد على Wayback Machine Scraper. إنها أداة CLI تم إنشاؤها كجزء من برمجية Scrapy الوسيطة. نظرًا لحقيقة أنه مكشطة ويب تعتمد على Python ، فإن مبرمجي Python هم فقط القادرون على استخدام برمجية Scrapy الوسيطة. يمكن العثور على مكشطة أرشيف الإنترنت مفتوحة المصدر على Github ويمكن تنزيلها.
حتى إذا كنت تستخدمه لأغراض تجارية ، فلا توجد رسوم. هذا هو مكشطة الويب بالنسبة لك إذا كنت ترغب في الحصول على موقع ويب كامل من مجال archive.org. أحد الأشياء التي ستقدرها هو مدى قابليتها للتخصيص. تثبيت PIP Wayback-machine-scraper هي طريقة سهلة للحصول عليها وتشغيلها.
5. Wayback آلة تنزيل - أفضل مكشطة أرشيف الإنترنت لكل من المبرمجين وغير المبرمجين
- السعر: يبدأ من 15 دولارًا أمريكيًا
- منصة المدعومة: الحاسوب
تم تصميم Wayback Machine Downloader ليتم استخدامه من قبل غير المبرمجين أيضًا. الطريقة التي تتبعها هذه الخدمة متخصصة تمامًا. طالما أنك تريد ببساطة تنزيل نسخ من الصفحات أو موقع الويب بالكامل ، يمكنك استخدام مكشطة قياسية لـ archive.org لإنجاز المهمة نيابة عنك.
يمكن استعادة موقع الويب إلى WordPress إذا كان قد تم إنشاؤه في الأصل على WordPress. على الرغم من أن Wayback Machine Downloader هي خدمة قائمة على الاشتراك ، يمكن للمستخدمين الجدد الاستفادة من فترة تجريبية مجانية.
كيفية استخدام BeautifulSoup وطلبات و Python لتتخلص من أرشيف الإنترنت
إذا كنت مهتمًا بتعلم كيفية إنشاء مكشطة مخصصة لـ archive.org ، فقد تكون مهتمًا بسماع أنه ليس من الصعب إذا كانت لديك مهارات البرمجة. إذا كنت لا تعرف كيفية البرمجة ، فانتقل إلى الجزء التالي ، حيث يمكنك الاختيار من قائمة أدوات كشط الويب archive.org التي أقترحها. هذا القسم مخصص للأفراد الذين يعرفون كيفية البرمجة.
يمكنك كتابة مكشطة ويب بأي لغة برمجة طالما أنها تحتوي على مكتبة طلبات HTTP ومكتبة تحليل. سنستخدم Python في هذا البرنامج التعليمي لأنه من السهل تعلمها حتى بالنسبة للمبرمجين الذين لا يستخدمون Python ، ولديها عدد من حزم الكشط سهلة الاستخدام.
هناك عدد من المكتبات التي يمكن أن تساعدك في تجريف أرشيف الإنترنت. ما تريد كشطه سيحدد المكتبة التي تختارها. لأتمتة العمليات التي تتطلب تنفيذ جافا سكريبت ، ستحتاج عنصر السيلينيوم، متصفح آلي. الطلبات و شوربة جميلة، من ناحية أخرى ، قد يكون كافياً إذا لم تكن جافا سكريبت ضرورية. الطلبات هي وحدة Python لجهة خارجية لإرسال طلبات HTTP. في المقابل ، Beautifulsoup هي مكتبة عالية المستوى تستخدم الموزعين للسماح لك بالتنقل واستخراج البيانات من صفحات HTML.
يتميز تجريف Archive.org بميزة عدم مطالبتك بالتعامل مع تعقيدات تجريف الويب العادي. عندما يتعلق الأمر بكشط الويب ، يختار بعض المبتدئين استخدام archive.org بدلاً من الكشط مباشرةً من موقع الويب.
هذا لأنه ، على عكس ما يحدث عند الكشط من مواقع الويب الأخرى ، لن يضطروا إلى التعامل مع الكتل المضادة أو جهود مكافحة القشط الأخرى. لتجنب حذف عنوان URL الخاطئ ، أثناء تجريف عناوين URL ، يجب عليك التحقق من عناوين URL قبل حذفها.
الأسئلة الشائعة
س: هل يسمح أرشيف الإنترنت بكشط البيانات من موقعه على الإنترنت؟
نعم. يمكنك كشط البيانات من Internet Archive دون أي مشكلة لأنها تسمح لأدوات الكشط بكشط بياناتها.
وفي الختام
ليس الأمر واضحًا على الفور ، ولكن إذا نظرت إلى القائمة أعلاه ، ستدرك أن هناك نوعًا من التجميع. بالنسبة لغير المبرمجين ، هناك مكشطة Sangaline Wayback Machine وباقيهم. تعد ScrapeStorm و WebScraper.io و Octoparse أدوات كشط عبر الإنترنت لغير المبرمجين الذين يرغبون في استخراج بيانات محددة من صفحة ويب archive.org. Wayback Machine Downloader هو الأفضل بالنسبة لك إذا كنت تريد كشط صفحة الويب بأكملها أو موقع الويب بأكمله.
